mysql
D调的Stanley
这个作者很懒,什么都没留下…
展开
-
使用canal 监听mysql binlog获取增量数据
配置mysqlsudo vi /etc/my.cnf[mysqld]log-bin=/var/lib/mysql/mysql-binbinlog-format=ROWserver_id=1添加canal用户,修改权限CREATE USER canal IDENTIFIED BY 'canal';GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';FLUSH PRIVILEGES;.原创 2020-05-24 16:39:33 · 1352 阅读 · 0 评论 -
linux下使用yum命令安装mysql
首先用rmp –qa | grep mysql 查看是否有已经安装的mysql版本切换到root用户,卸载搜索出来的版本 rpm –e –nodeps mysql-libs-5.1.71-1.el6.x86_64再次查询rmp –qa | grep mysql,删除成功root用户下使用yum命令下载mysql yum install mysql mysql-develmysql-serverm...原创 2018-03-31 15:31:54 · 4472 阅读 · 1 评论 -
spark screaming 模拟实战项目实例
由于没有网络日志,我们这里用之前写的python脚本爬取新浪微博热搜模拟产生日志文件,通过kafka和flume整合 将日志定时抽取到 spark上进行处理,微博热搜是十分钟更新一次,我们这里也设置十分钟的定时任务,具体步骤如下第一步编写python脚本获取微博热搜 实时排名,主题和url,然后运行测试,代码如下#!python2# -*- coding:utf-8 -*-import url...原创 2018-05-03 23:15:43 · 1933 阅读 · 0 评论 -
spark 处理网络日志 查询pv uv实例
这里我们先理解一下spark处理数据的流程,由于spark 有standalone,local,yarn等多种模式,每种模式都有不同之处,但是总体流程都是一样的,大致就是客户端向集群管理者提交作业,生成有向无环图,图中的内容包括分成几个stage,每个stage有几个task,每个task分别由哪个executor来执行,接下来的工作就是整个spark集群按照有向无环图的布置来进行,并得出结果。下...原创 2018-04-25 22:38:35 · 1127 阅读 · 0 评论