![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 59
安心做个小废物
这个作者很懒,什么都没留下…
展开
-
Spark消费kafka数据 json中包含数组的数据类型
JSON数据格式{ "header": { "traceId": "06ad872d5d5bfa0d", "appName": "zeus-merchant", "deviceType": null, "version": null, "userAgent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko原创 2021-06-11 23:07:06 · 680 阅读 · 2 评论 -
Mysql忘记密码 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using passwor:yes)
linux下当我输入mysql -uroot -p 之后让我输入密码输入完密码后 报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor:yes)分析了一下报错的原因是密码错误引起的,我这边是忘记了密码(所以下面的操作是重置密码步骤)修改 /etc/my.cnf 文件,在文件中添加skip-grant-tables(如图), 保存之后 重启mysql 命令 s...原创 2021-01-07 17:22:09 · 6804 阅读 · 1 评论 -
spark streaming消费kafka的数据 并写入HDFS和直接写hive表 (scala版本)
首先我消费的kafka的数据的类型为json类型数据 话不多说直接上代码 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">.原创 2021-01-01 01:50:44 · 2114 阅读 · 5 评论 -
CDH6.2.1 集群在线安装kafka 和 brokerid报错 以及 连接超时报错 总结
进入 cloudera manager 点击添加服 选择kafka 然后点击选择主机 本教程选择了三台机器 点击继续进入Review Changes页面 配置zookeeper的目录 配置Java Help Size of Broker (一定要大于512) 点击继续,运行完成后安装成功(如果是首次安装) 因为不是首次安装所以就出现了报错 此时我们点击角色日志 查看报错日志 通过日志可以看出是broker id不匹配的问题 这个时候我们原创 2020-12-28 17:48:01 · 1175 阅读 · 1 评论