![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据架构存储数据
文章平均质量分 67
kafka、flume、zookeeper、storm、redis
普通小程序员
这个作者很懒,什么都没留下…
展开
-
storm软件无法启动问题
目录一.Python环境安装1. 安装相关预备环境,直接执⾏如下命令即可:2. 下载 Python-3.8.3.tgz 安装包,执⾏如下命令解压:3. 这⾥指定了安装⽬录为 /usr/local/python3 ,有需要可以⾃定义:4. 将安装⽬录 /usr/local/python3 ⾥的 python3 可执⾏⽂件做⼀份软链接,链接到 /usr/bin 下,⽅便后续使⽤:storm启动依赖linux的python环境,启动前先查看python -v如没有,则先安装pyth原创 2021-09-06 09:12:34 · 408 阅读 · 0 评论 -
flume自定义拦截器进行日志采集,并写入kafka
目录项目架构创建maven项目,引入依赖创建LogETLInterceptor类实现Interceptor接口,进行初步清洗创建LogTypeInterceptor实现Interceptor,用于将不同类型的日志写到不同kafka topic中打包后放到flume/lib/目录下编写conf文件启动flume项目架构创建maven项目,引入依赖<dependency> <groupId>org.apache.flume</g原创 2021-01-26 16:59:47 · 336 阅读 · 0 评论 -
flume中 kafka sink flume自定义Interceptor实现消息分主题收集
目录1、自定义 flume 拦截器类,并打jar包上传到 /flume/lib 下二、flume 配置文件三、开启 kafka consumer 分别准备消费 kafka-java 、bigdata 、bigdata1 这三个主题中的数据四、启动 flume五、模拟生产数据, 用于 flume收集六、效果演示1、自定义 flume 拦截器类,并打jar包上传到 /flume/lib 下我这里拦截器逻辑是:flume收集到的消息包含 hello 的发送到 kafak big原创 2021-01-26 16:51:36 · 220 阅读 · 0 评论 -
Flume-ng案例分享及source编码格式问题
问题:客户提供的日志编码是GBK编码(或者其他编码),整个流程数据跑下来之后,发现storm读取到的数据是乱码。这里我们配置了flume-kafka的日志为UTF-8,按道理是会把GBK编码的日志转换为UTF-8,但是结果出来的却是乱码我们是可以通过设置source的charset来设置source的编码格式的;但是官方并没有在文档中做配置说明;这样的话。如果你读取的日志不是UTF-8的编码格式的;那么你读取到的数据就只能是乱码的;git 源码:https://github.com/bey...原创 2021-01-26 16:47:05 · 817 阅读 · 1 评论 -
Storm集成Kafka应用的开发
https://www.cnblogs.com/freeweb/p/5292961.html目录引言:首先编写storm消费kafka的逻辑,配置kafka提交topology到storm的代码编写一个类来进行生产引言:storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情转载 2020-08-26 16:21:50 · 240 阅读 · 0 评论 -
kafka主题操作
kafka-topics.sh工具:查看/删除/修改/创建主题创建主题:创建一个叫 topicName并且有三个分区,每个分区有三个副本的副本./kafka-topics.sh --zookeeper zkip:2181 --create --topic topicName --replication-factor 3 --partitions 3–zookeeper 指定zk连接地址(kafka主题以及分区信息保存在zk)–create 创建 (–dele...转载 2020-08-26 14:19:32 · 838 阅读 · 0 评论 -
shell语言编写启动脚本
#!/bin/bash#杀死 进程名kill -9 $(ps -ef | grep Supervisor | grep -v grep | awk '{print $2}')kill -9 $(ps -ef | grep UIServer | grep -v grep | awk '{print $2}')kill -9 $(ps -ef | grep Nimbus | grep -v grep | awk '{print $2}')#nohup启动该服务命令,并存储在相应的log中,2&.原创 2020-07-14 13:41:31 · 251 阅读 · 0 评论 -
Linux下zookeeper、kafka、flume的单机配置与启动
目录zookeeper的安装与部署1.解压压缩包2.修改配置文件3.在apache-zookeeper-3.6.0-bin目录下添加data和log文件夹(因为步骤3)4.在dataDir目录即/apache-zookeeper-3.6.0-bin/data下新建文件myid5.启动zookeeper,进入bin目录下kafka的安装与部署1.下载kafka并解压到目录/kafka2.配置kafka3.启动kafkaflume的安装与部署1.下载并解压安装包原创 2020-07-14 09:05:58 · 273 阅读 · 0 评论 -
linux配置JDK1.8以上(全局和局部)
原创 2020-07-14 08:46:48 · 185 阅读 · 0 评论 -
storm安装部署
目录1.解压storm安装包2.更改storm名字3.在/opt/storm-2.2.0/目录下创建data文件夹4.修改配置文件5.配置storm的环境变量6.分发配置好的storm 的安装包(暂时没用到)7.启动集群(必须按顺序)8.通过浏览器访问storm webUI1.解压storm安装包storm 官网$ tar -zxvf apache-storm-2.2.0.tar.gz2.更改storm名字$ mv apache-storm-2.2.0原创 2020-07-13 19:14:42 · 305 阅读 · 0 评论