![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
yxh_networkSecurity
IT 男 喜欢文字 好运动 无不良嗜好
展开
-
日志分析系统(zookeeper+flume+kafka)之实时接收数据
日志实时分析系统(单机)本次教程的主要目的是利用flume采集Apache的access.log数据通过kafka消息订阅服务转发至日志分析程序,其中需要的环境包括:linux系统,Java JDK,zookeeper,flume,kafka,接收数据的程序java程序。一准备环境软件下载软件的下载 wget http://www.apache.org/dist/zookeeper/...原创 2019-05-17 14:35:29 · 2106 阅读 · 0 评论 -
Flume增量采集Mysql数据
由于业务系统使用的数据库是Mysql,需要对业务进行大数据分析这就要求我们实时采集MySQL的数据。使用flume采集MySQL数据配置较简单,下面是配置的过程。插件下载需要的插件mysql-connector-java-5.1.46-bin.jarflume-ng-sql-source-1.4.1.jar这两个软件需要拷贝到 /usr/local/flume/libflume...原创 2019-05-30 16:24:04 · 2982 阅读 · 4 评论 -
日志分析系统(flume)之数据加密
在实现flume采集数据并使用kafka传输数据后发现数据是以明文传输的,对于安全性要求较高的系统来说是不可取的,故使用flume可扩展的自定义拦截功能来将数据过滤和加密本文主要讲加密过滤的部分依据实际的需要来增加,拦截器使用maven项目实现。有疑问可以参考上篇日志(此处需要采集初始机制搭建完成) — {% post_link 日志分析系统(zookeeper+flume+kafka)之实时接收...原创 2019-05-23 17:30:14 · 1556 阅读 · 0 评论