![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 92
大壮vip
博学而笃志,切问而近思。
展开
-
windows搭建flume:基于源码的二次开发
windows搭建flume:基于源码的二次开发 移除点击此处添加图片说明文字先说一下flume的架构,这部分快速阅读,flume架构倒是不难,容易理解。flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume中的重要模型1.fl原创 2017-07-19 15:09:53 · 1589 阅读 · 0 评论 -
flume断点续传(概念+代码开发)
并没有完整解决,依靠flume来缓解集群的贷款压力实现部分实时使用Flume做日志收集,flume+kafka做日志收集存储,后面接es存历史日志,storm用于实时分析。对于历史日志来说,尽可能做到不丢不重,实际经验内网环境kafka还是很稳定可靠的,丢日志主要发生在flume重启,所以针对flume进行改造,实现断点续传。主要环境及配置,jdk7,flume1.6原创 2017-11-02 14:24:31 · 1157 阅读 · 0 评论 -
mysql、flume、zookeeper、kafka快速搭建
准备做实时数据计算。数据源为mysql的20张表吧。通过flume解析binlog日志,然后sink到kafka,由sparkstreaming消费,实时处理业务数据生成目标数据写到我们的mysql中。 一.mysql搭建0. 检查是否已安装并删除已安装的包yum list installed mysql* yum remove mysql-community-clien...原创 2018-11-23 16:26:09 · 252 阅读 · 0 评论 -
flume读取binlog与kafka整合
一、现将kafka调通 查看zookeeper的topiccd /usr/software/zookeeper/zookeeper/bin./zkCli.sh startls /brokers/topics 先来说一下,删除kafka无用topic./kafka-run-class.sh kafka.admin.DeleteTopicCommand --zooke...原创 2018-11-26 19:14:48 · 4577 阅读 · 4 评论 -
CDH搭建flume+kafka以及sparkstreaming来做实时
实时计算部分代码开发 1.首先我们来说一下cdh搭建flume flume非常的简单,直接cdh就可以集成了,不多赘述 用cdh非常的简单,接下来说一下kafka的集成吧,而kafka 则相对比较麻烦点,需要下载kafka的服务描述jar包 ...原创 2019-05-17 19:12:05 · 1492 阅读 · 0 评论