Flume
GYT0313
邮箱:guyongtao@qq.com
展开
-
flume的几种配置方式--多种source、多种sink
前言确保你已经安装了flume。安装参考:https://blog.csdn.net/qq_38038143/article/details/900423561. netcat-memory-loggersource类型是netcat --> 从套接字读取( telnet )channel类型是memorysink类型是logger --> 输出到控制台文件名:exa...原创 2019-05-13 21:15:42 · 1930 阅读 · 0 评论 -
Spark Streaming 整合Flume -- push 和 pull 方式
无论使用哪种方式,flume的sink 一定要是avro格式。。。1. push 方式flume 配置文件:在flume-1.9.0/conf 下创建:flume_push_streaming.conf# Name the components on this agentsimple-agent.sources = netcat-sourcesimple-agent.sinks = ...原创 2019-05-13 21:51:25 · 595 阅读 · 0 评论 -
Spark Streaming 整合Flume 和Kafka
前言首先会使用Java开发一个日志产生器,使用Flume收集此信息到Kafka,然后Spark Streaming 从Kafka读取消息。完整项目代码:https://github.com/GYT0313/Spark-Learning/tree/master/sparkstream1. 日志产生器首先你应该创建一个Maven 项目,参考:https://blog.csdn.net/qq_...原创 2019-05-14 10:09:52 · 659 阅读 · 0 评论 -
Flume-1.9.0的安装和第一次启动
1. 下载http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz2. 安装JDK确保你已经按照了JDK-1.8+3. 安装Flume解压安装包、移动到你想要的位置、修改名称等:配置文件、指定JDK的安装路径::配置环境变量:vim ~/.bashrc# Flumeexpo...原创 2019-05-09 17:13:40 · 2087 阅读 · 0 评论 -
Spark Streaming整合Flume报错 - java.lang.AbstractMethodError
报错在IDEA中运行报如下错:Caused by: java.util.concurrent.ExecutionException: java.lang.AbstractMethodError: org.apache.avro.specific.SpecificFixed.getSchema()Lorg/apache/avro/Schema; at java.util.concurrent....原创 2019-05-09 20:21:59 · 362 阅读 · 0 评论 -
Spark Streaming 整合Flume 使用Pull方式,启动Flume报错
报错2019-05-10 08:58:46,802 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:147)] ...原创 2019-05-10 09:06:16 · 443 阅读 · 0 评论