Flume&Sqoop
余建新-18588497759
这个作者很懒,什么都没留下…
展开
-
使用Flume进行数据的实时收集处理
在已经成功安装Flume的基础上,本文将总结使用Flume进行数据的实时收集处理,具体步骤如下: 第一步,在$FLUME_HOME/conf目录下,编写Flume的配置文件,命名为flume_first_conf,具体内容如下: #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1原创 2014-05-24 07:20:06 · 6595 阅读 · 3 评论 -
Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数据导出到mysql 目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL。 三、使用Sqoop将Orac原创 2014-05-23 16:20:38 · 11298 阅读 · 0 评论 -
Flume使用-问题总结
一、内容溢出 500M不可 150M可原创 2015-03-04 13:42:03 · 810 阅读 · 0 评论 -
Spark Streaming-1-Flume-conf总结-1-http_self_to_avro_spark streaming
需求: Flume接收HTTP请求,数据流向Spark Streaming。 Spark Streaming接收Flume数据: bin/run-example org.apache.spark.examples.streaming.FlumeEventCount bigdata3 6667 运行后会在bigdata3:6667上开启一个Avro Source Server原创 2015-01-14 14:38:40 · 1269 阅读 · 0 评论 -
Flume-conf总结-3-dir_dir_hdfs
dir_dir_hdfs.sources=source1 dir_dir_hdfs.sinks=sink1 dir_dir_hdfs.channels=channel1 dir_dir_hdfs.sources.source1.type=spooldir dir_dir_hdfs.sources.source1.spoolDir=/home/jianxin/flume/test/test1/s原创 2015-01-24 09:56:40 · 724 阅读 · 0 评论 -
Flume-conf总结-4-http_self_to_hdfs
http_self_to_hdfs.sources=s1 http_self_to_hdfs.sinks=d1 http_self_to_hdfs.channels=c1 http_self_to_hdfs.sources.s1.channels=c1 http_self_to_hdfs.sinks.d1.channel=c1 http_self_to_hdfs.sources.s1.ty原创 2015-01-24 11:34:35 · 865 阅读 · 0 评论 -
Flume-conf总结-2-dir_dir_console
dir_dir_console.sources=source1 dir_dir_console.sinks=sink1 dir_dir_console.channels=channel1 dir_dir_console.sources.source1.channels=channel1 dir_dir_console.sinks.sink1.channel=channel1 dir_dir原创 2015-01-24 09:47:00 · 747 阅读 · 0 评论 -
Flume-conf总结-5-http_self_to_kafka
http_self_to_kafka.sources=s1 http_self_to_kafka.sinks=d1 http_self_to_kafka.channels=c1 http_self_to_kafka.sources.s1.channels=c1 http_self_to_kafka.sinks.d1.channel=c1 http_self_to_kafka.sources原创 2015-01-26 21:18:23 · 781 阅读 · 0 评论 -
详细图解 Flume介绍、安装配置
写在前面一: 本文总结“Hadoop生态系统”中的其中一员——Apache Flume 写在前面二: 所用软件说明: 一、什么是Apache Flume 官网:Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and m原创 2014-05-24 00:53:40 · 8947 阅读 · 0 评论 -
Sqoop_详细图解 Sqoop介绍、安装配置
一、什么是Apache Sqoop 二、Sqoop安装配置 三、Sqoop使用 四、Sqoop错误总结原创 2014-05-23 08:26:31 · 4863 阅读 · 0 评论