hadoop
文章平均质量分 53
snowpay
Talk is cheap, show me the code!
展开
-
flume 配置文件信息
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版转载 2017-03-03 15:25:46 · 579 阅读 · 0 评论 -
hive从hdfs文件系统里面读取数据
CREATE EXTERNAL TABLE `old_user_info`(`user_id` bigint , `PlatformId` string , `SelfChannel` string , `ChannelToken` string , `lv` bigint , `gm_stone` bigint , `charge_stone` bigin原创 2017-03-09 15:25:18 · 3564 阅读 · 0 评论 -
flume从本地读取数据录入到hdfs文件系统
配置文件agent.sources = origin agent.channels = memorychannel agent.sinks = target agent.sources.origin.type = TAILDIRagent.sources.origin.filegroups=f1agent.sources.origin.filegroups.f原创 2017-03-09 15:28:18 · 2554 阅读 · 1 评论 -
sqoop从mysql导入hdfs数据过程遇到的问题
mysql导入hdfs的过程原创 2017-04-10 20:26:36 · 4727 阅读 · 0 评论 -
mysql数据导入到hive遇到的问题
SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [j原创 2017-04-11 10:49:55 · 1043 阅读 · 0 评论