hadoop
王腾
JAVA , 爬虫, 反爬, Android, hadoop, hive, C ,Cocos2d-x,hadoop,hive
展开
-
Hadoop学习笔记二(新旧版本API的区别)
1.新的API是在org.apache.hadoop.mapreduce中,旧的API是在org.apache.hadoop.mapred中。注:新的API不兼容旧的API.2.在新的API中,Mapper与Reducer已经不是接口而是抽象类。3.新的API中更广泛地使用了Context对象,并使用MapContext进行MapReduce间的通信,MapContext同时充当Outpu原创 2015-01-13 11:11:44 · 814 阅读 · 0 评论 -
Hadoop学习笔记一(入门篇)
1.大数据处理系统的三大关键要素------“存储”,“计算”和“容错”。2.MapReduce:重写了Google的索引文件系统。3.在Hadoop中,用于执行MapReduce任务的机器有两个角色:一个是JobTracker,另一个是TaskTracker.4.在Hadoop中,每个MapReduce任务都被初始化为一个Job,分为Map阶段和Reduce阶段。5.InputF原创 2015-01-13 11:04:26 · 740 阅读 · 0 评论 -
hive 日志存放位置修改
终所周知,hive有两个日志: 1.一个日志为hive.log.是系统的运行目录.位于conf/log4j.properties下. 2.另一个日志 为Job的log.在conf/hive-site.xml中的下面properties中设置: hive.querylog.location /tmp/hive-log/${user.name} Locatio原创 2015-05-27 15:57:49 · 4456 阅读 · 0 评论 -
kafka中消费者消费消息是阻塞的
kafka中消费者消费消息是阻塞的原创 2016-04-21 17:36:25 · 5800 阅读 · 0 评论 -
storm 日志管理
1.优化storm的日志管理。1.storm 用bin/storm脚本启动supervisor和nimbus, 在这个脚本中,会指定使用的logback配置文件和log.home的位置。2.storm 0.9.4 默认使用的是 logback 1.0 版本,在这个版本中,是没有 SizeAndTimeBasedRollingPolicy .原创 2016-06-08 10:23:07 · 919 阅读 · 0 评论 -
kafka storm logback slf4j jar包冲突
1.kafka 2.9版本中不依赖slf4j-simple , 而 kafka 2.10版本会依赖 。 因此 如果依赖kafka 2.10 版本, 那么就会与 storm 0.9.4版本中的logback冲突。原创 2016-06-08 10:24:21 · 1425 阅读 · 0 评论 -
HBase client buffer put为空 HTable
1.每一个HTable都可能维护了一个buffer ,如果设置了buffer , 则需要设置autoflushcommit 为 flase , 默认为 true , 在进行了put操作之后 , 不能结束 。 如果结束的话,则 buffer中的数据没有送到HMaster . 2.如果多线程维护同一个HTable , 则多个线程共同维护了一个buffer , 这时就有可能出现Concurrent原创 2016-06-08 10:46:12 · 538 阅读 · 0 评论