Hadoop学习笔记
xwhfcenter
这个作者很懒,什么都没留下…
展开
-
Storm集群搭建
Storm集群搭建安装Storm的依赖Storm的安装需要依赖JDK、ZooKeeper0.9版本之前的Storm需要安装ZMQ和JZMQ作为消息传递机制Storm组件Storm集群分为Nimbus节点和Supervisor节点Nimbus节点用于提交应用Topology管理整个Storm节点: 将Topology的Task分配给Worker监控各个Supervisor节点的状态, 从而原创 2016-11-08 17:09:34 · 349 阅读 · 0 评论 -
通过MapReduce使用HBase解决第三方jar包依赖的方式
通过MapReduce使用HBase解决第三方jar包依赖的方式 用户在使用HBase作为数据源、目标库,或者同时作为两者使用来处理数据时,需要先准备好可用的Hadoop 当运行 MR作业所需库中的类不是绑定在Hadoop或MapReduce框架中时,用户必须确保这些库在作业执行之前已经可用 为MR作业解决jar包依赖的方式从广义上看,可以分为静态配置和动态配置两种静态配置对于经原创 2016-10-20 11:20:53 · 4103 阅读 · 2 评论 -
用MapReduce清洗数据
用MapReduce清洗数据 接触Hadoop平台大半年了,还从来没写过一次MapReduce的业务代码,刚好赶上清洗数据的业务需求,写了一个简单的MapReduce类,用来清洗数据,顺手把一个简单的MapReduce工作流的代码框架记录下来 第一个MapReduce程序不是流行的WordCount 类的整个框架如下:public class DataCleaner extend原创 2017-03-26 20:06:00 · 13799 阅读 · 3 评论