hadoop
文章平均质量分 57
baigp
这个作者很懒,什么都没留下…
展开
-
mapreduce自定义类型-空指针异常之坑NullPointerException
大数据小白一个。在使用mapreduce处理公司实际业务的过程中,有个mapreduce需要用到自定义类型,打包运行时,却遇到空指针NullPointerException异常,耽误了好长时间才找出问题的根源,特以此博客记录,留作学习使用。场景:从hbase的一张表(activity_statistics)读取数据, 进行处理后, 写入另一张hbase表(activity_scores),ma原创 2017-10-19 14:29:50 · 5718 阅读 · 5 评论 -
HADOOP 2.x 完全分布式集群环境搭建
本文目的:搭建 HDFS 2.x 高可用的 分布式集群环境。集群架构:集群组成:Namenode:2台Datanode: 3台Journalnode:3台Zookeeper: 3台ZKFC:2台ResourceManager:2台NodeManager:3台具体安排: 本文中准备node~4 四台虚拟机:原创 2017-05-09 15:47:24 · 1045 阅读 · 0 评论 -
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等(持续更新)
常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口Zookeeper: 2181原创 2017-11-30 21:17:39 · 14409 阅读 · 2 评论 -
CDH环境搭建(一)
一、架构 一共三台虚拟机:cdh1~cdh3。 其中Server部署在cdh1上,MySQL同样部署在cdh1上(因此cdh1的内存要大一些,其它两台主机的内存可稍小一点,笔者的内存配置是:6G、1G、1G)。IP分配如下: cdh1:192.168.111.201 cdh2:192.168.111.20原创 2018-02-05 10:48:21 · 1788 阅读 · 0 评论 -
CDH环境搭建(二)
四、部署CDH1、登录之后,进入如下页面,点击继续2、继续3、在“当前管理的主机”tab页中,可以看到我们前面定义的三台主机,勾选全部主机,点击继续4、选中CDH版本(注意:“选择CDH的版本”可能会显示多个可选项,也可能只显示一项,视服务器能否连接外网而定。不管显示几项,选择我们前面所用的CDH版本,继续即可),点击继续5、由于采用的是离线安装原创 2018-02-05 11:12:24 · 331 阅读 · 0 评论