![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 53
withSandra
我真心的喜欢,所以付出百倍的努力。得之,我幸;不得,我命。
展开
-
jps -- process information unavailable-hadoop集群错误
之前集群正常,装了个MySQL后,jps就变成了这样了,我试了许多方法,就这个对我有用,特此记录,防止日后类似问题。 错误: 之前的: 解决: (1)首先删除 /tmp/下的 hsperfdata_用户名 文件,我的是hsperfdata_root,参考以下博客。 原文链接:https://blog.csdn.net/qq_42385284/article/details/89503773 (2)重新启动hadoop。 提示进程还在运行。 (3)关闭集群,再重新启动 .原创 2020-07-01 09:34:13 · 436 阅读 · 0 评论 -
利用MapReduce框架,编程实现数据去重与排序。
利用MapReduce框架,编程实现数据去重与排序。 熟练掌握map-reduce工作流程; 核心思想:分而治之,把大的数据集分成许多小数据块,在多台机器上并行处理。 透彻理解map-reduce工作流程中每个“节点”的功能。 Input: 输入文件的存储位置 Split: 大数据集拆分成小数据集。 Mapper:<1> 把输入目录下的文件进行逻辑切片,每个切片由一个MapTa...原创 2019-11-12 15:55:01 · 1877 阅读 · 0 评论 -
HBase的安装、部署、与测试
HBase的安装、部署、与测试 (1)Zookeeper的安装与配置; vim zookeeper/data/myid 1(master) 主节点 vim zookeeper/data/myid 2(slave1) 从节点1 vim zookeeper/data/myid 3(slave2) 从节点2 zookeeper的验证: zookeeper 的启动与关闭: (2)H...原创 2019-11-12 15:45:11 · 658 阅读 · 0 评论