大数据
文章平均质量分 67
withSandra
我真心的喜欢,所以付出百倍的努力。得之,我幸;不得,我命。
展开
-
jps -- process information unavailable-hadoop集群错误
之前集群正常,装了个MySQL后,jps就变成了这样了,我试了许多方法,就这个对我有用,特此记录,防止日后类似问题。错误:之前的:解决:(1)首先删除 /tmp/下的 hsperfdata_用户名 文件,我的是hsperfdata_root,参考以下博客。原文链接:https://blog.csdn.net/qq_42385284/article/details/89503773(2)重新启动hadoop。提示进程还在运行。(3)关闭集群,再重新启动.原创 2020-07-01 09:34:13 · 493 阅读 · 0 评论 -
利用MapReduce框架,编程实现数据去重与排序。
利用MapReduce框架,编程实现数据去重与排序。熟练掌握map-reduce工作流程;核心思想:分而治之,把大的数据集分成许多小数据块,在多台机器上并行处理。透彻理解map-reduce工作流程中每个“节点”的功能。Input: 输入文件的存储位置Split: 大数据集拆分成小数据集。Mapper:<1> 把输入目录下的文件进行逻辑切片,每个切片由一个MapTa...原创 2019-11-12 15:55:01 · 1903 阅读 · 0 评论 -
HBase的安装、部署、与测试
HBase的安装、部署、与测试(1)Zookeeper的安装与配置;vim zookeeper/data/myid 1(master) 主节点vim zookeeper/data/myid 2(slave1) 从节点1vim zookeeper/data/myid 3(slave2) 从节点2zookeeper的验证:zookeeper 的启动与关闭:(2)H...原创 2019-11-12 15:45:11 · 694 阅读 · 0 评论