- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop实战任务-----编写MapReduce进行数据清洗
标题项目需求:一个英文书籍包含成千上万个单词或者短语,在大量的单词中,找出相同字母组成的所有单词.策略:为加快数据处理的速度,借助Hadoop中的MapReduce编程模型的特点,编写出并行计算程序.解决方案: 1、在 Map阶段，对每个word（单词）按字母进行排序生成sortedWord，然后输出key/value键值对(sortedWord,word)。2、在 Reduce 阶段，统计出每组相同字母组成的所有文本代码如下:Map代码package com.its
2022-03-21 15:59:57
2649
原创 解决hadoop启动后没有datanode
出现上述问题可能是格式化两次hadoop，导致没有datanode解决办法是：在所有datanode节点上找到/root/hadoop/data里面的current文件夹删除然后从新执行一下 hadoop namenode -format再使用start-dfs.sh和start-yarn.sh 重启一下hadoop用jps命令看一下就可以看见datanode已经启动了...
2022-03-03 09:36:11
1878
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人