Hadoop
De_hua_1
菜鸡本鸡
展开
-
MapReduce:详解Shuffle过程
https://www.iteye.com/blog/langyu-992916转载 2020-03-16 11:09:25 · 149 阅读 · 0 评论 -
Hadoop 运行自带worcount map0% reduce0% 和map100%和reduce 0%问题
今天跑了一下hadoop自带的wordcount 遇到了如下问题 我的配置是 VMware上hadoop的伪分布式安装 也就是map0%,reduce0%问题,网上的博客都翻了个遍,几乎都是修改yarn-site.xmal文件的各种配置,说是内存不足,资源分配等问题,由于本人还是小白,没有查询log的能力,也不知道具体问题出在哪里,最后的解决办法是:将虚拟机的能存由2G提到3G,分配了四个核,...原创 2020-03-04 18:09:47 · 2209 阅读 · 1 评论 -
hadoop 伪分布式安装
1.安装虚拟机和Ubuntu 这个比较简单不会的上网百度 2.在Ubuntu中安装jdk 这个也比较简答,自己安装的jdk目录需要记住 3.安装hadoop(先看下面的错误,和教程结合起来卡看) https://www.cnblogs.com/chenlove/p/10733878.html 当然按照这篇博客写的我也遇到了一些错误 1.配置完.bashrc文件后,source .bashrc时报错...转载 2020-02-24 22:44:09 · 136 阅读 · 0 评论