大数据架构
文章平均质量分 82
卷心恒远
研究达人
展开
-
CentOS 7 Hadopp 3.1.0集群搭建
一、系统准备1、准备三台服务器修改/etc/hosts文件,加入下面配置172.16.4.13 master172.16.4.14 slave1172.16.4.15 slave2然后拷贝hosts到其他两台[root@localhost ~]$ scp /etc/hosts root@slave1:/etc[root@localhost ~]$ scp /etc/host...原创 2018-07-05 14:28:47 · 483 阅读 · 0 评论 -
Mapreduce运行异常Container exited with a non-zero exit code 1
用idea编写mapreduce读写hbase,并打包jar放到集群服务器上运行时出现下面错误:[2019-01-05 04:03:01.278]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes ...原创 2019-01-06 00:30:57 · 27786 阅读 · 7 评论 -
Container killed on request. Exit code is 143 <property> <name>yarn.nodemanager.resource.
mapreduce运行中发现有任务被kill掉,多半是因为内存分配不足造成,所有需要修改内存配置。首先在yarn-site.xml中添加下面内容: <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</v...原创 2019-01-06 00:55:00 · 10847 阅读 · 4 评论 -
RDD无reduceByKey
用idea里的scala写spark 2.4.0方法时会提示找不到reduceByKey这个方法。import org.apache.spark.SparkContext._把上面这一行加入后还是提示找不到reduceByKey,但这时不用管错误提示,继续编译打包是成功的...原创 2019-01-16 17:45:12 · 1194 阅读 · 0 评论