Hadoop
码上行动、
这个作者很懒,什么都没留下…
展开
-
MapReduce报错Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.Exception.转载 2021-07-04 11:57:43 · 267 阅读 · 0 评论 -
伪分布式集群搭建
1. 确保防⽕墙是关闭状态。 2. 确保NAT模式和静态IP的确定3. 确保/etc/hosts⽂件⾥, ip和hostname的映射关系 4. 确保免密登陆localhost有效 5. jdk和hadoop的环境变量配置配置伪分布相关的文件配置1. core-site.xml的配置cd $HADOOP_HOME/etc/hadoopvi core-site.xml<configuration> <!-- 配置分布式⽂件系统..原创 2021-06-30 10:25:09 · 198 阅读 · 0 评论 -
搭建高可用中active节点挂掉standby节点不自动切换问题
搭建高可用的时候,其他的都没有问题,都可以出来,就是杀死active节点的时候,standby节点不会自动切换,修改hdfs-site.xml,需要添加上<value>shell(true)</value><property><name>dfs.ha.fencing.methods</name><value>sshfence</value><value>shell(true)</value...原创 2021-07-03 15:44:17 · 478 阅读 · 1 评论 -
完全分布式集群搭建
如果你是从伪分布式过来的,最好先把伪分布式的相关守护进程关闭:stop-all.sh 删除原来伪分布式的相关设置-1. 三台机器的防⽕墙必须是关闭的. -2. 确保三台机器的⽹络配置畅通(NAT模式,静态IP,主机名的配置) -3. 确保/etc/hosts⽂件配置了ip和hostname的映射关系 -4. 确保配置了三台机器的免密登陆认证(克隆会更加⽅便) -5. 确保所有机器时间同步 -6. jdk和hadoop的环境变量配置1. 配置core-site.xm原创 2021-06-30 19:28:19 · 114 阅读 · 0 评论 -
在集群上运行MapReduce的项目
1.在idea中编写3个类,分别是WordcountMapper,WordcountReduce,WordcountDriverimport org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;原创 2021-07-03 21:38:01 · 424 阅读 · 1 评论 -
在idea跑本地模式报错Exception in thread “main“ java.io.IOException
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120) at org...原创 2021-07-04 11:44:43 · 1216 阅读 · 0 评论