Hadoop生态链
文章平均质量分 72
xiaoxiaolove_i
爱好中医的程序员
展开
-
DataNode启动不成功——java.net.BindException: Port in use: localhost:0 Caused by: java.net.BindException: C
一、问题启动分布式环境,执行命令hadoop@master$ ${HADOOP_HOME}~ sbin/start.dfs.sh现象:主节点的namenode、secondarynamenode启动成功,但是slave节点datenode启动不成功。查看日志hadoop-hadoop-datanode-master.log 显示如下***2018-11-27 05:37:59,970 I...转载 2018-11-27 16:51:08 · 2394 阅读 · 3 评论 -
hadoop分布式系统的搭建(三台)
机器3台(关闭防火墙、ip地址、主机名、ip与主机的映射)在一台机器上先搭建伪分布式,然后再通过scp命令进行拷贝安装jdk 配置环境变量安装hadoop配置集群启动# 删除data:[hadoop@hadoop25 hadoop]$ rm -rf data/# 删除日志 logs[hadoop@hadoop25 hadoop]$ rm -rf logs/*# 格式化...原创 2019-08-01 19:41:28 · 214 阅读 · 0 评论 -
hadoop搭建过程中的常见错误
1.遇到问题第一要想到的事情!重启,重启,重启!重要的事情说三遍!!!先重启虚拟机,如果不行再重启电脑,如果还不行那就重装,没有什么是重装解决不了的,如果有,那就再重装一次。2. 单词打错了很多时候环境没搭建好是因为单词打错了,在拼写命令的时候一定要看单词是不是打错了,有没有多个或则少个空格。例如:format --》 formatedata --》 date3.未初始化配置...原创 2019-08-01 20:00:45 · 314 阅读 · 0 评论 -
如何理解Mapper LongWritable, Text, Text, IntWritable 和Reducer Text, IntWritable, Text, IntWritable
案例:WorkCountMapperimport java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapredu...原创 2019-08-07 12:21:13 · 16758 阅读 · 0 评论