hadoop
yitian_hm
变秃了也变强了
展开
-
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml相关配置参数列表说明
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-...原创 2018-07-03 19:05:32 · 4526 阅读 · 0 评论 -
hadoop2.9.0-spark2.11.分布式架构搭建教程
一、修改hosts文件在主节点,就是第一台主机的命令行下;vim /etc/hosts我的是三台云主机:在原文件的基础上加上;ip1 master worker0 namenodeip2 worker1 datanode1ip3 worker2 datanode2其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点。原创 2018-01-27 09:11:42 · 1073 阅读 · 0 评论 -
hadoop集群查看路径
管理界面:http://master:8088HDFS 主界面:http://master:50070HDFS 文件界面:http://master:50070/explorer.html#/原创 2018-07-03 20:41:00 · 13322 阅读 · 0 评论 -
hadoop单机启动时datanode没有启动
1.具体错误描述2018-11-27 23:45:34,356 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/local/temp/hadoop/datanode/java.io.IOException: Incompatible cluste...原创 2018-11-28 16:28:20 · 2424 阅读 · 0 评论