hadoop配置

hadoop配置1

建议工具： mobaxterm

一.安装

1.将hadoop 安装包上传到/usr/local 目录下，解压并重命名

注：tar 解压

在/usr/local目录下输入：

tar -zxf hadoop-2.6.0.tar.gz

重新命名 mv 原名 改后的名字

例：

​ mv hadoop-2.6.0 hadoop

2.配置hadoop 环境 和 配 java环境差不多，hadoop下要配两个（bin和sbin),如下命令，图片

vi /etc/profile

：wq 保存退出后 source 下，立刻生效

二.配置文件

1.切换到操作文件目录下,按了以下命令，再按 ls 查看文件列表

​ cd /usr/local/hadoop/etc/hadoop

2.修改hadoop-env.sh文件，配置 JAVA_HOME 为jdk的安装目录

​ vi hadoop-env.sh

3.修改core-site.xml文件

注释：configuration;布局;构造 配置; property;属性;财产; 房地产; 特性; core ; 核心 site; 网站;地点，遗址; 场所; default;默认

fs.defaultFS 应该是配置 后期的master端口（后期可能会有改动） hadoop.tmp.dir 为临时目录设定，缓存目录

​ vi core-site.xml

4.修改hdfs-site.xml文件

注释： dfs ; hadoop file system

四个节点

dfs.namenode.name.dir 主节点，这里有datanode的数据的信息，当请求时，它会从数据节点拿数据

dfs.dataname.data.dir 数据节点，储存数据的地方

dfs.replication 我称之：复制节点，就是删除后，还有备份（在数据节点中），这里设置了两份

dfs.scondary.http.address 备份名称节点的http协议访问地址与端口

5.修改mapred-site.xml文件，初始状态下该文件只有模板，将其改名后进行修改

注：mapred: 分布式,framework; 框架

注释：mapreduce.framework.name 指定分布式框架名字为yarn

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

6.修改yarn-site.xml

注释：yarn.resourcemanager.hostname 指定yarn的资源管理主机为 master

yarn.resourcemanager.address 指定yarn的资源管理地址

yarn.nodemanager.aux-services

7. 修改slaves文件。使namenode识别datanode

点开我的博客，查看后述，持续更新