Hadoop和Hadoop集群的安装和配置

Hadoop和Hadoop集群的安装和配置

一、安装centos7.0

安装方式详见：https://blog.csdn.net/little_sloth/article/details/106785511

二、hadoop安装前配置

安装完虚拟之后，使用moba进行后续操作

1 . 配置免登录:
1） 生成密钥：ssh-keygen -t rsa -P “”
2） 复制私钥到公钥：cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
ps:此处用覆盖，尽量不要用追加，追加容易使得权限混乱
2. 配置主机名：vi /etc/hostname (主机名自定义)

可同步修改主机名：
hostnamectl set-hostname hadoop101
可通过命令：hostname 查看是否修改成功
3. 修改主机列表: vi /etc/hosts ,添加主机ip地址和主机名

4. 配置JDK环境变量
如果没有jdk 需要先安装，然后配置环境
步骤详见：
https://blog.csdn.net/little_sloth/article/details/106807228

三、安装以及配置Hadoop环境

1、将安装包导入software，解压安装包
命令：tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/
安装在opt目录下，并重命名为hadoop
命令行：mv hadoop-2.6.0-cdh5.14.2/ hadoop
2、进入hadoop安装目录下etc目录下hadopp目录中
1） vi hadoop-env.sh
这边需要修改一个jdk的安装目录-----根据自己安装目录修改

2）vi core-site.xml —核心组件。给所有root用户以及root用户组赋权，以及指定临时文件的 存放路径
此处可以写主机地址也可换成主机名，建议用IP地址，防止因为主机名一致时出错

<configuration>
<property>
  <name>fs.defaultFS</name>
  <