hdfs安装

伪分布式：

前提

第一步：把hadoop安装包放到文件夹里

第二部修改三个节点的时间

第三步，修改主机名

hostnamectl set-hostname hadoop01

然后我们开始安装

安装目录

将安装包解压到对应目录

命令：tar xvf hadoopxxxx -C /soft

这时打开我们解压的目录会发现已经解压好

创建软连接

ln -s

配置环境变量

vi /etc/profile

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

修改配置文件

进入当前目录

修改五个配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.      修改配置文件：core-site.xml

//先对原配置文件进行备份

cp core-site.xml core-site.xml.bak

vi core-site.xml

//修改原文件，内容如下：

      

                     fs.defaultFS

                     hdfs://localhost/

      

2.      修改配置文件：hdfs-site.xml

//先对原配置文件进行备份

cp hdfs-site.xml hdfs-site.xml.bak

vi hdfs-site.xml

//修改原文件，内容如下：

      

              dfs.replication

              1

             

3.      修改配置文件：mapred-site.xml

//从样例模板中复制配置文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

//修改文件，内容如下：

      

              mapreduce.framework.name

              yarn

      

4.      修改配置文件：yarn-site.xml

//先对原配置文件进行备份

cp yarn -site.xml yarn -site.xml.bak

vi yarn -site.xml

//修改原文件，内容如下：

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

hadoop-env.sh

将26行中的JAVA_HOME修改为本地java安装目录的绝对路径

export JAVA_HOME=/soft/jdk

注意修改配置文件养成 做备份的习惯

ssh免密

步骤：

1.      检查是否安装了ssh相关软件包

//查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包

yum list installed | grep ssh

2.      检查是否启动了sshd进程

ps -Af | grep sshd

3.      在client侧生成公私秘钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件

4.      追加公钥到~/.ssh/authorized_keys文件中

//文件authorized_keys的名称及位置是固定

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

5.      修改authorized_keys的权限为644.

chmod 644 authorized_keys

6.      测试

ssh localhost//第一次会提示，输入yes即可，后续将直接登录

启动hadoop：

1.      初始化hadoop

hadoop namenode -format

2.      启动hadoop

start-all.sh

3.      查看hadoop进程

jps

4.      查看hadoop的根目录内容

hdfs dfs -ls /

5.      在hadoop上创建目录

hdfs dfs -mkdir -p /user/hadoop

6.      查看防火墙状态

systemctl status firewalld.service

7.      如果防火墙开启则关闭防火墙

systemctl stop firewalld.service

8.      设置开机自动禁用防火墙

systemctl disable firewalld.service

9.      再次查看防火墙状态

systemctl status firewalld.service

10.   通过webui查看hadoop的文件系统

//在浏览器上输入：http://192.168.50.104:50070/  ，xxx为对应hadoop安装的主机IP

完全分布式

前提

第一步：把hadoop安装包放到文件夹里

第二部修改三个节点的时间

第三步，修改主机名

hostnamectl set-hostname hadoop01

然后我们开始安装

安装目录

将安装包解压到对应目录

命令：tar xvf hadoopxxxx -C /soft

这时打开我们解压的目录会发现已经解压好

创建软连接

ln -s

配置环境变量

vi /etc/profile

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

修改配置文件

进入当前目录

修改五个配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.      修改配置文件：core-site.xml

//先对原配置文件进行备份

cp core-site.xml core-site.xml.bak

vi core-site.xml

//修改原文件，内容如下：

      

                     fs.defaultFS

                     hdfs://localhost/

      

2.      修改配置文件：hdfs-site.xml

//先对原配置文件进行备份

cp hdfs-site.xml hdfs-site.xml.bak

vi hdfs-site.xml

//修改原文件，内容如下：

      

              dfs.replication

              1

             

3.      修改配置文件：mapred-site.xml

//从样例模板中复制配置文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

//修改文件，内容如下：

      

              mapreduce.framework.name

              yarn

      

4.      修改配置文件：yarn-site.xml

//先对原配置文件进行备份

cp yarn -site.xml yarn -site.xml.bak

vi yarn -site.xml

//修改原文件，内容如下：

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

hadoop-env.sh

将26行中的JAVA_HOME修改为本地java安装目录的绝对路径

export JAVA_HOME=/soft/jdk

注意修改配置文件养成 做备份的习惯

ssh免密

步骤：

1.      检查是否安装了ssh相关软件包

//查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包

yum list installed | grep ssh

2.      检查是否启动了sshd进程

ps -Af | grep sshd

3.      在client侧生成公私秘钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件

4.      追加公钥到~/.ssh/authorized_keys文件中

//文件authorized_keys的名称及位置是固定

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

5.      修改authorized_keys的权限为644.

chmod 644 authorized_keys

6.      测试

ssh localhost//第一次会提示，输入yes即可，后续将直接登录

启动hadoop：

1.      初始化hadoop

hadoop namenode -format

2.      启动hadoop

start-all.sh

3.      查看hadoop进程

jps

4.      查看hadoop的根目录内容

hdfs dfs -ls /

5.      在hadoop上创建目录

hdfs dfs -mkdir -p /user/hadoop

6.      查看防火墙状态

systemctl status firewalld.service

7.      如果防火墙开启则关闭防火墙

systemctl stop firewalld.service

8.      设置开机自动禁用防火墙

systemctl disable firewalld.service

9.      再次查看防火墙状态

systemctl status firewalld.service

10.   通过webui查看hadoop的文件系统

//在浏览器上输入：http://192.168.50.104:50070/  ，xxx为对应hadoop安装的主机IP

maven

前提

第一步：把hadoop安装包放到文件夹里

第二部修改三个节点的时间

第三步，修改主机名

hostnamectl set-hostname hadoop01

然后我们开始安装

安装目录

将安装包解压到对应目录

命令：tar xvf hadoopxxxx -C /soft

这时打开我们解压的目录会发现已经解压好

创建软连接

ln -s

配置环境变量

vi /etc/profile

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

修改配置文件

进入当前目录

修改五个配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.      修改配置文件：core-site.xml

//先对原配置文件进行备份

cp core-site.xml core-site.xml.bak

vi core-site.xml

//修改原文件，内容如下：

      

                     fs.defaultFS

                     hdfs://localhost/

      

2.      修改配置文件：hdfs-site.xml

//先对原配置文件进行备份

cp hdfs-site.xml hdfs-site.xml.bak

vi hdfs-site.xml

//修改原文件，内容如下：

      

              dfs.replication

              1

             

3.      修改配置文件：mapred-site.xml

//从样例模板中复制配置文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

//修改文件，内容如下：

      

              mapreduce.framework.name

              yarn

      

4.      修改配置文件：yarn-site.xml

//先对原配置文件进行备份

cp yarn -site.xml yarn -site.xml.bak

vi yarn -site.xml

//修改原文件，内容如下：

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

hadoop-env.sh

将26行中的JAVA_HOME修改为本地java安装目录的绝对路径

export JAVA_HOME=/soft/jdk

注意修改配置文件养成 做备份的习惯

ssh免密

步骤：

1.      检查是否安装了ssh相关软件包

//查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包

yum list installed | grep ssh

2.      检查是否启动了sshd进程

ps -Af | grep sshd

3.      在client侧生成公私秘钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件

4.      追加公钥到~/.ssh/authorized_keys文件中

//文件authorized_keys的名称及位置是固定

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

5.      修改authorized_keys的权限为644.

chmod 644 authorized_keys

6.      测试

ssh localhost//第一次会提示，输入yes即可，后续将直接登录

启动hadoop：

1.      初始化hadoop

hadoop namenode -format

2.      启动hadoop

start-all.sh

3.      查看hadoop进程

jps

4.      查看hadoop的根目录内容

hdfs dfs -ls /

5.      在hadoop上创建目录

hdfs dfs -mkdir -p /user/hadoop

6.      查看防火墙状态

systemctl status firewalld.service

7.      如果防火墙开启则关闭防火墙

systemctl stop firewalld.service

8.      设置开机自动禁用防火墙

systemctl disable firewalld.service

9.      再次查看防火墙状态

systemctl status firewalld.service

10.   通过webui查看hadoop的文件系统

//在浏览器上输入：http://192.168.50.104:50070/  ，xxx为对应hadoop安装的主机IP