Hadoop运行环境搭建

 

 

 

1. 关闭防火墙
   1.  工作中，共有云服务器，防火墙默认是关闭的
   2. Ubuntu 查看防火墙状态  $ sudo ufw status
      1. 显示 Status: inactive.       表示防火墙关闭
   3.  $ sudo ufw enable          //启用防火墙
   4. 关闭防火墙
      1.  $ sudo ufw disable         // 关闭防火墙
      2.  $ systemctl stop firewalld.service
   5. 关闭开机启动防火墙 
      1. $ chkconfig iptables off         // 关闭开机自启
      2. $ systemctl disable firewalld.service
2. 安装 ssh-server
   1. 更新apt-get     $ apt-get install update
   2. 按照ssh              $ apt-get install openssh-server
   3. 修改sshd_config     $ gedit /etc/ssh/sshd_config
      1. 找到 ：

         # Authentication:
         LoginGraceTime 2m
         PermitRootLogin without passwd
         StrictModes yes

          

      2. 改为：

         # Authentication:
         LoginGraceTime 120
         PermitRootLogin yes
         StrictModes yes

         然后重启即可

   4. 设置ssh localhost免密登录
      1.  $ ssh localhost
      2.  $ cd ~/.ssh/
      3.  $ ssh-keygen -t rsa
      4. 运行后一路回车就行
      5. $ cat ./id_rsa.pub >> ./authorized_keys
      6. 验证是否可以免密码登录  $ ssh localhost
      7. 详情可参考 https://blog.csdn.net/qq_41822647/article/details/84451416
3. 安装并配置JDK
   1. 在 /usr/lib/ 目录下创建 jvm目录  $ mkdir /usr/lib/jvm
   2. 下载 jdk 软件包： jdk-8u231-linux-x64.tar.gz
   3. 将软件包解压到 jvm目录下  

       sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/lib/jvm/ 

       

   4.  配置jdk，配置所有用户的环境变量
      1. $ sudo gedit /etc/profile
      2. 或者 $ sudo vim /etc/profile
      3. 添加如下

         # set Java environment
         export JAVA_HOME=/[Java安装目录]/jdk1.8.0_231
         export JRE_HOME=$JAVA_HOME/jre
         export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
         export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

          

      4. 保存并退出
      5. 执行一下 /etc/profile 文件 $ source /etc/profile
   5. 检查Java安装情况   $ java -version
4. 安装并配置hadoop
   1. 创建hadoop目录 $  sudo mkdir /usr/local/hadoop 
   2. 下载hadoop的tar软件包 
   3. 解压tar软件包到hadoop目录

      sudo tar -zxvf /home/[下载路径]/hadoop-2.9.2-src.tar.gz  -C /usr/local/hadoop/  

       

   4. 为当前用户配置权限    $ sudo chown -R <当前用户名> /usr/local/hadoop
   5. 配置hadoop
      1.  在 /etc/profile 中添加如下代码
      2.  $ sudo gedit /etc/profile

      3. # set hadoop enviroment
         export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
         export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

      4. 保存并退出
      5. 执行一下 /etc/profile 文件 $ source /etc/profile
   6. 检测hadoop安装情况
      1.   $ hadoop version
   7. 修改配置文件 /usr/loacl/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml ，在其中添加

      <configuration>
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
      </property>
      <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
      </property>
      </configuration>

       

   8.  修改配置文件 /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml ，在其中添加

      <configuration>
      	<property>
      		<name>dfs.replication</name>
      		<value>1</value>
      	</property>
      	<property>
      		<name>dfs.namenode.name.dir</name>
      		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
      	</property>
      	<property>
      		<name>dfs.datanode.data.dir</name>
      		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
      	</property>
      </configuration>

       

   9. 修改配置文件 /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh ，在其中将JAVA_HAME更改为如下：

      export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_231

       

   10. 格式化namenode
       1.   $ hadoop namenode -format
   11. 启动hdfs
       1.    $ start-all.sh
   12. 查看相应进程
       1. jps         # 显示5个进程
   13. 浏览器端显示
       1. http://localhost:50070/
5. 安装mysql
   1.   
   2. 启动mysql
      1. 命令 $ mysql -u root -p<密码>
6.  
7. 安装hive
   1. 在hadoop 安装目录下创建 hive 目录  /<安装路径>/hadoop/hive
   2. 下载 hive 软件包 apache-hive-1.2.2-bin.tar.gz
   3. 解压缩hive包  $ tar -zxvf /<下载路径>/apache-hive-1.2.2-bin.tar.gz/ -C /<安装路径>/hadoop/hive
   4. hive安装路径重命名 $ mv apache-hive-1.2.2-bin hive
   5. 配置hive
      1. 打开 hive解压缩文件路径下的 conf/hive-env.sh.template
      2. 添加hādoop 路径   export HADOOP_HOME=/<安装路径>/hadoop/hadoop-2.9.2
      3. 添加配置文件目录  export HIVE_CONF_DIR=/<安装路径>/hadoop/hive/hive/conf
   6. 启动hive
      1. 终端输入 bin/hive
      2.  
8.