大数据系列之路——1

环境

我这里使用的是Ubuntu20.04(64位)，hadoop-2.7.2，hive-2.3.6，spark2.0.0-hadoop2.7，jdk-8u162，jdbc-5.1.47。

应用安装配置

Hadoop安装配置

单机/伪分布式

• 前期准备：

  sudo apt-get update
  

  sudo apt-get install vim
  

  sudo apt-get install net-tools
  

  sudo apt-get install openssh-server
  

  安装完成后，使用命令登录本机看下

  ssh localhost
  

  
  首次登录需要确认，输入yes后再输入密码即可。
  输入exit退出ssh，进行免密登录配置
  
  敲完ssh-keygen -t rsa后，需要进行确认，敲三次回车即可。

  至此，前期准备结束

• JAVA环境安装

  手动安装

  cd /usr/lib
  sudo mkdir jvm
  cd				//转到jdk下载的位置
  sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
  

  设置环境变量

  cd ~
  vim ~/.bashrc
  

  export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export PATH=${JAVA_HOME}/bin:$PATH
  

  保存后退出，执行以下命令，使修改立即生效
  source ~/.bashrc
  查看是否安装成功
  java -version
  
  返回如上图信息则表示安装成功

• hadoop安装

  • 单机配置

  sudo tar -xzvf ./hadoop-2.7.2.tar.gz -C /usr/local/
  cd /usr/local
  sudo mv ./hadoop-2.7.2/ ./hadoop		//重命名
  sudo chown -R hadoop ./hadoop		//将hadoop文件夹权限加给hadoop用户
  

  安装好后查看是否成功

  cd hadoop
  ./bin/hadoop version
  

  出现如下图信息则表示安装成功
  
  （hadoop安装默认是单机模式，至此单机配置完毕）

  • 伪分布配置

    伪分布式主要是配置位于 /usr/local/hadoop/etc/hadoop中的core-site.xml和hdfs-site.xml文件

    • core-site.xml文件配置

    <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
    </property>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>
    

    • hdfs-site.xml文件配置

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    </configuration>
    

    配置完成后，执行NameNode格式化

    cd /usr/local/hadoop
    ./bin/hdfs namenode -format
    

    
    如果出现successfully formatted和exiting with status 0这两个关键信息则表示格式化成功！
    接着启动NameNode和D