hadoop伪分布式安装配置（亲测）

环境ubuntu

安装java环境

下载java安装包 我下载的版本为 jdk-8u201-linux-x64.tar.gz
下载hadoop安装包 hadoop-2.6.5.tar.gz
将这两个文件上传至ubuntu
新建java的安装目录 mkdir -p /usr/java/jdk 将jdk解压到该目录tar -zxvf jdk-8u201-linux-x64.tar.gz /usr/java
配置java环境 vi /etc/profile

#set java environment
export JAVA_HOME=/usr/java/jdk/jdk1.8.0_201  # java解压目录
export JRE_HOME=/usr/java/jdk/jdk1.8.0_201/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH:

source /etc/profile 使java生效 检查是否配置成功 java -version

配置ssh

ssh主要是免密连接
sudo apt-get install openssh-server
生成私钥和公钥：ssh-keygen -t rsa -P ""
因为我已有私钥，所以会提示是否覆盖当前私钥。第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以登入ssh确认以后登录时不用输入密码：
ssh localhost

安装hadoop

创建hadoop目录 mkdir -p /usr/hadoop 将hadoop解压到该文件夹中 tar -zxvf hadoop-2.6.5.tar.gz /usr/hadoop
配置hadoop虚拟环境
vi /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.6.5  # hadoop解压目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin  # 这个就是上面那个path后面追加hadoop的配置

source /etc/profile 使hadoop配置生效
验证看是否配置成功 输入hadoo 使用补全键看是否可以补全

hadoop配置

增加host vi /etc/hosts 在后面追加本机ip 输入node03 使用node03 就可以调用本机ip了 减少输入ip的麻烦

配置hadoop-env.sh /usr/hadoop/hadoop-2.6.5/etc/hadoop 然后 vi hadoop-env.sh在最后面追加

export JAVA_HOME=/usr/java/jdk/jdk1.8.0_201  # java安装目录
export HDFS_NODENAME_USER=root  # nodename用户 下面同理
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNODE_USER=root

配置core-site.xml vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node03:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/we</value>   # 启动时 目录文件位置
    </property>
</configuration>

配置hdfs-site.xml vi hdfs-site.xml

   <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node03:9868</value>
    </property>
</configuration>

slaves配置slaves vi slaves 在里面加上node03
这些配置完 就可以启动了

初始化 hdfs namenode -format

显示这个说明初始化成功了
启动start-dfs.sh

输入jps查看进程是否启动

hadoop的伪分布式主要是用于测试使用 在正式的线上一般使用ha的全分布式配置