hadoop日记1：hadoop伪分布式安装

Hadoop伪分布式安装
实验环境：
操作系统：ubantu18
Jdk版本：1.8
Hadoop版本：2.7.2
Vmware workstation:14.1.3
新建一个用户
安装hadoop环境
前提：已经安装好jdk，注意修改环境变量路径

userdel hadoop  //删除原来的用户  
groupadd hadoop  //新建一个hadoop组
useradd hadoop -m -g Hadoop  //-m：自动建立用户的登入目录  -g：指定用户所属的组

注释：在创建一个用户时，一定要写-m，否则这个用户没有自己的文件夹

修改hadoop的密码：

passwd hadoop

把hadoop加到sudo组
用原来安装时的用户登陆

psswd root
su - root
chmod u+w /etc/sudoers
vi /etc/sudoers
root    ALL=(ALL:ALL) ALL复制到下一行
hadoop    ALL=(ALL:ALL)  ALL

保存

返回到hadoop用户下

su - hadoop
sudo apt-get install openssh-server //安装sshserver
ps -aux|grep sshd                 //检查ssh是否正确安装
netstat -tunlp |grep 22
ssh  127.0.0.1//ssh 登陆自己

//免密码登陆
cd      //返回主目录
ls -a //查看是否有.ssh的目录，如果没有 ssh 127.0.0.1 登陆成功后会自动创建.ssh目录
cd .ssh
ssh-keygen -t rsa  //会在.ssh目录下生产 id_rsa  id_rsa.pub
ls   //发现生产密钥对id_rsa  id_rsa.pub
cat ./id_rsa.pub >> ./authorized_keys 
ssh 127.0.0.1 //如果登陆的时候不需要密码，表示操作成功

安装hadoop

sudo cp hadoop-2.6.0-cdh5.6.0.tar.gz /usr //复制hadoop到/usr目录下
cd /usr

sudo tar zxvf hadoop-2.6.0-cdh5.6.0.tar.gz  //解压缩
sudo mv hadoop-2.6.0-cdh5.6.0 hadoop  //改名
sudo chown -R hadoop:hadoop hadoop//修改hadoop文件夹所属的用户和组

修改环境变量
vi ~/.bashrc 或 进入到root下修改/etc/profile

export HADOOP_INSTALL=/usr/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

保存后执行

source ~/.bashrc
//或
source /etc/profile//在root用户下

配置hadoop环境变量

cd /usr/hadoop/etc/Hadoop
vi hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/jdk18
export HADOOP_PREFIX=/usr/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"

vi core-site.xml

<configuration>
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/usr/hadoop/tmp</value> 
        <description>Abase for other temporary directories.
</description> 
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

vi hdfs-site.xml

<configuration>
<property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property> 
        <name>dfs.namenode.name.dir</name> 
        <value>file:/usr/hadoop/dfs/name</value> 
    </property> 
    <property> 
        <name>dfs.datanode.data.dir</name> 
        <value>file:/usr/hadoop/dfs/data</value> 
    </property> 
</configuration>

hdfs namenode -format   //格式化分布式存储系统hdfs
start-all.sh                       //启动hadoop服务
 jps                                  //查看hadoop服务启动是否正常

hadoop@ubuntu:/usr/hadoop/etc/hadoop$ jps//显示这6个代表成功
2768 NameNode
3777 Jps
3449 NodeManager
3291 ResourceManager
2939 DataNode
3150 SecondaryNameNode

安装注意：配置hadoop环境变量时，文件自己会有

<configuration></configuration>

    把代码复制到这个中间不然会报错