hadoop学习笔记（二）

1.hadoop的安装

资源上传

将在windows 中的资源上传到centOS，有以下几种方式：
1.使用SCRT附带的软件 SecureFXPortable，将jdk与hadoop的压缩包放在linux的用户home目录中。
2.在SCPT 窗口中 Alt + P 打开SFTP 用 put + 绝对路径 方式上传。

修改权限

为了避免失误所导致的无法挽回的损失，不推荐直接使用root账户进行操作，推荐全部使用 sudo 命令。
在centOS中创建的普通账户是没有sudo的权限的，我们需要先修改配置文件，因为配置文件都是只有root才有权限修改的，此时我们先将用户切换为root，切换完之后执行

sudo vi /etc/sudoers 

之后

root    ALL=(ALL)       ALL   --在它之后追加
accountName    ALL=(ALL)       ALL   --accountName是linux的账户名

保存退出，此时你的账户已经拥有了sudo的权限。

解压文件

为了方便，我在home目录下创建了一个叫app的文件目录，如下图

执行命令

 tar -zxvf hadoop-2.7.5.tar.gz -C /app
 tar -zxvf jdk-8u181-linux-x64.tar.gz -C /app
 
 //执行完成之后，发现两个软件都已经完美解压，由于我们是解压的，所以jdk与hadooop的环境变量需
 要手动配置

配置环境变量

sudo vi /etc/profile  //将下面的配置追加在文件尾（根据自己的版本！！！）
					  //不清楚路径的借助pwd命令 复制粘贴
					  
export JAVA_HOME=/home/hongjian/app/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/home/hongjian/app/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置完之后记得执行(使环境变量生效):
source /etc/profile

配置hadoop配置文件

进入hadoop -> etc -> hadoop中，分别编辑文件
1.core-site.xml

//将hongjian替换为你的用户名(需在提前修改host)，或者使用ip也是可以的，毕竟之后操作输入用户名
还是方便一些
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hongjian:9000/</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hongjian/app/hadoop-2.7.5/data</value>
</property>
</configuration>

2.hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

3.maped-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

4.yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hongjian</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

5.hadoop-env.sh文件

export JAVA_HOME=/home/hongjian/app/jdk1.8.0_181 
//使用原有环境变量可能出错，手动修改为绝对路径

注：其中一个配置文件后缀名为template，注意修改，否则将无法正常运行

2.启动hadoop

执行

hdfs namenode -format  --初始化namenode（同时也是格式化命令）

成功则会看到 successfully formatted！至此，hadoop配置基本完成！