hadoop基础配置

一.安装jdk和mysql

输入：hostnamectl set-hostname cent04将机器改名
新建software文件夹：mkdir /software
进入software目录：cd /software/
将需要的安装包拖入当前目录

.安装jdk和mysql
1）将jdk安装到opt目录下

2）进入opt目录：cd /opt/
3）将jdk改名：mv jdk1.8.0_221/ java8
4）修改配置文件：vi .etc/profile
在文末添加

export JAVA_HOME=/opt/java8
export JRE_HOME=/opt/java8/jre
exportCLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出
输入：source /etc/profile
5）安装net-tools
yum install -y net-tools
6）安装perl
yum install -y perl
7）安装autoconf
yum install -y autoconf
8）删除冲突包：
rpm -qa | grep mariadb
rpm - e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps
9）安装mysql客户端
rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm
10）安装mysql服务端
rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm
11）修改配置文件
vi /usr/my.cnf
在其中对应位置添加，如图所示

二.安装hadoop

1.解压两个hadoop安装包：
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt
在opt目录下将hadoop-2.6.0-cdh5.14.2.tar.gz改名为hadoop：
mv hadoop-2.6.0-cdh5.14.2/ hadoop
tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib
2.修改环境配置：
vi /etc/profile
在CLASSPATH和PATH之间添加：

export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
将最后一行PASS改为
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出
source /etc/profile
hadoop version 查看是否配置成功
3.进入etc目录下的hadoop目录
cd etc/hadoop
4.修改配置文件：
vi core-site.xml
在其中添加：

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.134.4:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
  </property>

5.伪分布式配置：
vi hdfs-site.xml
添加：

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

6.修改hadoop-env.sh配置文件
vi hadoop-env.sh
找到export JAVA_HOME那一条，将它注释掉，在它下一行添加
export JAVA_HOME=/opt/java8
7.修改mapread配置
将其改名为mapred-site.xml
mv mapred-site.xml.template mapared-site.xml
vi mapred-site.xml
添加：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
 		<property>
   				<name>mapreduce.jobhistory.address</name>
  		  		<value>192.168.134.4:10020</value>
	  </property>
	  <property>
   		 	  <name>mapreduce.jobhistory.webapp.address</name>
 	   			<value>192.168.134.4:19888</value>
      </property>

保存退出
8.修改yarn配置
vi yarn-site.xml
添加

 <property>
                <name>yarn.resourcemanager.localhost</name>
                <value>192.168.134.4</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
  </property>

9.配置免密登录：ssh-keygen
伪分布：cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
ssh 机器名
exit
10.格式化：（在第一个hadoop目录下）
在格式化之前，执行删除hadoop目录下的logs文件和tmp文件
rm -rf tmp/
rm -rf logs/
hdfs namenode -format
11.启动hdfs：
start-dfs.sh
12.启动yarn
start-yarn.sh
13.关闭全部进程
stop-all.sh
输入jps查看进程
在浏览器输入192.168.134.4::50070 查看是否成功连接hdfs
输入192.168.134.4::8088 查看是否成功连接hadoop
14.slaves文件设置为本机名：
vi slaves
cent04
15.向hadoop中传入文件
新建test文件夹：hadoop fs -mkdir /test
刷新hdfs页面，查看是否传入成功
将README.txt文件传到test文件夹中
hadoop fs -put READ.txt /tst
执行：hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/README.txt /output
执行成功，如图所示