Linux搭建Hadoop环境

准备工作

1. 搭建好jdk环境的linux虚拟机：Linux安装jdk
2. hadoop安装包：hadoop-2.6.0-cdh5.14.2.tar.gz 提取码：20n8

开始安装

把hadoop安装包导入虚拟机
解压文件到/opt目录下，修改文件名为hadoop

修改主机名hostname和主机列表hosts

配置hadoop

配置etc/hadoop目录下文件

进入etc/hadoop目录：cd /opt/hadoop/etc/hadoop

1. 配置hadoop-env.sh:vi hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/opt/java8			//${JAVA_HOME}改为jdk所在地址

2. core-site.xml

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://hostname:9000</value>		//hostname为本机主机名
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop260/tmp</value>    //存放临时文件
 </property>
 <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>

3. hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>     //当前为单机模式
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hostname:50090</value>			//hostname改为本机主机名
</property>
</configuration>

4. mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hostname:10020</value>				//hostname为主机名
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hostname:19888</value>				//hostname为主机名
</property>
</configuration>

5. yarn-site.xml

<configuration>
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hostname</value>										//hostname为主机名
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

6. slaves

//dd删除其中内容
jimi01

hadoop环境变量配置

vi /etc/profile添加内容

export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile立即生效

格式化HDFS

hadoop namenode -format
如果有error,处理掉，再次执行

启动Hadoop

start-all.sh
启动历史服务mr-jobhistory-daemon.sh start historyserver
输入jps,查看服务启动情况

在Windows浏览器访问http://192.168.74.131:50070/
在Windows浏览器访问http://192.168.74.131:8088/