Hadoop单机安装

JDK 的安装

将下载好的 jdk 文件放到/usr/local，配置环境变量

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib 

Hadoop 的安装

官网下载Hadoop,下载到/usr/local 目录下并解压并在 /etc/profile文件中配置环境变量

export HADOOP_HOME=/usr/local/hadoop-2.10.0

export PATH=$HADOOP_HOME/bin:$PATH

刷新配置

source profile

查看版本

hadoop version

hadood文件配置

进入目录 cd /usr/local/hadoop-2.10.0/etc/hadoop/

配置以下几个文件

core-site.xml   hadoop-env.sh     hdfs-site.xml     mapred-site.xml     yarn-site.xml

core-site.xml 里添加如下配置 

<configuration>
<property>
<name>fs.defaultFS</name>
<!-- 这里填的是你自己的 ip，端口默认-->
<value>hdfs://172.18.40.66:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 这里填的是你自定义的 hadoop 工作的目录，端口默认-->
<value>/data/hadoop/tmp</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>false</value>
<description>Should native hadoop libraries, if present, be used. </description>
</property>
<property>
<name>fs.permissions.umask-mode</name>
<value>037</value>
</property>
 <property>
<name>hadoop.proxyuser.root.hosts</name>
 <value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

hdfs-site.xml 配置

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 跟core-site.xml保持一致-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/tmp</value>
</property>    
<property>
<name>dfs.secondary.http.address</name>
<!--这里是你自己的 ip，端口默认-->
<value>172.18.40.66:50090</value>
</property>
</configuration>

 

复制默认的 cp mapred-site.xml.template ./mapred-site.xml

配置命名为 mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<!-- 自己的 ip 端口默认 -->
<value>172.18.40.66</value>
</property>
<!-- reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>5</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
</configuration>

hadoop-env.sh 里的配置改动

将 JAVA_HOME 配置成你自己的 jdk 安装路径

export JAVA_HOME=/usr/local/jdk1.8.0_211

配置免密登陆

ssh-keygen -t rsa

出现任何东西全部回车不需要你输入任何东西，都是默认。

将公钥信息保存在授权认证的文件中：

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

配置好之后切换到 sbin 目录下 cd /usr/local/hadoop-2.10.0/sbin/

格式化 hadoop 文件格式，执行命令 hadoop namenode -format ，成功之后启动执行

启动所有命令 ./start-all.sh

使用 jps 查看进程，能看到这些进程证明启动成功了，也可以通过网页来查

看 localhost:50070