hadoop 简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
hadoop 单机安装步骤
1、JAVA 的安装
hadoop 的依赖环境是java 首先我们先安装java(具体安装步骤在这里就不说了,网上很多教程)
检测 java 是否安装成功 使用命令
[root@instance-7notzmbo ~]# java -version
openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode)
这样就安装成功了 我的版本是 1.8.0_212
2、hadoop 的安装
1、去官网下载自己需要的版本 我这里下载的是 2.7.3 的 下载地址https://archive.apache.org/dist/hadoop/common/
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
zxvf hadoop-2.7.3.tar.gz
cd /usr/local
mv /root/hadoop-2.7.3 hadoop
2、配置java 的环境变量
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/use/local/java
3、配置 hadoop 的环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
# 使环境变量生效
# 使用这个使之生效
source /etc/profile
4、修改 /usr/local/hadoop/etc/hadoop/core-site.xml 文件(fs.defaultFS直接用localhost就行,如果重命名了主机名,也可以用重命名的。)
vim /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
5、修改 /usr/local/hadoop/etc/hadoop/hdfs-site.xml 文件
# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6、 SSH免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
7、hdfs启动与停止(第一次启动hdfs需要格式化,之后启动就不需要的)
cd /usr/local/hadoop
./bin/hdfs namenode -format
#启动命令:
./sbin/start-dfs.sh
#停止命令:
./sbin/stop-dfs.sh
浏览器输入:http://127.0.0.1:50070 查看效果:
8、接下来配置yarn文件。配置 /usr/local/hadoop/etc/hadoop/mapred-site.xml 。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
9、配置/usr/local/hadoop/etc/hadoop/yarn-site.xml文件。
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
10 、 启动yarn
# 启动
./sbin/start-yarn.sh
#停止:
./sbin/stop-yarn.sh
浏览器输入:http://127.0.01:8088 (8088是默认端口,如果端口占用,先把占用的端口杀掉 netstat -ano)
这样,dfs和yarn就启动成功了。哈哈哈