前言
一、hadoop是什么?
Hadoop是一个开源分布式系统架构
分布式文件系统HDFS——解决大数据存储
分布式计算框架MapReduce——解决大数据计算
分布式资源管理系统YARN
1、处理海量数据的架构首选
2、非常快得完成大数据计算任务
3、已发展成为一个Hadoop生态圈
hadoop特点:
高扩展性,可伸缩
高可靠性
多副本机制,容错高
低成本
无共享架构
灵活 可存储任意类型数据
开源社区活跃
1.安装包
首先下载hadoop 安装包,
使用tar -zxvf
命令来解压
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
解压后的文件夹hadoop-2.6.0-cdh5.14.2
由于名字太长不方便记忆,所以把文件夹改名字为hadoop
mv hadoop-2.6.0-cdh5.14.2 hadoop
2.配置环境变量
代码如下(示例):
解压完成后,进入hadoop文件夹,可以看到文件结构
进入etc/hadoop文件夹,准备修改配置文件
1、输入vi hadoop-env.sh
进入,添加以下代码并回车
进入后按a输入以下代码
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
完成后按esc退出编辑模式,输入:wq
并回车退出vi编辑器
用echo $JAVA_HOME查看具体地址
2、输入vi core-site.xml并回车进入修改
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
#这里为hadoop/tmp的安装路径
<value>/root/software/hadoop/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
3、输入hdfs-site.xml进入修改
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4、输入mapred-site.xml进入修改
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5、输入yarn-site.xml进入修改
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
#这里是当前主机的名称
<value>host00</value>
</property>
6、输入vi /etc/profile进入修改hadoop环境变量配置
export HADOOP_HOME=/root/software/hadoop //hadoop地址是自己实际的
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
7、修改名字,为了后期修改方便记忆查找
mv mapred-site.xml.template mapred-site.xml
8、输入source /etc/profile
使配置环境变量生效
source /etc/profile
9、格式化hdfs
hadoop namenode -format
10、启动hadoop
start-all.sh
11、成功启动后输入jps检查启动项