1.准备工作
1.hadoop下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2.jdk下载地址:https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
注:Hadoop的话需要jdk1.7的版本
2.Hadoop介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
3.添加hadoop用户
添加一个hadoop用户专门处理大数据相关的事宜
[root@hylct ~]# useradd hadoop
4.安装jdk1.7
解压jdk文件
[root@hylct ~]# cd /usr/java
[root@hylct java]# tar -zvxf jdk-7u80-linux-x64.tar.gz
注:上面的jdk的用户和用户组有问题,必须进行修改
[root@hylct java]# chown -R root:root jdk1.7.0_80
配置环境变量
[root@hylct java]# vi /etc/profile 将我们的java路径配置进去
在文件的末尾加上
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
保存退出,然后重新编译下配置文件
[root@hylct java]# source /etc/profile
[root@hylct java]# java -version 查看jdk的版本
5.下载安装hadoop
[root@hylct ~]# su - hadoop
[hadoop@hylct ~]# mkdir app
[hadoop@hylct ~]# cd app
[hadoop@hylct app]# wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
wget命令用来从指定的URL下载文件。
[hadoop@hylct app]# tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop@hylct app]# cd hadoop-2.6.0-cdh5.7.0
[hadoop@hylcth adoop-2.6.0-cdh5.7.0]#
6.修改配置
1. 为hadoop配置我们刚才的jdk路径
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# cd etc/hadoop
[hadoop@hylct hadoop]# vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
1. 修改配置文件 core-site.xml 指定namenode的地址
[hadoop@hylct hadoop]# vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hylct:9000</value>
<description>指定namenode的地址</description>
</property>
</configuration>
2. 修改配置文件 hdfs-site.xml 设置副本数
[hadoop@hylct hadoop]# vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>设置副本数</description>
</property>
</configuration>
4.设置个人环境变量 ~/.bash_profile
[hadoop@hylct hadoop]# cd
[hadoop@hylct ~]# vi .bash_profile
export MVN_HOME=/home/hadoop/app/apache-maven-3.3.9
export PROTOC_HOME=/home/hadoop/app/protobuf
export FINDBUGS_HOME=/home/hadoop/app/findbugs-1.3.9
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
5.配置slaves文件
一般在集群中你唯一地选择一台机器作为 NameNode ,一台机器作为 ResourceManager,这是master (主)。
那么 ,集群中剩下的机器作为DataNode 和 NodeManager。这些是slaves (从)。
在你的 hadoop目录/etc/hadoop/slaves 文件上列出全部slave机器名或IP地址,一个一行。
[hadoop@hylct ~]# cd app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
[hadoop@hylct hadoop]# vi slaves
localhost
hylct
7.配置无密码ssh
[hadoop@hylct hadoop]# cd
[hadoop@hylct ~]# rm -rf .ssh
[hadoop@hylct ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[hadoop@hylct ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[hadoop@hylct ~]# cd .ssh
[hadoop@hylct .ssh]# chmod 600 authorized_keys
[hadoop@hylct .ssh]# ssh hadoop002
[hadoop@hadoop002 ~]$
8.开启hadoop
[hadoop@hylct hadoop]# cd ~/app/hadoop-2.6.0-cdh5.7.0
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# bin/hdfs namenode -format
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# sbin/start-dfs.sh
[hadoop@hylct hadoop-2.6.0-cdh5.7.0]# jps
5796 Jps
5100 NameNode
4259 DataNode
5337 SecondaryNameNode