hadoop简介:
1.Hadoop是开源的,可靠的,可扩展的分布式的软件框架。
分布式:
GFS(存储)和MapReduce(计算)
2.Hadoop的组成:
1.commom
2.mapreduce
3.hdfs(dfs)
4.yarn
Hadoop的安装部署
1.搭建环境
centOS6.8+hadoop2.7.3+jdk1.8
注意:采用自建用户(hadoop/123456),安装目录为:/home/hadoop/soft
2.hadoop集群搭建三种模式
Local (Standalone) Mode:本地模式[Hadoop被配置为作为单个Java进程以非分布式模式运行。主要用于debug]
Pseudo-Distributed Mode:伪分布模式[Hadoop伪分布模式运行在单节点上,每个hadoop守护进程占用单独的java进程]
Fully-Distributed Mode:完全分布式模式[]
3.搭建伪分布模式
1.安装jdk
cp jdk-8u121-linux-x64.tar.gz ~/soft
将文件拷贝到~/soft目录下
tar -zxvf ~/soft/jdk-8u-linux-x64.tar.gz
解压
ln -s jdk1.8.0_121 jdk
创建软连接
修改配置文件
vi ~/.bash_profille
追加:#java
export JAVA_HOME=/home/hadoop/soft/jdk
export PATH=
J
A
V
A
H
O
M
E
/
b
i
n
:
JAVA_HOME/bin:
JAVAHOME/bin:PATH
source ~/.bash_profile
echo $JAVA_HOME
2**.下载hadoop二进制包**
cp /mnt/hgfs/aaa/bbb/hadoop-2.7.3.tar.gz ~/soft
在共享文件夹中将hadoop-2.7.3拷贝到soft文件夹下
tar -zxvf hadoop-2.7.3.tar.gz
ln -s hadoop-2.7.3 hadoop
vi ~/.bash_profile
追加
#hadoop install
export HADOOP_HOME=/home/hadoop/soft/hadoop
export PATH=
H
A
D
O
O
P
H
O
M
E
/
b
i
n
:
HADOOP_HOME/bin:
HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
source ~/.bash_profile`
echo $HADOOP_HOME`
3.修改配置文件
修改【$HADOOP_HOME/etc/hadoop】文件夹下的core-site.xml
$>cd $HADOOP_HOME/etc/hadoop
>
v
i
c
o
r
e
−
s
i
t
e
.
x
m
l
在
<
c
o
n
f
i
g
u
r
a
t
i
o
n
>
标
签
下
添
加
以
下
属
性
:
<
p
r
o
p
e
r
t
y
>
<
n
a
m
e
>
f
s
.
d
e
f
a
u
l
t
F
S
<
/
n
a
m
e
>
<
v
a
l
u
e
>
h
d
f
s
:
/
/
l
o
c
a
l
h
o
s
t
:
9000
<
/
v
a
l
u
e
>
<
/
p
r
o
p
e
r
t
y
>
修
改
【
>vi core-site.xml 在<configuration>标签下添加以下属性: <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 修改【
>vicore−site.xml在<configuration>标签下添加以下属性:<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>修改【HADOOP_HOME/etc/hadoop】文件夹下的hdfs-site.xml
$>vi hdfs-site.xml
在标签下添加以下属性:
dfs.replication
1