sunjunzhe">sunjunzhe
一.准备工作
1.Hadoop安装包 我的版本是hadoop-2.7.6.tar.gz
2.Jdk的安装包 我的版本是jdk-8u181-linux-x64.tar.gz
二.准备
1.1创建Hadoop用户
$sudo useradd -m hadoop -s /bin/bash #创建Hadoop用户,用/bin/bash/作为shell
$sudo passwd hadoop #设置密码
$sudo adduser hadoop sudo #为Hadoop增加管理员权限
$su - hadoop #切换到Hadoop用户
$sudo apt-get update #更新Hadoop的apt
1.2安装ssh,设置ssh无密码登陆
$sudo apt-get install openssh-server
$ssh localhost #第一次登陆需要设置密码
$exit # 退出登陆的ssh localhost
$cd ~/ .ssh/ #进入该目录 ,执行ssh localhost
$ssh-keygen -t rsa #点击回车
$cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ssh localhost #现在就可以无密码登陆
二.安装jdk
$mkdir jdk -8u181-linux-x64.tar.gz /usr/lib/jvm #创建jvm文件夹
$sudo tar zxvf jdk-1.8.0_181 -C /usr/lib/jvm 将压缩包解压至jvm文件夹,注意解压时应该切换到压缩包的文件夹
$cd /usr/lib/jvm #切换到jvm文件夹
$mv jdk-1.8.0_181 java #将文件改名为 Java
v
i
/
.
b
a
s
h
r
c
打
开
文
件
,
配
置
环
境
在
文
件
中
加
入
:
e
x
p
o
r
t
J
A
V
A
H
O
M
E
=
/
u
s
r
/
l
i
b
/
j
v
m
/
j
a
v
a
e
x
p
o
r
t
J
R
E
H
O
M
E
=
vi ~/.bashrc 打开文件,配置环境 在文件中加入:export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=
vi /.bashrc打开文件,配置环境在文件中加入:exportJAVAHOME=/usr/lib/jvm/javaexportJREHOME={JAVA_HOME}/jre
export CLASSPATH=.:
J
A
V
A
H
O
M
E
/
l
i
b
:
{JAVA_HOME}/lib:
JAVAHOME/lib:{JRE_HOME}/lib
export PATH=
J
A
V
A
H
O
M
E
/
b
i
n
:
{JAVA_HOME}/bin:
JAVAHOME/bin:PATH
Source ~/.bashrc #使配置的环境变量生效
java -version #验证是否配置成功
三.安装Hadoop
$sudo tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/jvm #解压压缩包
$cd /usr/local
$sudo mv hadoop-2.7.6/ hadoop #改名为hadoop
$sudo chown -R hadoop ./hadoop #修改文件的权限
KaTeX parse error: Expected 'EOF', got '#' at position 15: vim ~/.bashrc #̲修改文件 在文件中加入:exp…(
H
A
D
O
O
P
H
O
M
E
/
b
i
n
/
h
a
d
o
o
p
c
l
a
s
s
p
a
t
h
)
:
HADOOP_HOME/bin/hadoop classpath):
HADOOPHOME/bin/hadoopclasspath):CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=
H
A
D
O
O
P
H
O
M
E
/
l
i
b
/
n
a
t
i
v
e
e
x
p
o
r
t
P
A
T
H
=
HADOOP_HOME/lib/native export PATH=
HADOOPHOME/lib/nativeexportPATH=PATH:
H
A
D
O
O
P
H
O
M
E
/
b
i
n
:
HADOOP_HOME/bin:
HADOOPHOME/bin:HADOOP_HOME/sbin
$source ~/.bashrc # 使设置生效
$hadoop -version #验证Hadoop是否安装成功
四.伪分布设置
Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中
将路径添加到hadoop-env.sh文件中
cd /usr/local/hadoop/etc/hadoop
vim /hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java
$vim core-site.xml
将以下部分加入
<property
hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.
fs.defaultFS
hdfs://localhost:9000
$vim hdsf-site.xml
在文件中加入
hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.
fs.defaultFS
hdfs://localhost:9000
$./bin/hdfs namenode -format #将namende 格式化
$./sbin/start-dfs.sh #启动进程
$jps #查看启动结果
Hadoop的伪分布式配置
最新推荐文章于 2024-10-09 15:24:44 发布