hadoop 伪分布式

最新推荐文章于 2022-08-14 01:51:26 发布
最新推荐文章于 2022-08-14 01:51:26 发布
阅读量291 收藏
点赞数 1
分类专栏： 机器学习/大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lys07962000/article/details/79253647
版权

卸载系统自动JDK
//查看系统自带JDK


[root@Master local]# rpm -qa | grep java


java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
tzdata-java-2017b-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
//删除
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
安装JDK
上传到 /usr/local目录
tax -zxvf jdk-7u80-linux-x64.tar.gz 
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin


source /etc/profile   //生效配置文件，环境变量
// 查看是否已安装JAVA环境
[root@Master local]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

mkdir /usr/local/hadoop
上传 hadoop-2.6.4.tar.gz
tax -zxvf hadoop-2.6.4.tar.gz
 
//设置免密码登录
//无密攻略
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    // 注意是大写 P,此处纠结过很久
// 攻略添加
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
vim /etc/hostname
修改成  Master


vim /etc/hosts
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.21 Master


mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data


vim ~/.bash_profile


末尾添加：
HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH


source ~/.bash_profile  // 生效配置文件
切换路径：
cd /usr/local/hadoop/hadoop-2.6.4


vim etc/hadoop/hadoop-env.sh


vim etc/hadoop/core-site.xml


# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}  /找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80   /添加


vim etc/hadoop/yarn-env.sh


# export JAVA_HOME=/home/y/libexec/jdk1.6.0/     /找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80      /添加


vim etc/hadoop/core-site.xml


<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>


vim etc/hadoop/hdfs-site.xml


<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>


切换路径：cd /usr/local/hadoop/hadoop-2.6.4/etc/hadoop


cp mapred-site.xml.template mapred-site.xml


vim mapred-site.xml


<configuration>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</configuration>


vim yarn-site.xml


<configuration>


<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


//格式化
./hdfs namenode  -format


切换路径：cd ../sbin/


启动hadoop
./start-all.sh


///查看是否启动
[root@Master sbin]# jps
3479 NameNode
4269 Jps
3968 NodeManager
3879 ResourceManager
3566 DataNode
3738 SecondaryNameNode
[root@Master sbin]#
//启动成功


IE 访问： http://192.168.1.21:8088/
http://192.168.1.21:50070


无法打开页面，查看防火墙
[root@Master sbin]# firewall-cmd --state
running
// 停止防火墙

systemctl stop firewalld.service

再次：IE访问 http://192.168.1.21:8088/， http://192.168.1.21:50070

IE 访问： http://192.168.1.21:8088/

http://192.168.1.21:50070

 





Hadoop分布式集群搭建


[root@localhost ~]# mkdir apps
[root@localhost ~]# rz 上传 hadoop-2.6.4.tar.gz  ，若RZ命令认不到则安装
[root@localhost ~]# yum install lrzsz
// 解压，放到apps目录
[root@localhost ~]# tar -zxvf hadoop-2.6.4.tar.gz -C apps/
[root@localhost ~]# cd apps/
[root@localhost hadoop]# cd hadoop-2.6.4/etc/hadoop/
//查看JDK
[root@localhost hadoop]# echo $JAVA_HOME
/usr/local/jdk1.7.0_80
[root@localhost hadoop]# vim hadoop-env.sh


#export JAVA_HOME=${JAVA_HOME}   // 找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80  // 添加这一行


[root@master sbin]# vim /etc/host   //添加以下三行
192.168.1.20 master
192.168.1.22 slave1
192.168.1.23 slave2


//设置免密码登录
//无密攻略
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    // 注意是大写 P,此处纠结过很久


// 攻略添加，并发送到slave1，slave2上
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys  root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys  root@slave2:~/.ssh/
并保证  ssh slave1，ssh slave2能登录上去
[root@master sbin]# ssh slave1
Last login: Wed Feb  7 14:16:37 2018 from 192.168.1.20
[root@slave1 ~]# exit
登出
Connection to slave1 closed.
[root@master sbin]# ssh slave2
Last login: Wed Feb  7 14:18:36 2018 from 192.168.1.20
[root@slave2 ~]# exit
登出
Connection to slave2 closed.
[root@master sbin]# cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop


[root@master hadoop]# vim slaves
#localhost // 注释，添加以下2行
slave1
slave2


[root@localhost hadoop]# vim core-site.xml


<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.20:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>


[root@localhost hadoop]# vim hdfs-site.xml


<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>


[root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml


[root@localhost hadoop]# vim mapred-site.xml
<configuration>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</configuration>


[root@localhost hadoop]# vim yarn-site.xml


<configuration>


<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.1.20</value>  // 机器名称或IP
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>




//传到其它机器上,当前的 apps 与其它机器 apps 路径是否相同,同时会将所有配置发送到其它机器上
[root@localhost ~]# scp -r apps 192.168.1.22:/home/hadoop  
[root@localhost ~]# scp -r apps 192.168.1.23:/home/hadoop  
[root@localhost ~]# scp -r apps 192.168.1.24:/home/hadoop  


//切换路径：
cd /root/apps/hadoop-2.6.4/bin
[root@localhost bin]# hadoop namenode -format
-bash: hadooop: 未找到命令


[root@localhost bin]# vim /etc/profile
// 添加：
export HADOOP_HOME= /root/apps/hadoop-2.6.4      //hadoop路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
//配置文件传到其它机器上,注意不同机器上的路径是否相同
[root@localhost bin]# scp /etc/profile 192.168.1.22:/etc
[root@localhost bin]# scp /etc/profile 192.168.1.23:/etc
[root@localhost bin]# scp /etc/profile 192.168.1.24:/etc


[root@localhost bin]# source /etc/profile   //每台机器都要执行
// 再执行格式化
[root@localhost bin]# hadoop namenode -format
//以下提示 successfully formatted. 表示成功了


18/02/05 12:32:12 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.
18/02/05 12:32:12 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/02/05 12:32:12 INFO util.ExitUtil: Exiting with status 0
18/02/05 12:32:12 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
************************************************************/
[root@localhost ~]# /root/apps/hadoop-2.6.4/sbin
// 启动节点
[root@localhost sbin]# hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop-2.6.4/logs/hadoop-root-namenode-localhost.localdomain.out
//查看进程
[root@localhost sbin]# jps
1535 NameNode
1569 Jps
//停止
[root@localhost sbin]# hadoop-daemon.sh stop namenode
stopping namenode
[root@localhost sbin]# 
// 启动所有服务
[root@localhost sbin]# ./start-all.sh 

[root@master hadoop]# jps
6951 Jps
5305 NameNode
5633 ResourceManager
5488 SecondaryNameNode

[root@master hadoop]#

[root@slave1 ~]# jps
1684 NodeManager
1595 DataNode
1781 Jps

IE访问 http://192.168.1.21:8088/， http://192.168.1.21:50070

 

lys07962000
关注
专栏目录
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
千与的专栏
06-22 6万+
异常描述 在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /*******************
Hadoop伪分布式配置
m0_51665742的博客
05-09 1102
Hadoop伪分布式配置以及出现的问题和解决方法
hadoop 伪分布启动-fs格式化
09-03 237
1.独立模式(standalone|local) 　　nothing! 　　本地文件系统。 　　不需要启用单独进程。 2.pesudo(伪分布模式) 　　等同于完全分布式，只有一个节点。 　　SSH: //(Socket), 　　//public + private　　/server : sshd ps -Af | grep sshd 　　//clint :...
Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
热门推荐
简单-生活
03-12 3万+
刚配置Hadoop2.7.1 格式化namenode时报出这个这个错误 /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx: xxx: Name or service not
centos8.0安装java环境
IT匠人的博客
11-06 1072
1.下载java版本到本机 3.安装 （1）创建安装目录 mkdir /usr/local/java/ （2）解压到新建目录 tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java/ 4.设置环境变量 打开文件 vim /etc/profile 在文件末尾添加 export JAVA_HOME=/usr/local/java/jdk1.8.0_171 export JRE_HOME=${JAVA_HOME}/jre e.
hadoop伪分布式安装.pdf
10-22
### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式，...
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
03-05
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
shell脚本配置Hadoop伪分布式.zip
05-22
在这个"shell脚本配置Hadoop伪分布式.zip"压缩包中，包含了配置Hadoop伪分布式环境所需的所有资源和指南。伪分布式模式是在单个节点上模拟分布式环境，这对于学习和测试Hadoop功能非常有用，无需复杂的多节点集群...
hadoop伪分布式配置教程.doc
07-11
【Hadoop 伪分布式配置教程】 本教程详细指导如何在Ubuntu 14.04 64位系统上配置Hadoop的伪分布式环境。虽然教程是基于Ubuntu 14.04，但同样适用于Ubuntu 12.04、16.04以及32位系统，同时也适用于CentOS/RedHat系统...
关于hadoop namenode初始化失败显示localhost.localdomain: 未知的名称或服务解决办法。
梦在waterloo
05-03 1万+
[root@localhost hadoop-1.1.2]# bin/hadoop namenode -format 13/05/04 02:12:46 INFO namenode.NameNode: STARTUP_MSG:  /************************************************************ STARTUP_MSG: Startin
centos7.6安装配置hadoop-3.2.0笔记(单机安装、伪分布式安装)
火焰
01-25 8721
实验环境: 1.centos7.6 最小化安装 2.jdk1.8.0_201 3.yum install rsync -y 4.ssh:最小化安装的系统中已有ssh,不用安装 1 首先安装rsync ` [root@localhost ~]# yum install rsync -y 2 关闭防火墙 [root@localhost /]# systemctl stop firewalld.ser...
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
码农UP2U
10-27 1万+
在使用 hadoop namenode -format 格式化 NameNode 时，提示如下错误： SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx 网上提示，需要让 hostname 和 /etc/hosts 下的 主机名 与 ip 地址对应，即 xxx 和 xxx.xxx.xxx.xxx 进行对应。在我本地两者是对应的，后来发现，在输出中有这么一句提示信息，如下图。 只要是提示 succ...
Centos 7 安装 JAVA环境(JDK 1.8)
m0_53682465的博客
08-14 260
Centos7安装JDK
Hadoop平台CDH介绍
wangnan229的博客
06-18 1947
文章目录Hadoop平台CDH简介安装应用 Hadoop平台CDH简介 CDH是Cloudera开发的基于Hadoop生态的一系列组件的组合，简化了Hadoop生态各个组件的版本匹配及安装、集群管理、监控等。 如果实时性要求不是很高，可以使用Hadoop平台，比如CDH。通过定时ETL，将在MySQL表抽取至Hive数据仓库，然后使用Impala代替MySQL快速完成复杂查询的任务。也可以将部分耗时多的处理复杂逻辑的作业转移至CDH进行计算，从而大大减轻MySQL的压力。 安装 CDH目前有5、6两个大版本
Centos7 安装 JAVA环境(JDK 1.8)步骤
LHH201016的博客
10-28 471
1、卸载 openJdk rpm -qa | grep java 找出 openJDK 2、命令说明： rpm 　　管理套件 -qa 　　使用询问模式，查询所有套件 grep　　查找文件里符合条件的字符串 java 　　查找包含java字符串的文件 [root@localhostxin ~]# rpm -qa | grep java java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64 tzdata-java-2017b-1....
CentOS7安装jdk1.8
Deepturn的博客
03-28 728
目录 一、CentOS7一般会自带Open JDK，先卸载它 二、安装jdk1.8 一、CentOS7一般会自带Open JDK，先卸载它 卸载系统自带的OpenJDK以及相关的java文件 在命令行窗口输入：java -version [root@localhost yum.repos.d]# java -version openjdk version "1.8.0_131" OpenJDK Runtime Environment (build 1.8.0_131-b12) OpenJD.
Hadoop伪分布式
最新发布
10-08
Hadoop伪分布式是指在单节点上以伪分布式的方式运行Hadoop。在伪分布式模式下，Hadoop进程以分离的Java进程来运行，节点同时充当NameNode和DataNode的角色。要进行Hadoop伪分布式设置，您需要修改一些配置文件，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值