Hadoop 单机环境搭建和伪分布环境搭建

最新推荐文章于 2024-01-28 16:56:36 发布
最新推荐文章于 2024-01-28 16:56:36 发布
阅读量377 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39209728/article/details/79688854
版权

Hadoop 最开始是搭建在Linux系统程序上的，为学习方便所以采用Linux系统来进行学习Hadoop

Hadoop环境搭建有三种模式

单机环境搭建    伪分布环境搭建    完全分布环境搭建

这里只讲前面两种

搭建环境前准备

1.Vmware 虚拟机下载安装：

官网：https://my.vmware.com 下载

2.Linux系统 下载安装：

官网：http://mirrors.163.com/centos/7.4.1708/isos/x86_64/

3.jdk linux版本下载

官网：https://www.oracle.com/

4.Hadoop 安装包下载

官网：http://hadoop.apache.org/

然后就是安装虚拟机---》安装CentOS系统----》安装JDK----》安装Hadoop

安装虚拟机查看我的博客：https://blog.csdn.net/weixin_39209728/article/details/79676920

ping通外网查看我的博客：https://blog.csdn.net/weixin_39209728/article/details/79679026

网络连接设置：有三种模式 （仅主机、 桥接 、nat）
1.仅主机;查看虚拟机的vment1--ip网段 (查看的是93）
	设置ifconfig ens33 192.168.93.2（临时）
2.有网络情况下连接：
使用桥接 
本机网段是0网段（需要查看）--和真实机网段是一个网段
需要修改ifconfig ens33 192.168.1.2（临时）

设置固定ip地址(查看本地ip地址所在网段 修改固定ip地址网段和本地一致）
ONBOOT=yes #开机自动打开
BOOTPROTO=static #静态获取
DNS1=192.168.0.1 #DNS解析地址
IPADDR=192.168.0.2 #固定ip地址设置
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.0.1 #默认网关

创建用户

useradd -d/usr/hadoop -m hadoop    ---其中-d和-m用来为登录名hadoop产

生一个主目录/user/hadoop
passwd hadoop---设置密码
chown -R hadoop:hadoop /usr/hadoop/  ---分配权限

su hadoop ---以hadoop用户登录
su root--切换到root用户下
pwd ---显示当前用户所在位置
cd .. ---返回上级菜单

安装jdk 和 hadoop 并配置环境变量

cd /usr/hadoop/  ---找到该安装包
ll
sudo tar -xvf jdk(按tab键自动出来）...gz   ----然后执行解压缩操作
sudo tar -xvf jdk(按tab键自动出来）...gz  -C /usr/hadoop/jdk
vi /etc/profile/
export JAVA_HOME=/usr/hadoop/jdk1.7---设置环境变量
export PATH=/usr/hadoop/jdk1.7.0_80/bin:${PATH}--设置用户路径
source /etc/profile ----使变量设置生效
echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样
验证jdk版本号 验证jdk是否安装成功
hadoop版本以及安装
http://hadoop.apache.org/
下载2.7.5版本
用ftp上传
cd /usr/hadoop/
ll
sudo tar -xvf hadoop --解压缩
sudo tar -xvf hadoop (按tab键自动出来）...gz  -C /usr/hadoop/had
vi /etc/profile/  ---配置环境变量
export HADOOP_HOME=/usr/hadoop/hadoop---设置环境变量
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:${PATH}--设置用户路径
source /etc/profile ----使变量设置生效
查看hadoop版本：hadoop version

配置hadoop环境配置文件

进入hadoop配置文件夹
配置hadoop环境配置文件
cd /usr/hadoop/hadoop-2.7.5/etc/hadoop
vi hadoop-env.sh
取消JAVA_HOME前面的#符号

Hadoop的目录结构
bin:hadoop的命令
sbin:hadoop的集群的命令
etc:hadoop的所有配置文件
share:
	doc：文档
	hadoop:所有jar包
		common:共用的jar包
		hdfs:
		mapreduce:

hadoop的本地模式（单机模式）

1.特点 不具备hdfs 只能在测试MapReduce程序
2.安装 只需要配置hadoop-env.sh-----》修改JAVA_HOME路径就可以了
echo $JAVA_HOME  -----查看JAVA_HOME所在位置
cd /usr/hadoop/hadoop-2.7.5/etc/hadoop
vi hadoop-env.sh
:set number ----打开行号
把JAVA_HOME重新配置一下
export JAVA_HOME=/usr/hadoop/jdk1.7.0_80
esc
:wq---->保存

3.演示一个Demo：
找到/usr/hadoop/hadoop-2.7.5/share/hadoop/mapreduce
这里都是mapreduce的程序
hadoop jar hadoop-mapreduce-examples-2.7.5.jar---执行命令程序

mkdir -p data/input
mkdir -p data/output  ----创建输入 输出文件夹 
cd data/input
vi data.txt
cd ~
cd /usr/hadoop/hadoop-2.7.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount 

/usr/hadoop/hadoop-2.7.5/share/hadoop/mapreduce/data/input/data.txt 

/usr/hadoop/hadoop-2.7.5/share/hadoop/mapreduce/data/output/wc.txt

---执行wordcount程序
	日志;18/03/24 22:00:31 INFO mapreduce.Job: Job 

job_local1944524983_0001 running in uber mode : false
MRPRODUCE有自己默认的排序规则

Hadoop的伪分布模式

1.特点：具备Hadoop的所有功能，在单机上模拟一个分布式的环境。
	1)HDFS:主:NameNode 数据节点：DateNode
	2)Yarn:容器，运行MapReduce程序
		主节点：ResourceManager
		从节点：NodeManager
伪分布模式的配置
hadoop-env.sh   配置参数  JAVA_HOME   /usr/hadoop/jdk1.7.0_80
core-site.xml	配置参数  fs.defaultFS   hdfs://<hostname>:9000
			  hadoop.tmp.dir /usr/hadoop/hadoop-2.7.5/tmp
hdfs-site.xml	配置参数  dfs.namenode.name.dir <dir>/dfs/namenode
			  dfs.datanode.data.dir <dir>/dfs/datanode
			  dfs.http.address <hostname>:50070
			  dfs.replication 1
			  dfs.permissions  false
mapred-site.xml	配置参数  mapreduce.framework.name  yarn
			  mapred.job.tracker hdfs://<hostname>:9001
			  mapred.system.dir file:/<dir>/mapred/system
			  mapred.local.dir file:/<dir>/mapred/local
yarn-site.xml	配置参数  yarn.resourcemanager.hostname  <hostname>
	       yarn.nodemanager.aux-services mapreduce_shuffle


xml格式：

 

2.步骤

 

1）修改core-site.xml
<!-- 配置HDFS的NameNode-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.0.2:9000</value>
</property>
<!-- 配置DataNode保存数据的位置 tmp目录必须事先就有-->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/hadoop/hadoop-2.7.5/tmp</value>
</property>
2）修改hdfs-site.xml
cd /usr/hadoop/hadoop-2.7.5/
mkdir tmp
cd tmp
pwd  ---拷贝当前目录位置
<property>
      <name>dfs.namenode.name.dir</name>
      <value>/home/ylf/hadoop/dfs/namenode</value>
      <final>true</final>
</property>      
<property>
       <name>dfs.datanode.data.dir</name>
       <value>/home/ylf/hadoop/dfs/datanode</value>
      <final>true</final>
</property>
<property>
      <name>dfs.http.address</name>
      <value>localhost:50070</value>
       <description>
         The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
      </description>
</property>
<!-- 配置HDFS的冗余度-->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<!-- 配置是否检查权限-->
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>


3）修改mapred-site.xml
ls mapred-site.xml.template（Tab键） --查找mapred-site.xml
cp mapred-site.xml.template mapred-site.xml --修改文件名
vi mapred-site.xml ---编辑文件
<!-- 配置MR运行的框架-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
      <name>mapred.job.tracker</name>
      <value>hdfs://localhost:9001</value>
    </property>
<property>  
          <name>mapred.system.dir</name>  
          <value>file:/home/ylf/hadoop/mapred/system</value>  
          <final>true</final>  
</property>  
<property>  
          <name>mapred.local.dir</name>  
          <value>file:/home/ylf/hadoop/mapred/local</value>  
          <final>true</final>  
</property> 
4）修改yarn-site.xml
<!-- 配置ResourceManaget的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>192.168.0.2</value>
</property>
<!-- 配置执行任务的方式-->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
5）格式化namenode
hdfs namenode -format
日志：18/03/24 22:58:43 INFO common.Storage: Storage directory 

/usr/hadoop/hadoop-2.7.5/tmp/dfs/name has been successfully 

formatted.
说明格式化成功了
6）启动：在sbin目录下运行命令
start-all.sh
  HDFS 存储数据
  Yarn 执行程序

jps
7)访问 
	命令行
	java api
	web console:
		HDFS:http://192.168.0.2:50070
		Yarn:http://192.168.0.2:8088

hadoop 访问不了
 

1.修改：vi /etc/selinux/config
SELINUX=disabled
2.是否关闭linux系统的防火墙

关闭防火墙

如访问不通过 可能是防火墙没有关闭
伪集群搭建采用的是CentOS 7.0，而CentOS7.0默认使用的是firewall作为防火

墙，可以改为iptables。

Firewall：

systemctl start firewalld.service#启动firewall

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall开机启动

改成iptables：

systemctl startiptables.service

jps命令能看到

 

 

 

 

桑丘紫言
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop单机版环境搭建
qq_24095055的博客
07-31 976
文章目录一、前置条件二、配置免密登录(本地单机可不设置直接跳到下一节)2.1 配置映射2.2 生成公私钥2.3 授权三、Hadoop(HDFS)环境搭建3.1 下载并解压3.2 配置环境变量3.3 修改Hadoop配置3.4 关闭防火墙3.5 初始化3.6 启动HDFS3.7 验证是否启动成功四、Hadoop(YARN)环境搭建4.1 修改配置4.2 启动服务4.3 验证是否启动成功 一、前置条件 Hadoop 的运行依赖 JDK，需要预先安装，版本为1.8以上即可，这里不再赘述。 二、配置免密登录(本地单
Hadoop单机环境搭建.md 非常容易上手使用
最新发布
07-11
以下是针对Hadoop单机环境搭建的关键知识点的详细解释： ### Hadoop单机环境搭建.md 非常容易上手使用 #### 一、前置条件 Hadoop 的运行高度依赖于 JDK，因此在安装 Hadoop 之前，必须确保已正确安装 JDK。具体...
大数据测试之hadoop单机环境搭建(超级详细版)
weixin_34099526的博客
11-23 631
Hadoop的运行模式 单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑； 伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtra...
Hadoop单机环境搭建
三暮辰的博客
08-20 548
Hadoop单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压Hadoop五、配置Hadoop环境变量六、修改Hadoop配置文件七、关闭防火墙八、初始化九、启动十、Yarn配置启动 一、jdk环境 从官方下载jdk，版本1.8及以上即可 给个地址：jdk8 Ubuntu环境下载64位链接 二、IP地址和主机名映射 将主机名与IP地址映射，可以用主机名进行任务分发或文件传输以及其他工作 使用hostname命令 ，查看本机的主机名； 使用ip addr命令 ，查看本机的ip地
手把手教Hadoop环境搭建，学不会你咬我～
程序IT圈
11-28 345
之前后台小伙伴私信我想了解hadoop的单机环境安装，以方便用于hadoop学习，今天给大家安排上了，废话不多说，直接上干货。目录前置条件配置 SSH 免密登录Hadoop(HDFS)环...
hadoop单机伪分布式
weixin_45955039的博客
10-23 2020
hadoop伪分布式 修改配置文件之前，别忘了免密 1.使用 ssh-keygen 命令，在 /home/hadoop/.ssh 目录下生成公钥和私钥，所有选项全部敲回车 ssh-keygen 2.使用 ssh-copy-id localhost 命令，发送本机的公钥给 localhost，本机就可以免密登录 localhost ssh-copy-id localhost hadoop的配置文件在etc/hadoop/里面 cd etc/hadoop/ 2.修改配置文件core-site.
Hadoop单机环境搭建.md
08-07
Hadoop单机环境搭建，实战篇
搭建Hadoop单机伪分布式环境1
08-08
搭建Hadoop单机伪分布式环境是一项基础而重要的工作，尤其对于初学者来说，这有助于理解Hadoop的工作原理和运行机制。下面将详细讲解这个过程中的关键步骤和涉及的知识点。 首先，我们需要创建一个新的用户，例如名...
ubuntu环境下hadoop环境搭建（伪分布模式）
11-14
在Ubuntu环境下搭建Hadoop伪分布式模式，主要是为了模拟多节点Hadoop集群的环境，以便于学习和测试Hadoop的功能。这个过程涉及到多个步骤，包括必要的资源下载、软件安装、环境配置以及Hadoop服务的启动与验证。以下...
从零起步搭建Hadoop单机和伪分布式开发环境图文教程.
01-12
搭建伪分布式开发环境的步骤大致与单机模式相似，但是需要对Hadoop配置文件进行进一步的配置，以使Hadoop模拟分布式环境运行。 王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境，提供了极为详尽的操作...
大数据-Hadoop环境搭建(单机)
09-18
大数据-Hadoop环境搭建(单机)文档，供大家参考学习使用！，附详细安装配置过程，以及问题处理等
hadoop-2.7.4 单机伪分布配置文件
05-29
hadoop-2.7.4 单机伪分布配置文件，包括4大文件，直接替换，使用的是127.0.0.1 ，无需修改
centos搭建hadoop单机模式与伪分布模式
tianyunzqs的专栏
12-23 1138
一、安装jdk 安装过程可参考http://blog.csdn.net/tianyunzqs/article/details/78758804 二、添加用户，并设置免密登陆 1、 添加用户 1）创建用户 useradd -m hadoop -s /bin/bash 这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell 2）之后设置登陆密码 p
hadoop单机环境搭建
weixin_30627381的博客
03-11 69
[在此处输入文章标题] Hadoop单机搭建 1、 工具准备 1） Hadoop Linux安装包 2） VMware虚拟机 3） Java Linux安装包 4） Window 电脑一台 2、 开始配置 1） 启动Linux虚拟机，这里使用的是CentOS 6.7版本 2） 首先配置虚拟机网络环境 Ø 配置Windows网络环境 1、 打开VMware，编辑—虚拟网络编辑器 2、 修改子网I...
单机搭建hadoop环境（包括hdfs、yarn、hive）
howard_shooter的博客
01-28 1975
然后，下载hadoop安装包，这个包就包括了hdfs服务器和yarn服务器的执行文件和配置脚本。首先，要配置好Java的JAVA_HOME和PATH（etc/hadoop/hadoop-env.sh里的JAVA_HOME要改为本机的JAVA_HOME），还是有ssh本机的免密码登录。etc/hadoop/hdfs-site.xml （dfs.namenode.name.dir 和 dfs.namenode.data.dir）是服务器上存储元数据和数据的目录。yarn服务器，yarn的前提是hdfs服务器，
Hadoop环境搭建-单机版本
qq_29012499的博客
09-03 282
Hadoop环境搭建 一、配置列表 linux选用centos7 jdk1.8（hadoop是java写的，运行需要jre） hadoop3 二、目标 熟悉hadoop的配置 搭建伪分布式hadoop集群 三、下载jdk、hadoop文件 jdk下载 斜体样式从华为镜像网站下载，速度比较快。 https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz hadoop下载 从北京信息学院的国内镜像下载 http:
hadoop单机转伪分布笔记
RainSoul
02-12 176
&lt;!-- @page { margin: 2cm } PRE.cjk { font-family: "文泉驿微米黑", monospace } P { margin-bottom: 0.21cm } --&gt; 一、伪分布（ Pseudo-Distributed ）与分布式（ Fully-Distribute...
Hadoop 2.5.2环境搭建：本地模式、伪分布与分布式高可用实践
本文档详细介绍了如何在Hadoop 2.5.2环境中搭建本地模式、伪分布式集群以及分布式集群，并着重讨论了HDFS系统的高可用性设置。首先，作者强调了准备工作，包括卸载Linux自带的Java并安装JDK 1.8，因为Hadoop 2.5.2对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值