大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建

最新推荐文章于 2024-09-28 12:39:26 发布
最新推荐文章于 2024-09-28 12:39:26 发布
阅读量1.4k 收藏 6
点赞数 1
分类专栏： Hadoop及Spark学习 大数据学习进阶 文章标签： hadoop环境搭建 伪分布式搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzw2016/article/details/84197986
版权
本文详细介绍了在Win10上使用VMware和Centos7搭建Hadoop伪分布式集群的步骤，包括JDK环境配置、虚拟机网络环境设定、Hadoop环境变量配置、Hadoop组件启动等，适合初学者进行Hadoop学习。
摘要由CSDN通过智能技术生成

title: Hadoop伪分布式集群搭建
date: 2018-11-14 15:17:20
tags: Hadoop
categories: 大数据
点击查看我的博客: Josonlee’s Blog

文章目录

前言准备

Win10上通过VMware12 + Centos7准备好了基本环境，配置虚拟机的子网IP地址（我这里是192.168.17.0），如图通过管理员可配置子网IP，掩码，网关（我这里是192.168.17.2）
在这里插入图片描述

下文提到的文件上传到虚拟机中，建议使用WinSCP工具

伪分布式特点

具备Hadoop的所有功能，在单机上模拟一个分布式的环境，需要配置hdfs和yarn框架

  • HDFS：主节点：master，从节点：slave 【伪分布式这里也是master】
  • Yarn：容器，运行MapReduce程序
    • 主节点：ResourceManager
    • 从节点：NodeManager

JDK 下载和环境配置

  • 下载安装

这里下载Linux版本：http://www.oracle.com/technetwork/java/javase/downloads/index.html ，我这里使用的是 jdk-8u131-linux-x64 版本

首先要把下载的文件上传到centos系统下的随便那个目录下（最好root下），把文件解压缩到/root 目录下

以下操作都是在root管理员权限下操作

cd /root
rpm -ivh [你下载的文件名]
  • 环境配置

编辑环境变量，在/etc/profile文件中添加如下变量
在这里插入图片描述

注意，我这里jdk1.8.0_131换成你下载的jdk版本号即可

  • 测试

命令行下输入 java -version，能正确查看到java的版本就表示上面步骤配置成功

配置虚拟机网络环境

首先要知道完全分布式和伪分布式的原理是一样的，都得有master和slave节点，节点之间通信时不可能有DHCP临时随机配置IP，所以要配置虚拟机的固定IP

  • 设置静态IP

同样是在/etc下（这是配置文件所在地）

ls sysconfig/network-scripts/ifcfg-ens*
# 输出结果就是要配置的文件

vi sysconfig/network-scripts/ifcfg-en*
# 进入编辑

改动以下设置

BOOTPROTO=static //改成static
ONBOOT=yes //改成yes
IPADDR=192.168.17.10 //随便设，不过要在子网192.168.17.0下
NETMASK=255.255.255.0 //掩码
GATEWAY=192.168.17.2 //第一步配置时设好的
DNS1=192.168.17.2 //随便写
  • 设置主机名

命令行下输入hostname可查看主机名，一般是localhost，但为了方便重新设置主机名

vi /etc/hostname

删掉原先的，配置主机名（如master，namenode等）

  • 绑定IP地址到主机名的映射
vi /etc/hosts

# 追加如下内容
127.168.17.10 master //就是你配置的固定IP和主机名
  • 关闭防火墙

我这里是centos，防火墙是firewall，而不是iptables【其他系统有其他关闭方法】。防火墙务必要关闭，否则完全分布式搭建的话无法和其他主机相连

systemctl stop firewalld    //停止firewall服务
systemctl disable firewalld   //禁止firewall开机启动

然后可以通过systemctl status firewalld查看防火墙状态

Active: inactive (dead) //这就是关闭了
  • 重启网络服务

systemctl restart network，然后你可以ping以下主机名ping master，看可以ping通吗，可以的话就OK

配置Hadoop的环境

下载Hadoop

(1) apache hadoop：http://www-us.apache.org/dist/hadoop/common/ 【这个是开源的】

(2) cloudera hadoop（CDH）：http://archive-primary.cloudera.com/cdh5/cdh/5/ 【推荐使用】

CDH是hadoop的一个版本，我们老师推荐的，原因没记住是啥

上传并解压安装

我这里是下的hadoop-2.6.0-cdh5.12.1，一样是上传放在了/root目录下

tar -zxvf hadoop-2.6.0-cdh5.12.1.tar.gz -C /home/hadoo
最低0.47元/天 解锁文章
(二) 配置开发环境 - Hadoop安装与伪分布式集群搭建
weixin_45873289的博客
04-07 5546
** Hadoop安装与伪分布式集群搭建 一. 安装JDK https://blog.csdn.net/weixin_45873289/article/details/104945583 注：这链接里面还有jdk和hadoop安装包 二. 安装Hadoop 输入tar -zxvf hadoop-3.1.0.tar.gz 解压hadoop安装包(这里需要注意安装包的名称是否正确)* 解压成功 三...
大数据学习之hadoop——01伪分布式集群搭建
nothair的博客
03-13 379
hadoop学习之HDFS文件系统——01-伪分布式集群搭建 1.1 HDFS文件系统中的三个角色： NameNode：主节点，存元数据，全局只有一个。 DataNode：数据节点，存真实数据，全局可以有无限个。 SecondoryNameNode：主节点备份节点，备份元数据，全局只有一个。 （以上节点的功能作用会在后续博客中更新 +关注） 1.2 伪分布搭建（一台机器充当所有节点） 一台全...
Hadoop伪分布式配置教程
最新发布
web14785362268的博客
09-28 1299
默认情况下，GC 日志和 Heap 信息我们是看不到的，可以通过增加 VM 参数的方式启动。这样当 GC 发生时，我们就能看到关于垃圾回收器的相关信息了。默认使用的垃圾收集器是不同的，目前的新生代和老年代的垃圾收集器如下图所示，新生代和老年代之间的连线表示这些垃圾收集器可以进行搭配使用。这种方式仅适用于 windows 平台，直接在控制台输入下面的命令行，可以从展示信息中看到 当前机器 JVM 的垃圾回收器类型。里面并不是存储的垃圾收集器的名字，而是有一个其他的名字。里面的参数对照表如下，即在。
零基础搭建Hadoop大数据处理-环境
weixin_34265814的博客
08-01 334
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。 VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。 所有虚拟机采...
docker安装redis并配置
ccc
10-08 458
参照1 原作者：等那时夕颜 原文链接：https://blog.csdn.net/qq_33562996/article/details/80538022?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-1-80538022.nonecase&utm_term=docker%E5%AE%89%E8%A3%85redis&spm=1000.2123.3..
大数据Hadoop伪分布式集群搭建
sod5211314的博客
04-22 1416
安装hadoop ------------------- 1.安装jdk a)下载jdk-8u65-linux-x64.tar.gz b)tar开 $>su centos ; cd ~ $>mkdir downloads $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads $>tar...
大数据技术之hadoop——（三）完全分布式集群搭建（多图详细步骤）
m0_46615073的博客
08-09 2573
大数据技术之hadoop，最详细从零搭建hadoop完全分布式集群 多图 丝丝入扣循序渐进 虚拟的克隆-->jdk、hadoop的安装与环境变量的配置 my_env.sh--->同步分发脚本---> xsync集群分发脚本--->SSH免密登录----->集群部署 集群规划 +hadoop配置文件的修改--->启动集群 -->集群测试
五篇博文讲透大数据伪分布式环境搭建——YARN 伪分布式集群搭建
08-02 471
3.YARN 伪分布式集群搭建 操作一览 掌握 YARN 集群的相关配置 启动和关闭 YARN 集群的两种方式 使用 jps 命令查看进程的启动情况 通过 UI 查看 YARN 集群的运行状态 操作清单 操作 1：YARN 集群主要配置文件讲解 操作 2：YARN 集群测试 操作步骤 1.YARN 集群主要配置文件讲解 注：所有操作均依附于上3篇博文完成，如果有疑问请回阅其他博文 1.1 配置环境变量 yarn-env.sh 该文件是 YARN 框架运行环境的配置，同样需要修改 JDK 所在位置。我
Hadoop详解(一)——大数据和Hadoop的简介、Hadoop伪分布式的安装步骤
08-31 4008
Hadoop是什么？ 官方解释是： What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Hadoop是一个开源，可靠，可扩展的分布式计算软件。 Hadoop用于解决以下问题： 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN)
Hadoop伪分布式的安装配置步骤
浅时光|初如梦
08-28 4194
1.配置步骤 1. 安装JDK 2. 关闭防火墙 3. 修改主机名。Hadoop要求主机名中不能出现 - 或者_ 等特殊字符 vim /etc/sysconfig/network 修改HOSTNAME，例如 HOSTNAME=hadoop01 保存退出，然后重新生效 source /etc/sysconfig/network 4. 需要将主机名和IP进行映射 vim /etc/hosts 将之前的内容全部删除 添加IP 主机名映射，例如 127....
头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）_hadoop安装与伪分布式集群搭建头歌(1)
2401_84164721的博客
05-07 999
cd /opt llcd /app#两次回车 图3 图4RSAAuthentication yes # 启用 RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径HDFS的URI，文件系统://namenode标识:端口号namenode上本地的hadoop临时文件夹namenode上存储hdfs名字空间元数据。
Hadoop的安装和伪分布式集群搭建
Jo_Andy的专栏
04-06 1210
java安装 配置免密码登录 创建公钥和私钥 ssh -keygen -t rsa 将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限 这里模拟本机登录本机 cd ~/.ssh/ cat id_rsa.pub >> authorized_keys chmod 644 authorized_keys ...
Hadoop安装部署&伪分布式搭建
CyAurora的博客
07-17 1034
1.伪分布式模式介绍 1.特点 - 在⼀台机器上安装，使⽤的是分布式思想，即分布式⽂件系统，⾮本地⽂件系 统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode) 都运⾏在⼀台机器上，都是独⽴的java进程。 2. ⽤途 ⽐Standalone mode 多了代码调试功能，允许检查内存使⽤情况，HDFS输⼊输 出，以及其他的守护进程交互。 2. 平台软件说明 平台&软件 说明
Hadoop集群之伪分布式搭建
Simlie的博客
04-14 1288
秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵。Hadoop集群环境可以分为单机环境，伪分布式环境和完全分布式环境，文章将介绍在个人计算机上安装配置虚拟机，并在虚拟机中搭建Hadoop伪分布式集群的完整过程。
【Hadoop】Hadoop安装与配置（伪分布式）
我的博客
02-19 1020
0 前期准备 Linux的Java环境配置：https://blog.csdn.net/Tiezhu_Wang/article/details/113822949 1 下载 官网：https://hadoop.apache.org/releases.html 或 百度云：链接：https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A （提取码：xysm） 2 安装 将hadoop安装到/usr/local目录下： sudo tar -zxf ~/Downloads/h
Hadoop伪分布式与集群式安装配置
zhaogezhuoyuezhao的专栏
12-24 6891
http://www.cnblogs.com/yedezhanghao/archive/2012/07/29/2614182.html 配置环境                           配置前的说明 部署伪分布式与集群式Hadoop的绝大部分操作都是一样的，细节上区别在于集群式是在两台机子上部署的，两台机子都要执行下列操作，而伪分布式都是在一台机子上操作，以下全部操作如没有特别说
【大数据】开发环境搭建（二）：hadoop伪分布式集群环境搭建（上）
ForgetThatNight的博客
10-22 918
（一）Linux虚拟机的配置我们通过第一篇文章只安装了一个Linux，为了做分布式集群环境的搭建，显然只有一个虚拟机是完完全全不够用的，因此我们需要多准备几个Linux虚拟机，当然不是通过多次安装来搭建，这样太浪费安装时间了，所以我们通过复制已有的Linux虚拟机来完成，当然得先检查Linux的状态才能复制，通过右键进行设置salve1和slave2是楼主事先已经安装好了的，这里分布式集群搭建完成...
头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）_hadoop安装与伪分布式集群搭建头歌(2)
2401_84140080的博客
05-12 691
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值