Centos 7中的HaDoop伪分布式安装

最新推荐文章于 2022-05-08 20:29:42 发布
最新推荐文章于 2022-05-08 20:29:42 发布
阅读量3.3k 收藏 18
点赞数 1
分类专栏： Python-Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haiyang_duan/article/details/53281761
版权
本文详细介绍了在Centos 7中如何进行Hadoop的伪分布式安装，包括添加root用户、更改主机名、配置IP映射、安装jdk、安装hadoop、配置环境变量以及相关配置文件，最后启动并测试Hadoop进程。
摘要由CSDN通过智能技术生成

简介：
windows 7中安装VMware，VMware中安装Centos 7，Centos 7中安装伪分布式HaDoop
请提前下载jdk和hadoop

至于如何在windows中安装VMware以及在VMware中Centos 7，

请参照博主的博客：

Windows7下用VMware安装Centos7

1. 安装前的重要事情

（1）添加root用户
su———使用su命令进入root(需要roo密码)
vi /etc/sudoers———–使用此命令修改文件sudoers中的内容

[关于vi命令的使用方法，如果不会，请参照本博主的博客]
linux系统下修改文件命令vi的使用

找到如下图所示的内容，添加一行，其中红色方格内为你的root用户名

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一叶_障目
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
订阅专栏
【linux】CentOS8 Hadoop伪分布式环境搭建（三台节点机）
weixin_45788900的博客
11-05 3640
文章目录前言一、伪分布式集群分别是什么？二、安装Hadoop三、伪分布式环境搭建四、启动Hadoop五、添加两个节点机 前言 1.本篇文章主要参考博客：点击进入，整合了伪分布的环境搭建和一些踩坑事项。2.环境搭建的节点机一共三台：pc1，pc2，pc3 ，其中pc1为管理机，三台节点机都使用用户Sillyhumans，如果你三台机器的用户名不一样，下面配置地址的时候可能要略作修改。3.关闭防火墙后操作 一、伪分布式集群分别是什么？ 简单来说就是一台机器上模拟多台机器的集成分布（假装自己有多台服务器） .
centos7安装hadoop伪分布式系统(4)之04安装hadoop伪分布式集群
wangshuile的博客
03-01 453
1上传解压hadoop安装文件 配置env /HADOOP：表示hadoop的安装文件 cd /home/hadoop/bigdater/hadoop/etc/hadoop 1.1修改hadoop文件夹etc下的hadoop-env.sh export JAVA_HOME=${JAVA_HOME}改成export JAVA_HOME=/opt/jdk 添加 export HADOOP...
CentOS7上安装伪分布式Hadoop
weixin_30399055的博客
06-07 210
1.下载安装包 下载hadoop安装包 官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包 默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下 cd /usr/soft tar ...
centos 7 下安装Hadoop伪分布式
weixin_43849575的博客
01-12 703
Hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础。这是一篇入门文章，以安装部署 Apache Hadoop2.7.7版本为主线. 一、安装环境说明 1、操作系统：这里我们使用的是centos 7，如果没有安装，自行安装。centos 7安装链接 2、hadoop：Apache Hadoop2.7.7 3、java：这里我使用的是java8版本 百度云资源下载 提取...
centos 7下Hadoop 2.7.2 伪分布式安装
weixin_33965305的博客
04-03 268
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk，免密匙登录，配置mapreduce，配置YARN。详细步骤如下： 1.0 安装JDK 1.1 查看是否安装了openjdk [lei@bogon ~]$ java -version openjdk version "1.8.0_65" OpenJ...
Centos7 Hadoop伪分布模式安装
MyySophia的博客
07-27 390
一：linux的基本使用命令 查看ip信息：ifconifg 创建目录： mkdir 切换到某个目录下： cd 获取当前所在的目录全路径：pwd 显示当前目录下的所有文件信息：ll 查看一个文件的内容：cat vi命令：修改文件内容 首先输入i 进入编辑模式 然后修改文件中的内容 修改完成之后，按esc键退出编辑模式 再按shift 和 : 再输入wq 最后按回车即可 二：集群安装步骤 2.1vagrant file中加入这行 config.vm.network "private_networ.
Hadoop安装伪分布模式-centos7
xyb0926的博客
12-13 1004
惊呆了！一次有趣的数据库连接池大小的验证数据库连接池 数据库连接池
最全面的CentOS下hadoop的伪分布式安装
sinat_40875078的博客
10-11 421
一、安装java环境 在开始安装hadoop之前，要先确保机器已经安装了java环境，因为hadoop的运行依赖于java。 Java安装链接 二、配置ssh本机免密登陆 首先输入命令ssh-keygen -t rsa回车四下，来获取密匙 然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙 三、进行hadoop伪分布式安装 1、下载hadoop 链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao 2、解
【Hadoop伪分布式安装】之配置CentOS
陌小柠的博客
05-08 1165
文章目录配置CentOS一、修改主机名二、配置hosts文件1. vi编辑/etc/hosts2.在文件末尾添加一行 配置CentOS 一、修改主机名 [eva@bogon ~]$ su #切换root模式 密码： [root@bogon eva]# hostname hadoop #将用户名改为hadoop [root@bogon eva]# su #切换用户名 [root@hadoop eva]# hostnamectl set-h
Linux系统CentOS 7 搭建Hadoop伪分布式环境遇到问题以及解决方法
雨打芭蕉的博客
04-03 901
今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境，也是入了很多坑，我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的，文章写得好，在此表示感谢！下面就在搭建Hadoop伪分布式环境中的坑做个记录，也希望可以帮助他人一起进步。1、bin、sbin目录不要搞错了在Linux根目录下面也有这两目录，配置完成后，执行 NameNode 的格式化时，要注意别...
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
在搭建Hadoop伪分布式环境的过程中，常常会遇到与文件系统权限相关的错误，特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题，并提供解决方案。 问题1：启动集群时出错：`mkdir: ...
centos7安装hadoop伪分布式学习环境
ltgsoldier1的博客
08-23 383
使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。 在虚拟机里安装一台centos7系统 ip 主机名 192.168.158.30 hadoop.master 1.安装java环境我安装的是JDK 1.8 安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445 我把jdk安装到如下...
简介、Centos7安装，伪分布式搭建
weixin_34126215的博客
06-13 159
/字符串 查找字符串 起始行，终止行s/要替换的字符串/替换的新的字符串/g %指全文、s指开始、g指全局变量，不加全局，光标放在第几行修改的就是第几行 Mysql默认端口是3306。 主要目录： lib：存放着系统最基本的动态链接共享库。 mnt：用来临时挂载文件系统，为某些设备提供默认挂载点。 root：系统管理员的主目录 lost+found：文件系统损坏后找回的文件存放目录。 opt：某第...
Linux[CentOS 7]下搭建hadoop伪分布式
Jack_Lee的博客
12-24 1525
最近闲来无事，又拿起了hadoop，在本地搭建了一个伪分布式，步骤有点多，特此记录一下 下面开始搞！ 首先你得有jdk和hadoop的tar包，这个自行去下载哈，网上有很多(版本建议jdk1.8、hadoop建议2.x.) 我是把包放在了opt这个目录下 如图 我这里是新建了一个文件夹来进行存放，为了便于管理 mkdir jdk mkdir hadoop 下面进行解压 tar -zxvf 文件路径 -C 解压路径 这里你是什么目录就按着上边来 解压好之后，记着路径，建议用截...
CentOS7下安装Hadoop伪分布式
大头皮鞋的博客
03-21 8333
前提条件 拥有CentOS7服务器版环境 软件版本说明 jdk1.8 hadoop2.7.3 虚拟机环境准备 通网络 能ping通外网，例如： ping baidu.com 如果ping不通，可以修改如下文件： vim /etc/sysconfig/network-scripts/ifcfg-ens33 将ONBOOT=no改为ONBOOT=yes 重启网络或重启机器 重启网络 systemctl restart network 重启机器 reboot 修
Centos7下的Hadoop伪分布式安装搭建
逝唁的博客
10-31 3063
Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。 1、环境准备： 虚拟机系统:Centos-7 JDK:JDK1.8.0_171。 关闭防火墙、配置好机器静态IP。 2、下载： http://ha...
CentOS7 下安装伪分布式Hadoop(详细图解)
qq_43437122的博客
03-08 3494
1.创建hadoop-vm用户(用户名可以自及定义) 1.1 输入useradd -m az 创建用户 1.2 输入passwd az(此处为你设置的用户名) 更改密码 2.设置用户为管理员 2.1 更改/etc/sudoers文件权限 chmod 744 /etc/sudoers 2.2 编辑 /etc/sudoers 文件，加入以下内容： 注意：虽然我设置用户名时输入的大写的AZ，但其实...
CentOS7搭建hadoop2.7伪分布式
xierao9509的博客
04-13 1906
  一、下载hadoop前往镜像地址下载http://mirror.bit.edu.cn/apache/hadoop/common/这里我选择下载2.7.5版本，下载编译过后的版本Hadoop-2.7.5.tar.gz二、下载完成后将安装包上传到系统目录中，我默认使用/opt/data/存放所有安装包修改虚拟机hosts使用命令vi /etc/hosts添加映射192.168.249.128 if...
centos7安装hadoop伪分布式
最新发布
03-16
1. 首先安装Java环境，Hadoop需要Java环境支持，可以使用yum命令安装： ``` yum install java-1.8.0-openjdk-devel.x86_64 ``` 2. 下载Hadoop安装包，可以从官网下载最新版本： ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz ``` 3. 解压Hadoop安装包： ``` tar -zxvf hadoop-3.3.0.tar.gz ``` 4. 配置Hadoop环境变量，在/etc/profile文件中添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使环境变量生效： ``` source /etc/profile ``` 5. 配置Hadoop伪分布式模式，修改以下配置文件： - /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64 ``` - /usr/local/hadoop/etc/hadoop/core-site.xml ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/mapred-site.xml ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> ``` 6. 格式化Hadoop文件系统，执行以下命令： ``` hdfs namenode -format ``` 7. 启动Hadoop服务，执行以下命令： ``` start-all.sh ``` 8. 查看Hadoop服务状态，执行以下命令： ``` jps ``` 如果输出以下内容，则表示Hadoop服务已经启动成功： ``` 12345 NameNode 23456 DataNode 34567 ResourceManager 45678 NodeManager 56789 Jps ``` 9. 访问Hadoop Web界面，打开浏览器，输入以下地址： ``` http://localhost:9870/ ``` 如果能够正常访问，则表示Hadoop伪分布式安装成功。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值