虚拟机与Windows下Hadoop的环境配置与安装

最新推荐文章于 2024-05-10 15:13:46 发布
最新推荐文章于 2024-05-10 15:13:46 发布
阅读量1.6k 收藏 17
点赞数 3
分类专栏： Linux Hadoop 文章标签： hadoop linux java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54597685/article/details/117627461
版权

虚拟机与Windows下Hadoop的环境配置与安装

Hadoop 的配置与安装

需要jdk已经配置，这是前提！！

准备工作

将hadoop安装包上传到虚拟机中。
在这里插入图片描述

  1. 检查IP和hostname的映射是否正确

    #查看本机ip
ip addr

在这里插入图片描述

#查看hostname
hostname

在这里插入图片描述

#查看hosts配置信息
vim /etc/hosts

对应好！

  1. 解压hadoop安装包在这里插入图片描述

    #对应目录解压安装包
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/software/

在这里插入图片描述

#顺手改个名字，方便使用
mv hadoop-3.1.3/ hadoop313

在这里插入图片描述

  1. 配置本机免密

    #1、进入用户目录下
cd ~

#2、生成秘钥
ssh-keygen -t rsa

    秘钥生成中一直按回车即可。
    在这里插入图片描述

完成后可以看到在目录中生成了 .ssh 文件

在这里插入图片描述

#激活授权秘钥
cat  id_rsa.pub>>authorized_keys

进入.ssh文件夹可以看到两个文件在这里插入图片描述

用cat查看这两个文件，一个是公钥，一个是私钥

cat id_rsa.pub
cat id_rsa

在这里插入图片描述

测试一下自己连接自己

#连接
ssh root@你自己的hostname

#########
yes/no 选择 yes
提示输入密码，输入你的密码(root账户的密码)
#########

#退出
logout

在这里插入图片描述

#免密配置
cat  id_rsa.pub>>authorized_keys

新增了两个文件

在这里插入图片描述

测试一下免密登录
在这里插入图片描述

环境变量配置

#1、打开配置文件
vim /etc/profile.d/myenv.sh

#2、添加hadoop环境变量
#-------------------
export HADOOP_HOME=/opt/software/hadoop313
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#-------------------

在这里插入图片描述

#3、激活环境变量
source /etc/profile

#4、#查看配置时候生效
echo $HADOOP_HOME

在这里插入图片描述

配置文件配置

  1. 配置 hadoop-env.sh

    系统环境变量里没配就在这配

    #打开
vim hadoop-env.sh

  2. 配置 core-site.xml

    vim core-site.xml 

#配置文件
####################################################
<configuration>
<!--配置namenode的地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.158.202:9820</value>
</property>
<!--配置数据存储目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/software/hadoop313/data</value>
</property>
<!--配置HDFS网页登录使用的静态用户为root-->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
<!--配置root允许通过代理访问的主机节点-->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!--配置root允许通过代理用户所属组-->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<!--配置root允许通过代理的用户-->
<property>
    <name>hadoop.proxyuser.root.user</name>
    <value>*</value>
</property>
</configuration>
####################################################

  3. 配置 hdfs-site.xml

    vim hdfs-site.xml 

##########################################
<configuration>
<!--配置namenode web访问地址-->
<property>
    <name>dfs.namenode.http-address</name>
    #自己的
    <value>192.168.158.202:9870</value>
</property>
<!--配置secondary namenode web 访问地址-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    #自己的
    <value>192.168.158.202:9868</value>
</property>
<!--配置hdfs副本数量-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

</configuration>
##########################################

  4. 配置 yarn-site.xml

    vim yarn-site.xml 

####################################################
<configuration>
<!--配置mr的执行方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--配置ResourceManager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    #自己的
    <value>wantest03</value>
</property>
<!--配置环境变量的继承-->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!--配置yarn容器允许分配的最小内存-->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
</property>
<!--配置yarn容器允许分配的最大内存-->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>1536</value>
</property>
<!--配置yarn容器允许管理的物理内存大小-->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1536</value>
</property>
<!--配置关闭yarn对物理内存和虚拟内存限制的检查,jdk8运行于centsos6以上为导致虚拟内存过大-->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<!--配置关闭yarn对物理内存和虚拟内存的限制检查-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<!--开启日志聚集-->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!--配置日志聚集服务器地址-->
<property>
    <name>yarn.log.server.url</name>
    #自己的
    <value>http://192.168.158.202:19888/jobhistory/logs</value>
</property>
<!--配置日志保留时间为7天-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<configuration>
####################################################

  5. 配置mapred-site.xml

    vim mapred-site.xml

####################################################
<configuration>
<!--配置mapreduce运行于yarn上:默认为local,也可以指定spark阶段了解的mesos-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!--配置历史服务器地址-->
<property>
    <name>mapreduce.jobhistory.address</name>
    #自己的
    <value>192.168.158.202:10020</value>
</property>
<!--配置历史服务器web端地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    #自己的
    <value>192.168.158.202:19888</value>
</property>
</configuration>
####################################################

格式化namenode

#1、进入hadoop安装目录
cd /opt/software/hadoop313

#2、执行格式化
./bin/hdfs namenode -format

在这里插入图片描述

#3、启动服务
start-all.sh

#4、检测服务开启状态
jps

在这里插入图片描述

开启正常

虚拟机内部操作检查

先检查能否正常上传/下载文件至hadoop

hdfs dfs -ls /
hdfs dfs -mkdir -p /kb12/hd/cha01
hdfs dfs -put a.txt /kb12/hd/cha01
hdfs dfs -cat /kb12/hd/cha01/*

在这里插入图片描述

创建一个 wc01.log 文件上传至hadoop

#创建文件
vim wc01.log
#在hadoop中创建文件夹
hdfs dfs -mkdir /input
#上传文件至hadoop
hdfs dfs -put wc01.log /input
#查看文件
hdfs dfs -cat /input/wc01.log

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

跑一个自带的测试 wordcount 看看能否成功

#进入文件目录
/opt/software/hadoop313/share/hadoop/mapreduce/
#运行文件
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/wc01.log /output

在这里插入图片描述

有的可以一遍过，结果为：

在这里插入图片描述

卡在 map 0% reduce 0%

在这里插入图片描述

#在yran配置中添加初始分配内存
vim yarn-site.xml 

<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>256</value>
</property>

在这里插入图片描述

可能有的还是不行

#关闭安全模式
hdfs dfsadmin -safemode leave

#在系统环境变量中添加
export HADOOP_HOME=/opt/software/hadoop313
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

#在mapred-site.xml添加
vim mapred-site.xml

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

windows下hadoop配置

  1. 准备windows下hadoop环境

    获取与自己hadoop版本对应的 hadoop.dll 和 winutils.exe

    https://github.com/cdarlint/winutils

    将hadoop.dell放入Windows/System32下
    在这里插入图片描述

    将linux下的hadoop安装文件夹拷贝至本地，将winutils.exe放入本地的hadoop文件夹的bin目录下

在这里插入图片描述

  1. 配置windows环境变量

    系统变量：

在这里插入图片描述

环境变量：

在这里插入图片描述

  1. 配置Windows本地hosts

    填写虚拟机的ip和对应的主机名

在这里插入图片描述

在这里插入图片描述

  1. 在windows下跑一个 wordcount

    创建一个空项目，将hadoop中搞的4个配置文件复制一份到resources中

在这里插入图片描述

运行代码，应该得到和在linux中进行wordcount测试差不多样子的结果

在这里插入图片描述

可以看到hadoop的 /out 文件下有了计算的结果，完成的任务中也可以查看到任务

WanWannnnn
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验1.hadoop伪分布式配置.docx
03-02
* 安装 JDK：因为 Hadoop 是运行在 Java 虚拟机环境下，因此需要预先安装好 JDK 运行环境，本次使用的 JDK 为 1.8 作为参考版本。 三、安装 Hadoop Hadoop 的安装可以分为以下几个步骤： * 安装前部署：查看...
hadoop2.6虚拟机搭建和应用到win平台下eclipse开发
weixin_30252709的博客
04-17 97
历程是艰辛，无脑的苦力活~ 首先我的平台是搭建在cenos7虚拟机上的，使用hadoop2.6，部署计划： 主机 角色 namenode1:192.168.80.101 namenode,resourcemanager datanode1:192.168.80.102 datanode,nodemanager datanode2:192.168....
虚拟机下和Windows环境下安装HADOOP
dontlikerabbit的博客
03-12 265
HADOOP配置 按下面命令解压缩压缩包，并改名 [root@localhost opt]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/ [root@localhost soft]# mv hadoop-2.6.0-cdh5.14.2 hadoop260 更改hadoop文件夹的权限为root chown -R root:root hadoop260/ 在hadoop260下新建文件夹tmp,在tmp下新建data 和name 文件夹
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84167086的博客
05-10 1033
4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。加载新时区：sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
虚拟机和hadoop
09-21 174
摘要：VMware虚拟机安装Win10,Win10用虚拟机安装教程 微软发布Win10预览版下载地址后，用WMware虚拟机安装Win10是很好的选择。如何用VMware虚拟机安装Win10,Win10怎么用虚拟机安装？ 工具/材料 VMware虚拟机 Win10 VMware虚拟机安装Win10,Win 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（...
Windows 7平台利用Vmware Workstation 11虚拟机搭建Hadoop 2.7.4基于Ubuntu kylin 14.04集群环境
DumbbellYang的专栏
11-12 436
本文总结记录了在Windows 7平台上，使用Vmware Workstation 11，基于Ubuntu kylin 14.04的版本，搭建hadoop 2.7.4集群的详细步骤，包括虚拟机的SSH配置，和hadoop的设置。
虚拟机配置hadoop
ZYF2190003497的博客
10-21 2225
1112
hadoop跑在虚拟机上的优缺点
diannao720的博客
08-09 378
它们能够利用整个服务器集群的存储和计算能力，通过将任务分解成map和reduce操作，分配给各个服务器节点来执行操作，从而获得并行处理的能力，这样就能比传统的方式更为高效。虚拟机集群的话，只要能够保证hadoop各个组件运行所需要的cpu、内存、硬盘的资源，那么就跟普通的服务器没什么区别，hadoop不会去区分是虚拟机还是物理机。但是通常来说通过物理机虚拟出来的虚拟机的性能会比物理机要差一些。虚拟机或者容器来跑Hadoop，最大的优势就是在于方便部署和管理，并且共有云服务提供商可以提供弹性的服务。
hadoop是在windows上使用还是在linux上使用？
weixin_44943389的博客
06-06 1360
因此，如果你要在生产环境中使用Hadoop，并且你有选择的余地，那么在Linux上使用Hadoop可能是更常见和推荐的选择。需要注意的是，在Windows上使用Hadoop可能会面临一些挑战和限制。因为Hadoop是为Linux环境开发的，一些Hadoop生态系统的工具、库和功能可能在Windows上的支持不如在Linux上完整和稳定。Hadoop可以在Windows和Linux等多个操作系统上使用，但它最初是为Linux环境设计和开发的，因此在Linux上使用Hadoop更为常见和广泛支持。
虚拟机中配置hadoop
Neo_Wang的博客
09-08 2299
虚拟机装hadoop
一、 配置安装hadoop环境
m0_66115674的博客
06-01 3170
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录，编辑yarn-env.sh。表示执行用户身份错误，修改/etc/profile文件，增加以下配置。
虚拟机Hadoop环境安装配置
01-25
从零安装配置Hadoop环境流程总结，包括单节点，伪分布和完全分布几种情况。
hadoop在windows下启动的命令
04-12
在windows下搭建hadoop环境，一般需要借助虚拟机或者cygwin来模拟一个linux的启动环境。但这样搭建一个环境太麻烦了，其实可以直接像linux上一样来配置变量，然后启动，他的启动命令就是上面jar包中的bin
Windows7下eclipse调试Fedora虚拟机的hadoop+hbase伪分布式
11-27
由于资源有限，只能在本机windows环境下搭建vmware虚拟操作系统fedora上运行hadoop+hbase。 主要分为以下几个部分进行介绍： 一、环境版本要求和准备 二、Fedora服务器hadoop安装过程 三、Fedora服务器Hbase配置...
【Hadoop部署】Hadoop环境部署1-Linux基础设置
01-07
2、配置windows主机上的hosts文件： C:\Windows\System32\drivers\etc\hosts 192.168.71.110 sparkproject1 192.168.71.111 sparkproject2 192.168.71.112 sparkproject3 3、使用SecureCRT从windows上连接虚拟机。...
hadoop-2.4.1安装软件包以及教程jdk.zip
10-25
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 3.1配置hadoop 第一个：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二个：core...
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
虚拟机上搭建Hadoop运行环境
qq_44286009的博客
08-04 2267
比如在上面这台虚拟机上面配置了上述主机名称和IP的映射，那么我要在这台主机访问另外几个IP，只需要访问他们的主机名即可。最大磁盘大小在条件允许的情况下建议是设置40G以上， 20G可能后续还需扩容，这里我们设置的50G.集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。手动分区的话，选择“我要配置分区”，点击完成，然后弹出配置界面，进行配置即可，这里不作赘述。设置日期和时间，将日期和时间设置为当前时间，设置完成后点击完成即可。为了方便可以选择自动分区。
Hadoop环境配置(Linux虚拟机)
https://github.com/Tcoder-l3est
02-28 4965
Hadoop环境配置(Linux虚拟机) 本学期选了大数据管理与分析这门课，主要使用Hadoop框架下进行数据分析与应用开发，在此先进行环境配置 注意 最好把JDK以及Hadoop 放在/usr/local下 添加环境变量的时候 可以加到/etc/profile 或者 按照该链接 w3cshcool的教材进行配置(强烈推荐) 环境要求 单机Hadoop的安装 安装JDK 链接 https://www.oracle.com/java/technologies/javase-java-arch
windows上idea连接虚拟机上的hadoop集群
06-09
在Windows上连接到虚拟机上的Hadoop集群，需要先确保虚拟机网络设置正确，Hadoop集群已经正确配置并运行。以下是连接Windows上的IDEA到虚拟机上的Hadoop集群的步骤： 1.在Windows上安装Hadoop客户端。可以从Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值