hadoop学习笔记之hadoop伪分布集群搭建（二）

最新推荐文章于 2023-09-05 20:10:44 发布
VIP文章 最新推荐文章于 2023-09-05 20:10:44 发布
阅读量526 收藏 2
点赞数 1
分类专栏： hadoop学习笔记 文章标签： hadoop 伪分布 集群 jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YF_Li123/article/details/79101032
版权

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos 6.4（32位）

默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......

============================================================

内容如下：

一、给主机服务器（Centos 6.4）配置IP地址

二、安装jdk，并配置环境变量

三、安装hadoop

四、ssh免密登录

五、HDFS & MapReduce 运行测试

最低0.47元/天 解锁文章
YF_Li123
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
Hadoop搭建（伪分布最简）详细版
m0_74413382的博客
05-31 344
1. 通过xmanager的Xftp上传hadoop-3.1.3.tar.gz文件和jdk-8u212-linux-x64.tar.gz文件到/opt/software目录。解压缩hadoop-3.1.3.tar.gz文件和jdk-8u212-linux-x64.tar.gz文件到/opt/module/目录。创建一个名为hadoop1的虚拟机，并在虚拟机上完成JDK和Hadoop的安装，并配置环境变量到所有用户/etc/profile中。没有/opt/software目录新建。
hadoop伪分布模式搭建(详细步骤）
热门推荐
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
大数据分析入门-Hadoop伪分布式搭建(hadoop-2.7.7)
wisdom_lp的博客
03-08 1287
Hadoop伪分布式搭建(hadoop-2.7.7)
Hadoop伪分布式安装
最新发布
m0_65357576的博客
09-05 59
centos7安装，jdk和Hadoop配置，Hadoop伪分布式安装
伪分布式集群的环境搭建
m0_52725750的博客
03-12 568
伪分布式集群的环境搭建，同时记录了我自己在配置集群当中遇到的问题，做了一个学校笔记记录。
hadoop学习笔记(一、hadoop集群环境搭建).pdf
10-30
!
hadoop学习笔记(一、hadoop集群环境搭建).docx
10-30
!
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包
06-26
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表： hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
从零开始一步步介绍如何搭建Hadoop集群
05-30
从零开始一步步介绍如何搭建Hadoop集群
Hadoop伪分布搭建完整步骤
m0_53761858的博客
07-05 3430
hadoop伪分布搭建保姆级教程
Hadoop伪分布集群搭建（单节点）
If your heart is restless, smile calmly！
09-27 850
Hadoop伪分布集群搭建（单节点）
大数据Hadoop集群搭建 1（伪分布式集群）
currify的博客
11-16 3082
（2）另一种是Hadoop集群自定义配置时编辑的配置文件，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件，可以根据需要在这些文件中对默认配置文件中的参数进行修改，Hadoop会优先选择这些配置文件中的参数。在完全分布式模式下，默认的块副本是3份。（1）bin：存放操作Hadoop相关服务（HDFS、YARN）的脚本，但是通常使用sbin目录下的脚本。
Hadoop伪分布式环境搭建
平淡中造就不平凡
12-29 2487
本案例采用伪分布模式搭建Hadopp，在一台主机模拟多主机，用于后续的程序开发。
Hadoop伪分布集群配置（我用的是VMwareWorkstation）
qq_56274662的博客
11-11 2608
记录学习，加深巩固，方便回忆！
手把手Hadoop伪分布集群搭建+hadoop完全分布式集群搭建
qq_51490070的博客
03-23 4996
文章目录一. 创建模板机二. 魔板机调试配置2.1 测试是否可上网2.2 安装工具配置免密登录2.3关闭防火墙 关闭防火墙开机自启动2.4 创建atguigu用户，更改密码2.5 切换到atguigu用户，创建文件夹2.7 修改克隆机主机名2.8 root用户修改静态ip2.8 在魔板机安装jdk(atguigu用户)2.10 在魔板机安装hadoop伪分布搭建三. 完全分布式准备3.1 克隆虚拟机3.2 打开虚拟机3.3 更改主机名3.4 配置静态ip3.4.1 编辑ifcf-ens33文件3.4.2 配
Hadoop伪分布式集群的搭建
m0_64445892的博客
04-03 5113
一、准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg 2.下载centos https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/ 二、配置网络，设置网卡 1.将下载好的centos安装好后，点击左上角
hadoop集群搭建篇（伪分布，完全分布）
eyeofeagle的博客
08-01 2887
要点如下： 1，服务器搭建： virtualBox + Centos7 2, centos7: 网络配置 3，centos 上安装jdk, hadoop 第一步： 安装centos, 配置网络 我使用ubuntu16 桌面版， 安装virtualbox后，创建虚拟机： 添加centos7镜像文件 点击 ‘start’， 开始安装centos7.... 安装完成后， 需要关机，c...............
hadoop 2.6.4 伪分布集群搭建
jacknichao的专栏
06-28 1382
想要体验一下的强大功能，手头的资源各种受限，无奈只能配置个伪分布的自己耍耍，不过对于学习简单地使用hadoop还是没有问题的。下面列出操作的步骤： ps: 本操作都是在root用户下进行的1. 安装JDK和Hadoop2.6.4去oracle的官网下载恰当版本的jdk，建议jdk7 或者jdk 8,这里以jdk-8u91-linux-x64.tar.gz 为例。下载完之后，将其解压到/usr/lo
配置开发环境 - Hadoop安装与伪分布式集群搭建
03-28
在进行Hadoop开发前，需要先配置好Hadoop的开发环境，包括安装Hadoop和搭建伪分布式集群。以下是Hadoop安装和伪分布式集群搭建的步骤： 1. 下载Hadoop 在Hadoop官网下载最新版本的Hadoop压缩包。当前最新版本是3.3.1。 2. 解压缩Hadoop 将下载的Hadoop压缩包解压缩到本地目录，比如/opt/hadoop。解压缩后，会得到一个hadoop-3.3.1目录。 3. 配置Hadoop环境变量 在~/.bashrc文件中添加以下内容： export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin 然后执行source ~/.bashrc，使配置生效。 4. 配置Hadoop 进入Hadoop的安装目录，修改配置文件。以下是必须修改的配置文件： - core-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建core-site.xml文件，并添加以下内容： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 这个配置指定了Hadoop的默认文件系统为HDFS，并且HDFS的访问地址为localhost:9000。 - hdfs-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建hdfs-site.xml文件，并添加以下内容： <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 这个配置指定了HDFS的副本数为1。 - mapred-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建mapred-site.xml文件，并添加以下内容： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 这个配置指定了MapReduce的框架为YARN。 - yarn-site.xml 在Hadoop安装目录的/etc/hadoop/目录下，创建yarn-site.xml文件，并添加以下内容： <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 这个配置指定了NodeManager的辅助服务为mapreduce_shuffle，并且指定了ShuffleHandler类。 5. 格式化HDFS 在Hadoop安装目录下，执行以下命令： $ hdfs namenode -format 这个命令会格式化HDFS，清空HDFS中的所有文件。 6. 启动Hadoop 在Hadoop安装目录下，执行以下命令： $ start-all.sh 这个命令会启动Hadoop的所有组件，包括NameNode、DataNode、ResourceManager、NodeManager等。 7. 验证Hadoop是否正常工作 在浏览器中访问http://localhost:8088/，可以看到YARN的Web界面。在浏览器中访问http://localhost:50070/，可以看到HDFS的Web界面。 至此，Hadoop的安装和伪分布式集群搭建完成。可以开始进行Hadoop的开发了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值