Hadoop集群伪分布式环境搭建-ubuntu

最新推荐文章于 2022-04-03 12:24:33 发布
最新推荐文章于 2022-04-03 12:24:33 发布
阅读量259 收藏
点赞数
文章标签： hadoop 伪分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42273847/article/details/103170293
版权

Hadoop集群伪分布式环境搭建-ubuntu

1.VMware和Ubuntu安装完后，配置虚拟网络,这里采用NAT方式，防止后期IP冲突

 

修改本机VMware虚拟网络配置

 

修改Ubuntu网络配置

 

 

2.解决VMware虚拟机网络适配器NAT模式无法上网的问题

 

注意这个服务是否开启(电脑管家和360会关闭这个服务)，其他服务同理，如下图所示

 

但是vmware nat service总是自动停止，解决办法是：

这一般是在学校里用锐捷认证上网的情况。原因出在锐捷客户端，锐捷的8021x.exe会自动停止VMware NAT Service服务，导致不能使用vmware的nat模式。

https://blog.csdn.net/ouyangxin95/article/details/50750054

https://blog.csdn.net/su20145104009/article/details/72040800

http://wifi.ggsafe.com/articles/20141218124035513.shtml

 

以上可能找不到好的解决方法,最后写脚本然它一直连接服务，最后我发现第二天重开电脑后锐捷不关闭vmware nat service服务了，难道是重启下机器就可以了？大家可以试下，我的是好了

3.安装Ubuntu组件

 

4.修改主机名和IP的映射关系

vim /etc/hosts             

        192.168.71.101       master

        192.168.71.102       slaver1

        。。。。。。

修改主机名(与业务相关) vim /etc/hostname

关闭防火墙(hadoop的组件都是网络服务，防火墙会阻止相关服务的端口)

防火墙状态查看方法：

(Ubuntu 18.04.2 LTS系统附带的UFW, 默认都是禁用状态，所以输出是「不活动」)具体查看命令如下：sudo ufw status verbose

··             激活防火墙：sudo ufw enable

关闭防火墙：sudo ufw disable

 

5.启动时不启动Ubuntu图形界面

    (1)关闭用户图形界面

        sudo systemctl set-default multi-user.target

        sudo reboot

    (2)开启用户图形界面

        sudo systemctl set-default graphical.target

        sudo reboot

 

6.上传jdk和hadoop并解压

       创建目录app    mkdir app/

解压命令 tar –zxvf 要解压的文件名 –C app/

-zxvf  z表示加压的格式  x表示解压 v表示打印进度 f表示加压哪一个文件 –C表示加压到哪一个路径

安装JDK

              (1)解压   tar –zxvf jdk-8u212-linux-x64.tar.gz –C app/

              (2)配置环境变量

                     sudo vim /etc/profile

                     #在文件最后添加

                     export JAVA_HOME=/home/master/app/jdk1.8.0_212

                     export PATH=$PATH:$JAVA_HOME/bin

      

                     #刷新配置

                     source /etc/profile

7.修改hadoop的配置文件

       Hadoop的配置文件在$HADOOP_HOME/etc/hadoop里

伪分布式需要修改5个配置文件

       (1)配置hadoop

       第一个：hadoop-env.sh

                     vim hadoop-env.sh

                     #第27行

                     export JAVA_HOME=/home/master/app /jdk1.8.0_212

             

       第二个：core-site.xml

              <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

              <property>

                     <name>fs.defaultFS</name>

                     <value>hdfs://master:9000/</value>

              </property>

              <!-- 指定hadoop运行时产生文件的存储目录 -->

              <property>

                     <name>hadoop.tmp.dir</name>

                     <value>/home/master/app/hadoop-2.9.2/data/</value>

           </property>

             

       第三个：hdfs-site.xml   hdfs-default.xml

              <!-- 指定HDFS副本的数量 -->

              <property>

                     <name>dfs.replication</name>

                     <value>1</value>

    </property>

             

       第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

              mv mapred-site.xml.template mapred-site.xml

              vim mapred-site.xml

              <!-- 指定mr运行在yarn上 -->

              <property>

                     <name>mapreduce.framework.name</name>

                     <value>yarn</value>

    </property>

             

       第五个：yarn-site.xml

              <!-- 指定YARN的老大（ResourceManager）的地址 -->

              <property>

                     <name>yarn.resourcemanager.hostname</name>

                     <value>master</value>

    </property>

              <!-- reducer获取数据的方式,mapper产生的结果使用shuffle机制传给reducer -->

    <property>

                     <name>yarn.nodemanager.aux-services</name>

                     <value>mapreduce_shuffle</value>

     </property>

         

8.将hadoop添加到环境变量

              vim /etc/proflie

              export JAVA_HOME=/home/master/app/ jdk1.8.0_212

              export HADOOP_HOME=/home/master/app/hadoop-2.9.2

              export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       source /etc/profile

      

9.格式化namenode（是对namenode进行初始化）

              hdfs namenode -format (hadoop namenode -format)

             

10.启动hadoop

              先启动HDFS

              sbin/start-dfs.sh

              再启动YARN

              sbin/start-yarn.sh

              遇到问题：

Starting namenodes on []

Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

 

              首先检查配置是否正确，然后步行的话作如下配置

在etc/hadoop/core-site.xml中增加如下配置：

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000/</value>

</property>

11.验证是否启动成功

              使用jps命令验证(查看进程)

              27408 NameNode

              28218 Jps

              27643 SecondaryNameNode

              28066 NodeManager

              27803 ResourceManager

              27512 DataNode

      

              http://192.168.71.101:50070 （HDFS管理界面）

              http://192.168.71.101:8088 （MR管理界面）

             

12.配置ssh免登陆

       #生成ssh免登陆密钥

       #进入到我的home目录

       cd ~/.ssh

 

       ssh-keygen -t rsa （四个回车）

       执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

       将公钥拷贝到要免登陆的机器上

       ssh-copy-id localhost

13.HDFS shell

       1.0查看帮助

              hadoop fs -help <cmd>

       1.1上传

              hadoop fs -put <linux上文件> <hdfs上的路径>(hdfs://master:9000/)

       1.2查看文件内容

              hadoop fs -cat <hdfs上的路径>

       1.3查看文件列表

              hadoop fs -ls /wordcount/

       1.4下载文件

              hadoop fs -get <hdfs上的路径> <linux上文件路径>

       1.5 建立目录

              Hadoop fs mkdir hdfs://master:9000/wordcount

14.使用hadoop自带的程序运行MapReduce

       hadoop jar hadoop-mapreduce-examples-2.9.2.jar pi 5 5

       pi表示计算圆周率 第一个5表示使用的map数量 第二个5表示每个map的取样数

富国老师软件设计师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
Ubuntu hadoop 伪分布式环境搭建步骤+ssh密钥（免密码登录）配置
s646575997的博客
04-02 4489
1.关闭防火墙 查看防火墙状态 service iptables status 关闭防火墙 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list 关闭防火墙开机启动 chkconfig iptables off 重启Linux reboot 2.安装JDK 2.1上传alt+p
ubuntu搭建hadoop伪分布式环境随笔记录
David_bdqn的博客
09-11 289
查看ubuntu系统：lsb_release -a 下载jdk-8u221-linux-x64.tar.gz和hadoop-2.7.7.tar.gz放在/work文件夹下 解压： tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/lib/jvm tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local...
ubuntu 搭建伪分布式hadoop
书生的博客
05-04 1572
url：http://blog.csdn.net/stark_summer/article/details/43484545 请注意：该博客前面提到的修改主机名其实不必修改，但里面用到主机名的地方自己要注意替换成自己的主机名。
Hadoop的安装和伪分布式集群搭建
Jo_Andy的专栏
04-06 1068
java安装 配置免密码登录 创建公钥和私钥 ssh -keygen -t rsa 将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限 这里模拟本机登录本机 cd ~/.ssh/ cat id_rsa.pub >> authorized_keys chmod 644 authorized_keys ...
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
1.本机虚拟机镜像为ova格式，大小为2.9G，仅限VirtualBox使用，本机无图形界面！请注意！ 2.本机为ubuntu16.04服务器版本，无图形...5.使用hadoop集群前，需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host配置。
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建-附件资源
03-05
【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建-附件资源
ubuntu docker搭建Hadoop集群环境的方法
01-20
spark要配合Hadoop的hdfs使用，然而Hadoop的特点就是分布式，在一台主机上搭建集群有点困难，百度后发现可以使用docker构建搭建，于是开搞： github项目：https://github.com/kiwenlau/hadoop-cluster-docker ...
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
文档为本人亲自编写，由于能力有限，如发现错误，欢迎批评指正。同时，欢迎有安装过程中有问题的小伙伴们一起交流学习。
hadoop cdh版本伪分布式集群搭建图文教程
08-18
hadoop cdh版本伪分布式集群搭建详细图文教程
(二) 配置开发环境 - Hadoop安装与伪分布式集群搭建
weixin_45873289的博客
04-07 5363
** Hadoop安装与伪分布式集群搭建 一. 安装JDK https://blog.csdn.net/weixin_45873289/article/details/104945583 注：这链接里面还有jdk和hadoop安装包 二. 安装Hadoop 输入tar -zxvf hadoop-3.1.0.tar.gz 解压hadoop安装包(这里需要注意安装包的名称是否正确)* 解压成功 三...
Ubuntu15.10 Hadoop伪分布式环境安装
forlove_you的博客
05-25 703
因为课程实验的需要，需要搭建hadoop伪分布式环境，经过了一天的探索，终于成功搭建好了，并整理成文。
安装配置 Hadoop 开发环境
qq_43270153的博客
11-24 1083
• 任务描述 • 相关知识 o 下载Hadoop o 配置Hadoop环境  设置SSH免密登录  hadoop-env.sh 配置  yarn-env.sh 配置  core-site.xml配置  hdfs-site.xml文件配置  mapred-site.xml文件配置  yarn-site.xml配置  创建文件夹  将Hadoop添加到环境变量中 o 验证  格式化...
hadoop安装与伪分布式搭建
一天一个苹果的博客
06-29 133
创建Hadoop用户 创建新用户 用户名为hadoop，使用/bin/bash作为shell sudo useradd -m hadoop -s /bin/bash 修改密码 $ sudo passwd hadoop Enter new UNIX password: Retype new UNIX password: passwd: password updated successfull...
Hadoop安装部署&伪分布式搭建
CyAurora的博客
07-17 802
1.伪分布式模式介绍 1.特点 - 在⼀台机器上安装，使⽤的是分布式思想，即分布式⽂件系统，⾮本地⽂件系 统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode) 都运⾏在⼀台机器上，都是独⽴的java进程。 2. ⽤途 ⽐Standalone mode 多了代码调试功能，允许检查内存使⽤情况，HDFS输⼊输 出，以及其他的守护进程交互。 2. 平台软件说明 平台&软件 说明
Hadoop安装和伪分布式平台的搭建
Zhangjiangyuan的博客
04-01 237
1，安装Hadoop 拷贝文件 配置环境变量 运行/share/hadoop中的demo:grep,Wordcount ###grep 利用正则表达式统计文件文件中出现的符合要求的字符串的个数 具体命令: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'py[a-...
Hadoop伪分布式集群的搭建
m0_64445892的博客
04-03 5135
一、准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg 2.下载centos https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/ 二、配置网络，设置网卡 1.将下载好的centos安装好后，点击左上角
Hadoop伪分布式集群搭建
StefanJ的博客
02-22 916
1.放入安装包 2.解压 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ 3.导入JDK安装包 4.解压JDK安装包 tar -zxvf jdk-8u241-linux-x64.tar.gz -C /usr/local/ 5.修改配置文件的路径 cd /usr/local/hadoop-2.7.3/etc/hadoop 4.修改hadoop-env.sh的文件 vi hadoop-env.sh 添...
第2关：配置开发环境 - hadoop安装与伪分布式集群搭建
最新发布
06-28
### 回答1： 如果要在本地配置 Hadoop 的开发环境，你需要安装 Hadoop 并创建一个伪分布式集群。 安装 Hadoop 的方法取决于你使用的操作系统。你可以通过以下两种方式之一来安装 Hadoop： 1. 使用软件包管理器（例如 apt-get 或 yum）： - 在 Ubuntu 中，使用以下命令安装 Hadoop： ``` sudo apt-get install hadoop ``` - 在 CentOS 中，使用以下命令安装 Hadoop： ``` sudo yum install hadoop ``` 2. 从源代码安装 Hadoop： - 下载 Hadoop 源代码： ``` wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz ``` - 解压缩 Hadoop 源代码： ``` tar -xzvf hadoop-3.3.0.tar.gz ``` 接下来，你需要创建一个伪分布式集群，这意味着你在单个机器上运行 Hadoop，但是其表现得像一个分布式集群。 首先，你需要配置 Hadoop 的配置文件（例如 hadoop-env.sh），然后启动 Hadoop。 在完成这些步骤后，你就可以使用 Hadoop 了！ ### 回答2： Hadoop是大数据处理的常用工具之一，其分布式存储和处理数据的特点，使其越来越受到关注。而为了使用Hadoop，我们需要先配置好开发环境，包括Hadoop的安装和伪分布式集群搭建。 Hadoop的安装： Hadoop是基于Java开发的，所以首先需要安装Java。建议安装Java8或以上版本，并确保JAVA_HOME环境变量已经配置好。 接下来，需要下载Hadoop安装包并解压缩。建议使用Apache官方的二进制发行版本，也可以选择Cloudera或Hortonworks等第三方发行版本。解压后，在Hadoop的根目录下，需要进行一些配置。 伪分布式集群搭建： 伪分布式集群是在单台机器上搭建的模拟集群，可以方便地进行Hadoop的学习和开发。要搭建伪分布式集群，需要进行如下配置： 1. 配置Hadoop的配置文件：修改Hadoop的配置文件hadoop-env.sh，并将HADOOP_CONF_DIR、HADOOP_MAPRED_HOME、HADOOP_COMMON_HOME、HADOOP_HDFS_HOME环境变量设置为Hadoop的安装目录。 2. 配置HDFS文件系统：在Hadoop的conf目录下，创建一个新的文件夹hadoop_data，并在该目录下创建三个子目录：namenode、datanode和tmp。其中，namenode和datanode分别是HDFS的主节点和从节点，而tmp目录是用来存放临时文件的。 3. 启动Hadoop：通过执行start-all.sh脚本，可以启动所有的Hadoop进程。如果一切正常，就可以通过http://localhost:50070访问HDFS的文件浏览器，和http://localhost:8088访问资源管理器，查看Hadoop的运行状态。 这样，伪分布式的Hadoop集群就搭建完成了。通过这个集群，可以进行各种Hadoop的开发操作，比如MapReduce程序的编写和执行等。当然，在实际应用中，还需要对Hadoop进行更加严格和复杂的配置和管理。 ### 回答3： Hadoop是一个开源的分布式计算框架，它能够对大规模的数据进行存储和处理，也因此得到了广泛的应用。如今Hadoop已成为大数据生态系统中的一个重要组成部分。为了能够使用Hadoop，我们需要先配置好开发环境。下面就让我们了解一下第二关：配置开发环境 - Hadoop安装与伪分布式集群搭建。 首先，我们需要先下载Hadoop，并安装Java环境。Hadoop支持多个版本，可以根据自己的需要进行选择。安装Java环境的方法也很简单，只需要到官网上下载对应的JDK，然后按照提示进行安装即可。 接下来，我们需要配置Hadoop的环境变量。在Linux系统下，直接在.bashrc文件中添加以下代码即可： export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 其中，/path/to/hadoop改为实际的Hadoop安装路径。 当环境变量配置好后，我们就可以开始配置Hadoop的伪分布式集群。 首先，我们需要编辑hadoop-env.sh文件，将JAVA_HOME设置为我们刚刚安装的JDK路径。 然后，我们需要配置core-site.xml文件。在该文件中，我们需要指定Hadoop所使用的文件系统类型，这里我们使用HDFS。同时，我们还需要指定Hadoop的namenode，即Hadoop的主节点。将以下代码添加到core-site.xml文件中： <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 其中，localhost改为实际的主机名。 接下来，我们需要配置hdfs-site.xml文件。该文件用于配置Hadoop分布式文件系统（HDFS）。将以下代码添加到hdfs-site.xml文件中： <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/hadoop/data/nameNode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/hadoop/data/dataNode</value> </property> </configuration> 其中，/path/to/hadoop/data/nameNode和/path/to/hadoop/data/dataNode改为实际的数据存储路径。 最后，我们需要配置mapred-site.xml文件。该文件用于配置MapReduce计算框架。将以下代码添加到mapred-site.xml文件中： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 以上就是配置Hadoop伪分布式集群的所有步骤。我们可以通过启动命令，启动Hadoop集群。运行$HADOOP_HOME/sbin/start-all.sh即可启动Hadoop伪分布式集群。最后，我们可以通过JPS命令查看Hadoop的各个组件是否启动成功。 总之，配置好Hadoop的开发环境后，我们才能更好地使用Hadoop进行数据处理。通过以上步骤，我们可以轻松搭建Hadoop伪分布式集群，并开始进行数据处理工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

富国老师软件设计师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值