HNU大数据并行处理–Hadoop伪分布式环境配置

最新推荐文章于 2022-11-11 21:37:12 发布
最新推荐文章于 2022-11-11 21:37:12 发布
阅读量295 收藏 1
点赞数
文章标签： hadoop hbase zookeeper spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45894067/article/details/125534650
版权
本文档详细记录了在Ubuntu 20.04上配置Hadoop伪分布式环境的过程，包括Hadoop、HBase、Zookeeper的配置和启动，以及遇到的问题和解决方案。配置顺序为Zookeeper -> Hadoop -> Hbase -> Scala -> Spark，重点强调了SSH免密登录、环境变量设置、配置文件修改和测试步骤。
摘要由CSDN通过智能技术生成

Hadoop伪分布式环境配置

Ubuntu 20.04 master@mater

主机名（前） master

用户名（后） master

虚拟机ip 192.168.242.148

hosts 192.168.242.148 master

hadoo端口 50070

hbase端口 16010

zk“myuid”没配，伪分布式，不配置无影响

ssh免密登录

jdk1.8

Hadoop-3.1.1

hbase-2.4.12

zookeeper-3.7.1

Scala-2.12.16

Spark-3.3.0

前言

利用好快照和克隆，就省去很多没必要的“从头来过”

看一百篇博客可能不如看一个成功配置的视频

日志

start-2022/6/27

走一遍配环境的流程，单个启动均无问题，

问题：hdfs网页端 创建/删除目录 & 上传/删除文件 与命令行所见不同步

解决：hdfs路径没搞清楚，根据配置文件，hbase访问到的路径是/hbase；hdfs dfs 命令访问到的路径是/user/master(用户名)，若无此路径需要leave safe mode 后自行创建，

2022/6/28

在测试中hbase shell无法使用，重配

#如果因为ssh 本机导致删除文件夹权限不足，则强制删除，方便重新配置环境
$ sudo rm -rf test

no node for /user/master

service not running

ConnectionLoss

2022/6/29

再来一次配置文件一次过

Hadoop第一次格式化，hbase可正常使用

Hadoop重新格式化之后 hbase报错 no node for /user/master

基础配置

  1. 命令中vi≈vim，vim是我自己装的

  2. 修改主机名

    注意：用户名@主机名，伪分布式只需配置一个

    $ sudo vim /etc/hostname
#把localhost改成master（或其他）

  3. 配置hosts文件

    $ sudo vim /etc/hosts

    添加以下内容并保存：（删除有localhost的行，使用ifconfig查看本机ip地址，以下ip地址为示例）

    192.168.1.83 master

  4. SSH及免密登录

    后续软件之间的交互都基于免密登录

    #（此步骤若出错请上网查询ssh免密登录—openssh）
$ cd                     #回到最上层目录
$ mkdir .ssh
$ cd .ssh
$ ssh-keygen -t rsa
$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub slave1

    连续敲击回车最后输入本机密码完成免密钥登录配置

    节点（虚拟机）两两之间进行ssh免密钥配置

    最后实现的效果：节点（虚拟机）两两之间ssh可免密登录，ssh自己也行

    查看是否配置成功

    # ssh $hostname,不会被要求输入密码，要输密码就是没成
$ ssh master

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SVu6Df1H-1656554007435)(环境配置.assets/image-20220629205038763-16565070398797.png)]

  5. 文件传输和实际配置工具

    Xshell+Xftp或者FinalShell

    名称随意 “主机”填虚拟机ip 用户名&密码~~~

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vQEVEVo6-1656554007436)(环境配置.assets/image-20220629205727003-16565074492428.png)]

配置顺序

Zookeeper------Hadoop------Hbase------Scala------Spark

流水账

解压 重命名

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz  -C ../install/
tar -zxvf hadoop-3.1.1.tar.gz  -C ../install/
tar -zxvf hbase-2.4.12-bin.tar.gz  -C ../install/
tar -zxvf scala-2.12.16.tgz -C ../install/
tar -zxvf spark-3.3.0-bin-hadoop3.tgz -C ../install/

master@master:~/install$ mv scala-2.12.16 scala
master@master:~/install$ mv spark-3.3.0-bin-hadoop3 spark
master@master:~/install$ mv apache-zookeeper-3.7.1-bin zookeeper
master@master:~/install$ mv hadoop-3.1.1 hadoop
master@master:~/install$ mv hbase-2.4.12 hbase

主要环境变量一览

#编辑环境变量
#为确保权限足够，建议sudo执行
$ sudo vim /etc/profile
#找个中意的位置加进去

#JAVA
export JAVA_HOME=/home/master/install/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#HADOOP
export HADOOP_HOME=/home/master/install/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#SCALA
export SCALA_HOME=/home/master/install/scala
export PATH=$PATH:$SCALA_HOME/bin
#ZOOKEEPER
export ZOOKEEPER_HOME=/home/master/install/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#注意不要重复定义环境变量：指在此处定义之后 在程序xxEnv.sh中就不要配置，避免运行出错
#export ZOO_LOG_DIR=/home/master/install/zookeeper/logs

#HBASE
export HBASE_HOME=/home/master/install/hbase
export PATH=$PATH:$HBASE_HOME/bin
#SPARK
export SPARK_HOME=/home/master/install/spark
export PATH=$PATH:$SPARK_HOME/bin

zookeeper配置

从最简单的入手不过分

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iBfkXDDk-1656554007436)(环境配置.assets/image-20220629110809632-16564720906382.png)]

zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/master/install/zookeeper/data
dataLogDir=/home/master/install/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
# the maximum numb
最低0.47元/天 解锁文章
WENDY_PRIDE
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ubuntu虚拟机搭建hadoop+spark+zookeeper+hbase+kafka环境
szk171848581的专栏
09-07 762
准备工作（软件所需及作用） 1.1- vmware安装包，ubuntu系统 --> 搭建虚拟机环境 1.2- jdk --> 安装java环境 1.3- xshell --> 本机可以连接虚拟机，可选择其他 1.4- scala --> 虚拟机用到的编程环境，可选择其他 1.5- hadoop --> 搭建hadoop环境 1.6- spark --> 搭建spark环境 注- （软件如有需，文章后面会有网盘链接） 流程大致说明：为了简化操作，选用了图形版ubuntu..
hadoop伪分布式配置及遇到的问题
01-12 4356
一、运行wordcount例子 在hadoop上新建目录，然后用put程序将linux中的文件input1.txt和input2.txt输入到hadoop文件系统中的/tmp/input/中   hadoopfs -mkdir /tmp/input hadoopfs -mkdir /tmp/output hadoopfs -put input1.txt /tmp/input/ hado
ubuntu 中安装hadoop伪分布式布置失败
PenyPeng的博客
05-30 374
配置好hadoop之后，最后一步就是启动hadoop，然后jps 查看节点设置是否成功 如果缺少任意一个，都是配置失败。 rm -r ./tmp ./bin/hdfs namenode -format ./sbin/start-dfs.sh...
记一次腾讯云搭建Hadoop伪分布报错
小刘的博客
04-10 1975
在腾讯云上搭建Hadoop伪分布式集群的时候格式化成功，启动进程不报错，查看进程发现少了namenode，去看日志发现以下报错问题 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.net.BindException: Problem binding to [hadoop:9000] java.net.BindException: Cannot assign requested add
ubuntu 14.04 下单机安装 hadoop 2.7.2+scala 2.11.8+spark 2.0伪分布式教程
会飞的星星的博客
07-29 1056
听说高大上的spark2.0版本发布啦，凑个热闹来安装一下。 本文安装方式及教程截图均基于ubuntu 14.04系统 需要下载以下4个软件： 说明：自己尝试发现手动下载这些软件的压缩包再解压到某目录下的方式比命令行稍快一点，后面也有命令行下载方式的说明。此种方式适用于习惯图形界面的童鞋。 1.Hadoop-2.7.2.tar.gz 下载网址： http://www-eu.apache.
HNU数字图像处理课程实验
最新发布
06-29
1、对图1进行二值分割。 2、计算图2中钉子的直径。 3、编程实现教材P495图...可用附件中的图像，也可自己拍摄三种水果，要求不能用彩色图像，只能基于灰度图像进行处理。 5、编程实现手写体数字识别（可采用MNIST库）。
【HNU分布式与云计算系统】MPI实现矩阵乘矩阵运算
lisiyu0816的博客
05-25 1716
【HNU分布式与云计算系统】MPI实现矩阵乘矩阵运算 实验环境 操作系统：Ubuntu 20.04 编程语言：C++ 实验原理 什么是MPI MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。 尽管MPI属于OSI参考模型的第五层或者更高，他的实现可能通过传输层的sockets和Transmission Contro
HNU-2021数字图像处理大作业
11-03
【标题】"HNU-2021数字图像处理大作业"主要涵盖了两个核心知识点：图像处理中的目标去除和目标检测。在这个项目中，学生被要求实现特定的算法来处理图像，具体包括移除图像中的红色十字虚线标记以及识别并标记图像中...
hnu计算机系统作业-计算机系统基础课程大作业.zip
04-27
hnu计算机系统作业—计算机系统基础课程大作业.zip hnu计算机系统作业—计算机系统基础课程大作业.ziphnu计算机系统作业—计算机系统基础课程大作业.ziphnu计算机系统作业—计算机系统基础课程大作业.ziphnu...
Hadoop安装教程_单机/伪分布式配置---------常见的问题
weixin_56263155的博客
04-18 874
Hadoop文件安装时的问题 在Hadoop安装时，要配置JAVA环境变量，注意要下载与之后操作相对应的版本，否则会出现很多问题。 下载Hadoop文件，注意要如同1一样，要下载与JAVA版本相对于的版本，否则会出现不可以调用的问题。 Hadoop伪分布式时的问题 <configuration> </configuration> 按照安装教程进行伪分布式配置的修改配置文件时，要注意<configuration> </configuration>这个标签只
Hadoop伪分布集群配置（我用的是VMwareWorkstation）
qq_56274662的博客
11-11 2791
记录学习，加深巩固，方便回忆！
【大数据实验】01：Hadoop3伪分布部署
https://blog.csdn.net/m0_74834215
03-29 4004
Hadoop3环境搭建 OVERVIEWHadoop3环境搭建Hadoop3环境搭建（本地模式）实验内容实验环境实验原理实验步骤1.安装JDK82.安装Hadoop33.在Hadoop3上执行MR程序Hadoop3环境搭建（伪分布模式）实验内容实验环境实验原理实验步骤1.安装JDK82.配置SSH免密登录3.安装Hadoop4.Hadoop伪分布式配置5.格式化文件系统6.在Hadoop3集群上执行MapReduce程序 Hadoop3环境搭建（本地模式） 实验内容 在Linux中安装和配置JDK8 实
2-ZooKeeper 配置文件
诗人不写诗
03-13 1318
zookeeper官方地址：Apache ZooKeeperhttps://zookeeper.apache.org/releases.htmlzookeeper配置文件 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that
Hadoop伪分布式配置
阿飞学弟的知识库
07-14 2173
Hadoop伪分布式配置
分布式RPC框架Apache Dubbo
qq_40271330的博客
03-05 1563
dubbo学习笔记
Zookeeper入门学习笔记
小楊同学的笔记本
05-31 545
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper的工作机制 Zookeeper的特点 Zookeeper的数据结构 提供的服务场景 统一命名服务、统一配置管理、统一集群.
ZooKeeper学习笔记(二): Zookeeper的安装与启动(Docker)
社畜程序员的无聊博客
11-25 1223
ZooKeeper下载地址 这里只放上Zookeeper官网地址,上去下载就好了就是一个压缩文件,解压就好了,时代在变化,之后将会使用docker进行操作,如果有对于docker网络有不了解的情况可以去看这篇文章docker网络 **Zookeeper下载地址**之后的操作就是解压同时需要安装JDK环境这个就不做过多赘述了 docker安装ZooKeeper 首先获取到一个zoo_sample.cfg可以通过上方下载方式获取,或者如果相信我的话复制我的 # The number of millise
Window下zookeeper安装和启动
dream_heheda的博客
04-15 2044
1.下载稳定的最新版本的zookeeper，这里下载了zookeeper-3.5.6版本 下载zookeeper 注意apache-zookeeper-3.5.7-bin.tar.gz 才是启动zookeepr需要的，千万别下载错。 2.解压缩apache-zookeeper-3.5.7-bin.tar.gz 。在该文件夹下打开cmd命令 ，使用如下命令解压缩文件 tar -...
hnu+计算机系统讨论课
03-08
hnu+计算机系统讨论课是湖南大学计算机科学与技术学院开设的一门课程。该课程旨在通过讨论和实践，深入了解计算机系统的各个方面，包括硬件、操作系统、网络等。在课程中，学生将有机会学习和探讨计算机系统的原理、设计和实现，并通过实验和项目来加深对计算机系统的理解。 在hnu+计算机系统讨论课中，学生将参与到小组讨论、案例分析、实验和项目等活动中。通过这些活动，学生可以与同学们一起探讨和解决计算机系统中的问题，提高自己的分析和解决问题的能力。同时，课程还会引导学生进行相关的文献阅读和研究，培养学生的科研能力和创新思维。 该课程的教学内容包括但不限于以下几个方面： 1. 计算机体系结构：包括CPU、内存、I/O等硬件组成和工作原理。 2. 操作系统：包括进程管理、内存管理、文件系统等操作系统的基本原理和实现。 3. 网络：包括网络协议、网络通信原理和网络安全等方面的知识。 4. 分布式系统：包括分布式计算、分布式存储和分布式数据库等相关内容。 通过参加hnu+计算机系统讨论课，学生可以深入了解计算机系统的各个方面，并通过实践和项目来提升自己的实际操作能力。这门课程对于计算机科学与技术专业的学生来说是非常有价值的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值