@Hadoop基础实验，HDFS&&YARN&&Hbase安装配置（教程）

已于 2022-10-21 20:55:53 修改
阅读量703 收藏 1
点赞数
分类专栏： 大数据 文章标签： java linux 开发语言
于 2022-09-25 18:27:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45911532/article/details/126953936
版权

目录

一、常用的Linux命令

二.HADOOP3.0分布式集群搭建

环境变量脚本.bashrc

/ZSY/soft/hadoop-3.1.3/etc/hadoop路径下，配置Hadoop的脚本文件

core-site.xml

三、Yarn的基本配置

​编辑

 四、常见错误合集

待续未完。。。。

五、HBbase的安装配置

一、常用的Linux命令

1.查看隐藏文件命令ls -al

2.删除隐藏文件 （注意：rm空格-rf空格点星号空格点配置文件名

rm -rf .* .bashrc

3.出现YE^H^H^[[3~^[[2~^[[3~^H^H^H怎么 删?按住Ctrl Bacspace

4.免密登录

生成密钥 

ssh-keygen -t rsa

此时.ssh文件下应该出现

-rw------- 1 ZSY ZSY 2382 Sep 24 16:16 authorized_keys授权密码

-rw------- 1 ZSY ZSY 1675 Sep 24 16:15 id_rsa私钥

-rw-r--r-- 1 ZSY ZSY  397 Sep 24 16:15 id_rsa.pub公钥

-rw-r--r-- 1 ZSY ZSY 1283 Sep 24 16:14 known_hosts已知主机,可以cat文件名，查看有哪些主机

拷贝公钥到其他节点，此处以westgisB065为例子，做完免密之后记得测试一下，正向和反向登录，查看是否能够免密登录。（注：如果没有做完免密，在启动hdfs的时候会出现Permission denied(publickey,........提示，如果遇到这个提示，回去复盘免密）

ssh-copy-id -i ~/.ssh/id_rsa.pub westgisB065
 ssh-copy-id -i ~/.ssh/id_rsa ZSY@westgisB065

5.创建文件夹 (创建一个叫pp的文件夹)

mkdir pp

6.移动文件夹(mv name /path)

 mv hbase-2.4.8-bin.tar.gz /home/ZSY/zip

7.更改文件夹名字(将1.txt改成new1.txt)

touch 1.txt new1.txt

8.删除文件夹（删除pp）

 rm -rf pp

9.生成jar包

  • vi hello.java编写一段代码
public class hello{

        public static void main(String[] args) {
                System.out.println("Hello World!");
        }

}
  • javac hello.java生成.class文件；
  • ls查看一下生成 hello.class文件；
  • 将hello.java和hello.class生成jar包 jar -cvfe hello.jar hello hello.class
  • 编译jar包java -jar hello.jar
     

二.HADOOP3.0分布式集群搭建

分布式集群划分

主机地址节点角色划分节点角色划分
10.103.105.64ResouceManagerNameNode
10.103.105.65NodemanagerDataNode
10.103.105.66NodemanagerDataNode
10.103.105.67NodemanagerDataNode
10.103.105.68NodemanagerDataNode
10.103.105.69ClientClient

/*logs 和opt/hdfs/name  data 等文件要自己创建*/​​​​​​了解Hadoop 3.0-功能和增强功能 - 知乎 (zhihu.com)z

环境变量脚本.bashrc

#HADOOP
 export HADOOP_HOME=/home/ZSY/soft/hadoop-3.1.3
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin
 export JAVA_LIBRARY_PATH=/home/ZSY/soft/hadoop-3.1.3/lib/native

#JAVA
 export JAVA_HOME=/home/ZSY/soft/jdk1.8.0_271
 export JRE_HOME=/home/ZSY/soft/jdk1.8.0_271/jre
 export PATH=$JAVA_HOME/bin:$PATH
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

#maven
 export MAVEN_HOME=/home/ZSY/soft/apache-maven-3.6.1
 export PATH=${MAVEM_HOME}/bin:${PATH}

#yarn
 export YARN_HOME=/home/ZSY/soft/hadoop-3.1.3/etc/hadoop
 export PATH=$YARN_HOME/bin:$PATH

#hbase
 export HBASE_HOME=/home/ZSY/soft/hbase-1.4.13
 export PATH=$PATH:$HBASE_HOME/bin

/ZSY/soft/hadoop-3.1.3/etc/hadoop路径下，配置Hadoop的脚本文件

core-site.xml

<!--注释-=8020/9000/9820==namenode UI 9870=-->
<configuration>
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://westgisB064:9000</value>
   </property>
</configuration>

hdfs-site.xml​​​​​​​4代表有4个DN，$HADOOP_HOME/hdfs/dn和...hdfs/nn;存放元数据；

<configuration>

        <property>
                <name>dfs.replication</name>
                <value>4</value>
        </property>


        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/ZSY/soft/hadoop-3.1.3/opt/hdfs/data</value>
        </property>



        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/ZSY/soft/hadoop-3.1.3/opt/hdfs/name</value>
        </property>

</configuration>

hadoop-env.sh声明环境变量路径

export JAVA_HOME=/home/ZSY/soft/jdk1.8.0_271
export HADOOP_HOME=/home/ZSY/soft/hadoop-3.1.3

worker配置从节点

westgisB065
westgisB066
westgisB067
westgisB068

启动hdfs地址10.103.105.64:9870

9870是HDFD NameNode HTTP UI端口

8020/9000/9820是HDFS 内部通信端口

三、Yarn的基本配置

yarn-site.xml

<configuration>

<!--6个模块功能请/*注释*/ Site specific YARN configuration properties -->

<!-- ===============NameNode上运行的附属服务，配置成mapreduce_shuffle才可以MapReduce任务-->
<property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
</property>
 


<!-- ===============ResourceManager暴露给客户端的地址，用于提交进程、结束进程==========-->
<property>
           <name>yarn.resourcemanager.address</name>
           <value>westgisB064:8032</value>
</property>
 


<!-- ===============RM暴露给AppMaster的地址，用于申请、释放资源======================-->
<property> 
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>westgisB064:8030</value>
</property>


<!-- ===============RM给NM的地址，汇报心跳、领取任务=================================-->
<property>
           <name>yarn.resourcemanager.resource-tracker.address</name>
           <value>westgisB064:8031</value>
 </property>
 

<!-- ==============NM所在节点，可以分配给Yarn的最大可以使用内存，一般分配80%~90%，剩10%左右-->
<property>
        <name>yarn.nodemanager.memory-mb</name>
        <value>8GB</value>
</property>
 

<!-- ===============NM所在节点，可以分配给Yarn的最大可使用CPU核心数====================-->
<property>
        <name>yarn.nodemanager.cpu-vcores</name>
        <value>4</value>
 </property>
 

</configuration>

mapred-site.xml

<!--=================此配置项表示使用Yarn的框架来管理MapReduce程序========================-->

<configuration>

<property>
 
       <name>mapreduce.framework.name</name>
 
       <value>yarn</value>
 
  </property>
 
</configuration>

启动Yarn地址10.103.105.64:8088

8088是YARN 查看任务执行端口​​​​​​​

 四、常见错误合集

1、流程上的错误：

（1）出现root key等提示，免密没有做完；解决方法就是把做完免密的节点追加到没做免密的节点

（2）常用命令失灵，出现-bash-4.2$错误，检查ls .al下的隐藏文件；将正常节点下的.bash_profile拷贝到出现bash的节点相应的位置；

（3） 检查防火墙是否关闭（关闭状态下配置）；检查各个节点下的世界时钟是否统一（一般时间及间隔不超过30s）

 (4)检查网络状况

 (5)检查是否有进程占用

 (6)启动集群前要先初始化hadoop hdfs namenode -format和hadoop namenode -format

2、配置脚本上的错误:

（1）主要围绕.bashrc出错，变量无效等，或者直接无法加载配置文件等，可以看看环境变量配置脚本（基本上是语法上的错误）;

(2)围绕etc/hadoop下的配置文件出错<property><property/>语句和语法上的错误，

待续未完。。。。

wordcount的编译运行

五、HBbase的安装配置

1.  /home/ZSY/soft/hbase-2.4.8/conf打开此路径下的 hbase-env.sh 在文末加入环境变量

export JAVA_HOME=/home/ZSY/soft/jdk1.8.0_271
export HBASE_CLASSPATH=/home/ZSY/soft/hadoop-3.1.3/etc/hadoop
export HBASE_MANAGES_ZK=true

2. vi hbase-site.xml 

<!--本地文件系统的临时文件夹，重启时清除-->
  <property>
    <name>hbase.tmp.dir</name>
    <value>/home/ZSY/soft/hbase-2.4.8/TemporaryCleaning</value>

<!--注此处的端口号要根据hadoop里面的配置端口一致-->
 <property>
   <name>hbase.rootdir</name>
   <value>hdfs://westgisB064:9000/hbase</value>
 </property>

<!--web监控界面-->
<property>
   <name>hbase.master.info.port</name>
   <value>60010</value>
 </property>

<!--hbase.zookeeoer.quorum的参数,配置ZK的地址，4个节点都启用Zookeeper-->
  <property>
      <name>westgisB065,westgisB066,westgisB067,westgisB068</name>
      <value></value>
  </property>


<!--快照的存储位置-->
   <property>
        <name>hbase.zoopkeeper.property.dataDir</name>
        <value>/home/ZSY/soft/hbase-2.4.8/ZKdatas</value>
    </property>


<!--防止jar 包冲突-->
 <property>
      <name>hbase.unsafe.stream.capability.enforce</name>
      <value>false</value>
  </property>

<!-- 冗余度 -->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

<!-- 主节点和从节点允许的最大时间误差 -->
        <property>
                <name>hbase.master.maxclockskew</name>
                <value>180000</value>
        </property>




</configuration>

3.vi regionservers

westgisB065
westgisB066
westgisB067
westgisB068

4.vi hbase-env.sh 环境添加（在/home/ZSY/soft/hadoop-3.1.3目录下建一个pids的包，记得在.bashrc文件中添加环境变量）

export JAVA_HOME=/home/ZSY/soft/jdk1.8.0_271
export HBASE_CLASSPATH=/home/ZSY/soft/hadoop-3.1.3/etc/hadoop
export HBASE_MANAGES_ZK=true
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
export HBASE_PID_DIR=/home/ZSY/soft/hadoop-3.1.3/pids

5.启动10.103.105.64：60010

RinaMendes
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop&Hbase安装完美教程
12-28
在教程中，"云计算实验-hadoop和Hbase的安装使用.pdf"很可能是详尽的步骤指南，包含了每个环节的截图和具体配置示例，有助于初学者直观理解。而"readme.txt"通常包含简要说明或注意事项，比如系统需求、安装前提、...
HDFS基础命令行操作（笔记整理）
weixin_43558498的博客
09-06 846
HDFS基础命令行操作（笔记整理） ls 格式：hdfs dfs -ls URI 作用：查看指定路径下的文件（和 linux 的 ls一样） [hadoop@master ~]$ hdfs dfs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2021-07-25 16:34 /hbase drwx-wx-wx - hadoop supergroup 0 2021-07-25 16:42 /tmp d
Hadoop YARN HA 集群安装部署详细图文教程
Stars.Sky 的博客
09-05 3164
Hadoop YARN HA 集群安装部署详细图文教程
yarn安装教程
热门推荐
m0_58724783的博客
03-01 1万+
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。
Hadoop Yarn 安装
zlcd1988的专栏
06-30 4711
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。
HDFS常用操作
prettyEva的博客
03-31 1505
创建目录命令格式：hdfs dfs -mkdir 举例：在hdfs上已有文件夹data下面简历一个新的文件夹zuo hdfs dfs -mkdir /data/zuo 读取文件查看文件命令格式： hdfs dfs -ls #列出文件路径下的文件 hdfs dfs -ls -a #列出文件路径下所有的文件，包括隐藏文件 hdfs dfs -ls
第10章Hadoop与HBase分布式集群安装与配置.pdf
07-14
4. 配置Hadoop：对Hadoop的配置文件进行编辑，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers等文件。这些文件的配置对Hadoop集群的运行至关重要，需要根据实际的集群...
Hadoop&YARN;权威指南
08-24
书中还涵盖了YARN与Hadoop其他组件如HDFS、HBase、Oozie等的集成，展示了如何构建高效、灵活的大数据处理平台。 两本书结合，为读者提供了全面理解Hadoop生态系统的视角，不仅包括理论知识，还有实际操作指导。无论...
hadoop&spark使用教程.docx
最新发布
07-12
### Hadoop & Spark 使用教程详解 #### Hadoop 使用教程 **一、安装与配置** 1. **下载与安装Hadoop** - 访问官方网站获取最新版本的Hadoop压缩包。 - 解压并安装Hadoop，确保设置正确的`JAVA_HOME`环境变量。 ...
hadoop&hbase;高可用测试环境搭建
09-11
本教程将详述如何搭建一个高可用的Hadoop和HBase测试环境。 首先，我们要理解高可用性的概念。在Hadoop生态系统中，高可用性意味着即使在硬件故障或其他异常情况下，服务也能持续运行，确保数据的完整性。这通常...
hadoop安装之保姆级教程（二）之YARN的配置
qq_52868045的博客
10-22 3348
我们在YARN上运⾏MapReduce的程序的时候，可以在控制台上看到任务的⽇志输出，以获取到任务的运⾏状态。同 时，YARN也会将⽇志写在本地的⽂件夹中，我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容，会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志？此时就需要开启Hadoop的历史⽇志服务了，Hadoop会将MapReduce的任务⽇志在HDFS也保留⼀份，我们可以通过 Hadoop的历史任务服务来查看到之前的历史⽇志！
Hadoop开发入门与实践(三)
MARQUIS888的专栏
12-31 456
Hadoop开发入门与实践(三)一、配置ssh免密码登陆1、查看隐藏文件：[root@xtwyhadoop ~]# ls -la [root@xtwyhadoop ~]# cd .ssh known_hosts 知道的主机2、生成ssh免登陆密钥[root@xtwyhadoop .ssh]# ssh-keygen -t rsa 3、查看生在的文件： 执行完这个命令后，会生成两个
查看隐藏文件
BEST-CDB
11-06 882
CTRL+h
Hadoop 之 集群安装（HDFS、YARN）
03-06 1558
Hadoop 之 集群安装（HDFS、YARN）
大数据Hadoop环境安装
qq_32729301的博客
11-28 1341
工作场景的需要，最近开始学习起了大数据相关的东西。对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。Hadoop环境的安装，我是用自己电脑借助VMware workstation构建了三个虚拟机节点，进行安装的。
使用Hadoop,Hbase集群搭建
m0_65071670的博客
06-25 527
Hadoop 是Google MapReduce 的一个 Java 实现。MapReduce 是一种简化的分布式编程模式， 让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同 java程序员可以 不考虑内存泄露一样，MapReduce 的 run-time 系统会解决输入数据的分布细节, 跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。
【大数据部署】HDFS，Yarn集群快速搭建教程（涵盖Windows与Linux中的注意事项）
Liming07的博客
12-07 1034
大数据Hadoop平台伪分布式搭建，使用详细的图文为大家介绍如何玩转单节点HDFS MapReduce Yarn的平台部署。
[Hadoop]hadoop3的hdfs和yarn模式高可用配置
MyNameIsWangYi的博客
05-03 1395
目录1.三台机器2.wokers配置3.core-site.xml配置4.hdfs-site.xml配置5.yarn-site.xml配置6.hadoop-env.sh配置7.mapred-site.xml配置8.环境变量 /etc/profile配置 1.三台机器 bdp01 bdp02 bdp03 2.wokers配置 bdp01 bdp02 bdp03 3.core-site.xml配置 <configuration> <property> <name&g
Hadoop高可用环境搭建-HDFSNameNode高可用搭建、Yarn高可用搭建
遇安的博客
11-22 1774
本文详细的写有：hadoop HDFSNameNode高可用环境搭建、Yarn高可用环境搭建的步骤。
Hadoop与HBase基础配置教程
"这是关于Hadoop和HBase的基础配置文档，由个人学习心得和网络资料整理而成。" 在本文档中，我们将深入探讨Hadoop和HBase这两个关键的大数据处理技术。Hadoop是一个开源软件框架，专门用于可靠的、可扩展的分布式...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值