在Win10下配置hardoop和hbase

最新推荐文章于 2024-03-31 14:00:35 发布
最新推荐文章于 2024-03-31 14:00:35 发布
阅读量1.8k 收藏 22
点赞数 2
分类专栏： JAVA 文章标签： hbase hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godnew/article/details/124853625
版权

本文介绍在windows下配置hardoop和hbase：

目录

准备版本

配置环境

配置hadoop

配置hbase

参考资料

准备版本

  1. Java：jdk1.8.0_231。
  2. Hadoop：3.2.3。阿里云开源镜像站资源目录
  3. Hbase：2.3.7。https://archive.apache.org/dist/hbase/2.3.7/hbase-2.3.7-bin.tar.gz

JDK从Oracle官网下载，hadoop从阿里镜像站下载，hbase从apache存档中下载。Hadoop和Hbase一定要是上面的版本，否则不能联通。官网Apache HBase ™ Reference Guide这里介绍的兼容性有时不对，如本文写作时20220512下载了hadoop3.3.2和hbase2.4.12，二者不能搭配，Hbase启动会报错“java.lang.IllegalArgumentException: object is not an instance of declaring class”。

所有文件下载后解压到如下目录：（setEnv.bat和hadoop-workdir为后续创建）

配置环境

配置环境有两种方式。

 

第一种，设置windows环境变量JAVA_HOME、HADOOP_HOME、HBASE_HOME，并将%JAVA_HOME%\bin、%HADOOP_HOME%\bin、%HADOOP_HOME%\sbin、%HBASE _HOME%\bin、%HBASE _HOME%\conf添加到PATH。此方式优点是可全局方便的调用各命令，缺点是可能会影响到其他应用。

第二种，编写一个批处理，并用批处理启动相应的程序。此方式优点是不影响其他应用，确定是调用命令时需要新设置环境。

下文按第二种方式进行配置。首先在G:\hadoop目录下编写setEnv.bat如下：

echo 设置环境变量

set HADOOP_ROOT=g:\hadoop

set JAVA_HOME=%HADOOP_ROOT%\jdk1.8.0_231

set HADOOP_HOME=%HADOOP_ROOT%\hadoop-3.2.3

set HBASE_HOME=%HADOOP_ROOT%\hbase-2.3.7

set PATH=%JAVA_HOME%\bin;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;%HBASE_HOME%\bin;%HBASE_HOME%\conf;%PATH%

配置hadoop

  1. 替换bin目录下的文件，否则windows下无法启动hadoop
    1. 从https://gitee.com/chen_yu_x/winutils（国内网络较快）或GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows下载hadoop的windows工具。
    2. 用winutils下hadoop-3.2.2目录下的bin目录，替换%HADOOP_HOME%下的bin目录
  2. 把%HADOOP_HOME%\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.2.3.jar复制到%HADOOP_HOME%\share\hadoop\yarn\lib目录下， 解决TimelineCollectorManager报错问题。
  3. 修改%HADOOP_HOME%\etc\hadoop\core-site.xml配置文件。注意目录的配置方式。

<configuration>

       <property>

              <name>fs.default.name</name>

              <value>hdfs://localhost:9000</value>

       </property>

       <property>

              <name>hadoop.tmp.dir</name>

              <value>file:/g:/hadoop/hadoop-workdir</value>

       </property>

</configuration>

4. 修改%HADOOP_HOME%\etc\hadoop\hdfs-site.xml配置文件。注意目录的配置方式。

<configuration>

       <property>

              <name>dfs.namenode.name.dir</name>

              <value>file:/g:/hadoop/hadoop-workdir/dfs/name</value>

       </property>

       <property>

              <name>dfs.datanode.data.dir</name>

              <value>file:/g:/hadoop/hadoop-workdir/dfs/data</value>

       </property>

</configuration>

5. 在命令下进入g:\hadoop目录，执行“setEnv.bat”设置环境变量，执行结果示意如下：

       

6. 执行“hdfs namenode -format”对hadoop进行初始化，执行后显示内容示例如下：

   

 

7. 使用“start-all”命令启动hadoop，会显示如下的令行窗口。如有报错参见下文9.a。

    

 

8. 查看hadoop启动情况：http://localhost:9870/dfshealth.html#tab-overview

    

 

9. 使用“stop-all”停止hadoop服务。命令行显示如下，其他四个命令行窗口关闭。

    

10. 其他

  1. 如遇内存不足问题，可以修改%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd批处理，在文件开头添加“set HADOOP_HEAPSIZE=200”。
  2. 如果仅为了启动hadoop，也可以跳过第3、4步的配置修改，此时hadoop会在当前盘符下创建tmp文件夹来存储数据。对本例来说是g:\tmp目录。

配置hbase

  1. 复制%HBASE_HOME%\lib\client-facing-thirdparty到%HBASE_HOME%\lib目录下。
  2. 修改%HBASE_HOME%\conf\hbase-site.xml，在configuration下添加如下配置：分别用来指定绑定ip地址和hadoop服务地址。

  ……………………

    <property>

           <name>hbase.master.ipc.address</name>

           <value>0.0.0.0</value>

    </property>

    <property>

           <name>hbase.regionserver.ipc.address</name>

           <value>0.0.0.0</value>

    </property>

<property>

    <name>hbase.rootdir</name>        

    <value>hdfs://localhost:9000/hbase</value>

  </property>

  ……………………

3. 在%HBASE_HOME%\conf\hbase-env.cmd批处理中添加如下配置，让HBase自己进行集群管理。

  ……………………

set HBASE_MANAGES_ZK=true

  ……………………

4.切换到%HBASE_HOME%\bin目录下执行start-hbase。

 4.在命令行下对hbase进行操作

  1. 从Download下载jansi-1.18.jar，并放到%HBASE_HOME%\lib目录下
  2. 执行“hbase shell”命令，界面示意如下：

         

 

        3. 执行“ create 'test','cf' ”命令，创建表

            

 

6. 点击http://localhost:16010/master-status从浏览器查看hbase运行情况

     

 7. 其他

  1. 使用“stop-hbase”和“hbase master stop --shutDownCluster”命令停止hbase运行。
  2. 在hbase shell界面下用exit命令退出。

参考资料

  1. Apache Hadoop
  2. Apache HBase ™ Reference Guide
  3. Windows环境下hadoop安装和配置详细步骤（图文）_yujkss的博客-CSDN博客_hadoop windows
  4. win10启动hadoop时遇到的坑_coder_szc的博客-CSDN博客
  5. 史上最详细的hadoop安装教程_新生代农民的博客-CSDN博客_hadoop安装
  6. hadoop启动报错： java.lang.NoClassDefFoundError:/org/apache/hadoop/yarn/server/timelineCollectorManager_梁云亮的博客-CSDN博客
  7. hbase与hadoop版本兼容问题，强烈谴责hadoop生态圈耦合性_jinluming19的博客-CSDN博客_hbase版本兼容
GodNew
关注
  • 2
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hardoop的帮助文档
10-22
hardoop的相关文档，学习有用，大家下下看吧
hadoop 相关环境搭建
bswsf的专栏
06-16 2023
备注。因为beeline一直报错，最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib各软件的相关命令最好到各自安装目录或者bin目录下执行，防止初始化目录的时候位置不对。
windows 10 HBase保姆级安装教程
最新发布
2401_83411985的博客
03-31 952
机会是留给有准备的人，大家在求职之前应该要明确自己的态度，熟悉求职流程，做好充分的准备，把一些可预见的事情做好。对于应届毕业生来说，校招更适合你们，因为绝大部分都不会有工作经验，企业也不会有工作经验的需求。同时，你也不需要伪造高大上的实战经验，以此让自己的简历能够脱颖而出，反倒会让面试官有所怀疑。你在大学时期应该明确自己的发展方向，如果你在大一就确定你以后想成为Java工程师，那就不要花太多的时间去学习其他的技术语言，高数之类的，不如好好想着如何夯实Java基础。请转发本文支持一下。
Linux下Hbase安装配置
weixin_43564627的博客
11-26 2743
Linux下Hbase安装配置 首先要安装Hadoop Linux Hadoop 2.7.3 安装搭建 1. Hbase安装包下载 点击进入Hbase官网页面下载 http://hbase.apache.org/downloads.html 2. 安装 将下载好的Hbase安装包上传到服务器指定目录（无限制，根据实际情况来）并解压。 3. 配置JAVA_HOME环境变量 在hbase安装目录下找到conf/hbase-env.sh文件，取消文件里JAVA_HOME那一行的注释并修改为本机jdk实际路径
hbase的安装配置过程（CentOS7）
qq_55906442的博客
03-15 7511
一.安装准备 1.下载hbase安装包 点击下面的网址选择想要的安装包下载。 Index of /dist/hbase 我安装的是：hbase-2.0.3 2.上传安装包到CentOS 用MobaXterm_Protable上传，MobaXterm_Protable是Windows和Linux之间的连接工具。 MobaXterm_Portable的简单使用_一个人的牛牛的博客-CSDN博客_mobaxterm portable和installer区别 二.安装配置 1.解压安装包 ...
hardoop 入门
gang950502的博客
06-16 2585
hardoop 入门标签（空格分隔）： hardoophardoop 入门 hadoop 计算框架 HDFS 优点 缺点 框架图 关于hadoop 版本选择hadoop 计算框架 MapReduce 离线型计算框架 分布式计算框架 易编程，高容错，高拓展 JStorm 使用JAVA实现的storm流式计算框架 Spark 内存计算框架，并行计算框架 参考资料少，成熟框架但发行晚，因此使用量较少
hardoop学习
05-04
hardoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储，该文档给你指引一个明确的方向，去如何学习hardoop。
基于Hadoop的携程集中式日志及其周边生态系统介绍.rar
05-21
2013年中国数据库大会 大数据 数据库架构与优化 hardoop 学习
hadoop常用脚本
08-15
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，...
Hadoop商业应用案例
11-12
介绍Hadoop商业应用案例，适合对hardoop有一定基础的朋友
大数据学习（三）一分钟搞明白hive在底层是如何运作的
weixin_44702289的博客
08-18 570
hive
jansi-1.18.jar
05-31
Jansi 是一个用于生成和解释 ANSI 转义序列的 Java 库。 org.fusesource.jansi/jansi/1.18/jansi-1.18.jar
Hadoop概念以及架构介绍
damokelisijian866的博客
05-06 4272
Hadoop入门介绍入门学习
windows安装hbase
经验分享
09-24 3433
1、安装JDK1.8已安装并配置好环境变量 2、下载HBase 从官网上下载HBase1.2.6安装包，地址：http://archive.apache.org/dist/hbase/，下载hbase-1.2.6-bin.tar.gz，解压缩到D:\software\hadoop\hbase-1.2.6 3、下载hadoop-common-2.2.0-bin-master hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2...
【项目实战】在win10上安装配置Hadoop的环境变量
本本本添哥
05-09 2543
在win10操作系统上，运行Hadoop以及其相关依赖包（比如Hbase依赖包）时，我遇到的情况是，我需要使用SpringBoot+Phoenix的组合去连接Hbase。这往往是需要在本机（Windows 10 ）上安装配置 Hadoop 环境变量才能够得到返回值的。以下是具体的安装配置 Hadoop 环境变量的步骤。
Windows下安装HBase
tttzzzqqq2018的博客
07-29 4117
HBase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
【在Windows 10下的Docker Desktop安装Hbase, 并使用SpringBoot进行连接】
weixin_52785320的博客
05-07 2943
在Windows 10下的Docker DeskTop安装Hbase, 并使用SpringBoot进行连接Hbase的小栗子
HBase Windows 安装
BlueProtocolBlog
12-07 4320
在安装HBase之前，我们需要先安装JDK和Hadoop，具体JDK和Hadoop的安装我前面已经做过了，需要的话，请看我的另一篇博客：Hadoop Windows 安装 还是那句话，在安装HBase之前，我们需要搞清楚HBase、Hadoop和Java之间版本的对应关系：我们具体可以看Apache官网：HBase、Hadoop和Java之间版本关系 由于我的JDK版本为1.8和Hadoop版本为3.2.2，所以我这里下载HBase-2.4.10，现在给出Apache中Hbase所有版本下载：Hbas
windowshbase安装
07-25
在Windows上安装HBase，你可以按照以下步骤进行操作： 1. 首先，从Apache存档中下载HBase的适当版本\[1\]。确保下载的版本与你的Hadoop版本兼容。 2. 解压下载的HBase文件到你选择的目录中。 3. 设置环境变量。在Windows上，你需要设置JAVA_HOME、HADOOP_HOME和HBASE_HOME环境变量。将这些变量设置为你的Java、Hadoop和HBase安装目录的路径。 4. 将%HBASE_HOME%\bin和%HBASE_HOME%\conf添加到系统的PATH环境变量中，以便在任何位置都可以访问HBase的命令和配置文件。 5. 修改%HBASE_HOME%\conf\hbase-site.xml文件，添加必要的配置。根据你的需求，你可能需要指定绑定的IP地址和Hadoop服务地址\[2\]。 6. 如果你使用的是Hadoop集群，请确保Hadoop集群正常运行，并且Hadoop和HBase的版本兼容。 7. 启动HBase。在命令行中，进入%HBASE_HOME%\bin目录，运行以下命令启动HBase： ``` ./start-hbase.sh ``` 或者 ``` start-hbase.cmd ``` 这将启动HBase的各个组件。 请注意，以上步骤是基于Windows环境下的HBase安装过程\[3\]。确保按照你的具体环境和需求进行相应的调整。 #### 引用[.reference_title] - *1* *2* *3* [在Win10下配置hardoop和hbase](https://blog.csdn.net/godnew/article/details/124853625)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值