windows 10(64位) 本地模式安装Hadoop和Hbase

参考

全部安装参考以下文档，可以直接看以下文档安装

windows环境搭建hadoop伪集群.
Windows 64位系统上搭建Hadoop伪分布式环境
Windows10安装搭建hadoop伪分布式-总结

安装准备

• 环境：Windows 10-X64 jdk1.8.0_102
• 安装方式：本地安装 - Hadoop版本：2.7.1
• Hbase版本：1.2.0

Hadoop安装过程

下载 从下载地址下载hadoop-2.7.1的包:hadoop-2.7.1.tar.gz

解压、配置变量

1. 这里以我自己做的为例子(以下D:\hadoop-2.7
   1用实际的hadoop文件夹为准)：解压到D盘根目录：D:\hadoop-2.7.1
2. 添加一个环境变量：key:HADOOP_HOME value:D:\hadoop-2.7.1
3. 在用户的PATH中追加一项：%HADOOP_HOME%

下载windows专用二进制文件和工具类

• 下载winutils.exe和hadoop.dll等文件。
• https://github.com/steveloughran/winutils 在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件，然后把文件拷贝到D:\hadoop-2.7.1\bin目录中去- 拷贝一份hadoop.dll到C:\Windows\System32

配置hadoop伪集群

• 在D:\hadoop-2.7.1\etc\hadoop下找到四个文件 ：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 并按要求配置这几个文件，配置参考链接https://www.jianshu.com/p/1e7e9a70262d
• 在前面的链接的基础上在Mapred-site.xml中加上这一行配置，启用ubertask，才能运行后面wordcount的例子，否则会报Job running in uber mode:false的错误，我也不知道为啥。参考What is the purpose of “uber mode” in hadoop?

格式化namenode并启动hadoop

1. 在cmd中执行命令: hdfs namenode -format
2. 到hadoop的sbin目录下执行start-all.cmd启动hadoop
3. 执行jps，查看预期进程是否启动完成，具体参见作者：风澈vio
4. 浏览器打开localhost:8088查看mapreduce任务，打开localhost:50070 -->Utilites -->Browse the file system查看hdfs文件
   

测试wordcount

任务参考

1. [https://blog.csdn.net/sheshouzuomeiyou/article/details/91383608]1. 在D盘新建一个txt文件t1.txt，里面填充你要统计的单词
2. 上传此文件到hdfs，详细命令见本节参考链接3. 在cmd中进入mapreduce文件夹，运行自带的wordcount程序，详细命令见本节参考链接
   作者：风澈vio链接：https://www.jianshu.com/p/1e7e9a70262d

Hbase安装过程

下载Hbase下载hbase，下载链接：https://pan.baidu.com/s/19beAaW-Xl-WaXghaBevZrw 密码：kjsr附官网链接，选择需要的版本下载即可(本文推荐1.2.0)：http://archive.apache.org/dist/hbase/下载完成后，解压。

配置相关文件和环境变量

• 解压完成后，找到hbase-1.2.0文件夹下的conf文件夹，然后找到“hbase-env.cmd”文件，编辑此文件，添加或者修改以下设置： - set HBASE_MANAGES_ZK=false //
• set JAVA_HOME=D:\java\jdk1.8.0_77 // 本机jdk安装地址
• set HBASE_CLASSPATH=D:\hbase\hbase-1.2.0\conf // 本机hbase conf 文件夹地址
• 在conf文件夹中，找到“hbase-site.xml”文件，编辑此文件，在configuration标签内添加配置，具体参见

启动hbase- cmd进入hbase文件夹的bin目录下，执行start-hbase命令，弹出命令框启动完成后，访问浏览器监控页 http://localhost:16010/master-status

• 在cmd命令行中输入hbase shell，执行各种命令，可以输入help来列出所有hbase支持的命令

执行hbase相关命令

1. help命令

2. 显示命名空间，有两个存表的空间。一个默认的一个hbase系统的。创建表时不带命名空间的名字，表会在默认的下面。可登陆监控页查询。
   

3. 创建一个用户表，包含两个列簇的，一个基本信息的列簇base_info,一个联系信息的列簇connect_info。并向表中插入信息。

4. 查询表中数据
   
   

5. 删除

6. 修改