![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 75
霸道流氓气质
每一个优秀的人,都有一段沉默的时光,(项目合作请留言)是那段时光,不抱怨不诉苦,最后渡过了这段感动自己的日子。
展开
-
HBase Java API操作数据库
场景CentOS7上搭建Hadoop集群(入门级):https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883:HBase在CentOS上分布集群安装:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119511593在上面将开发环境搭建起来,要想操作操作数据库除了使用HBase ShellHBase Shell常用的命令:https:/原创 2021-08-17 13:12:21 · 434 阅读 · 0 评论 -
Hbase报错ERROR: KeeperErrorCode = NoNode for /hbase/master
场景CentOS7上搭建Hadoop集群(入门级):https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883:HBase在CentOS上分布集群安装:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119511593在上面搭建Hadoop和Hbase的基础上,三台服务器全部重启了。再执行hbase的命令时提示:ERROR: Keeper原创 2021-08-16 19:35:26 · 1334 阅读 · 0 评论 -
HBase Java API 创建表时一直卡住
场景HBase在CentOS上分布集群安装:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119511593在上面搭建起来HBase的分布集群的环境下。使用JAVA API连接HBASE进行建表操作。但是运行之后一直就是卡住不动,也不报错,也不运行结束。注:博客:https://blog.csdn.net/badao_liumang_qizhi关注公众号霸道的程序猿获取编程相关电子书、教程推送与免费下载。原创 2021-08-09 19:33:24 · 776 阅读 · 0 评论 -
HBase Shell常用的命令
场景HBase在CentOS上分布集群安装:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119511593在上面搭建起来HBase的分布集群环境后,看下HBase Shell的常用命令。前面我们已经用到HBase Shell命令:status和exit。HBase shell命令又分为几个组,输入:help "cmd",可查看所有分组及其包含的命令,如果需要了解具体命令的用法,将参数“cmd”换成具体命令即可,如原创 2021-08-08 16:47:55 · 847 阅读 · 0 评论 -
HBase在CentOS上分布集群安装
场景CentOS7上搭建Hadoop集群(入门级):https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883在上面搭建起来Hadoop的环境后,进行HBase的安装。HBase HBase是一个基于HDFS的面向列的分布式数据库,源于Google的BigTable论文。HDFS基于流式数据访问,低时间延迟的数据访问并不适合在HDFS上运行。所以,如果需要实时地随机访问超大规模数据集,使用HBase...原创 2021-08-08 13:33:05 · 788 阅读 · 0 评论 -
MapReduce Java API-使用Partitioner实现输出到多个文件
场景MapReduce Java API-多输入路径方式:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119453275在上面的基础上,怎样用Partitioner的方式实现将学生的成绩数据分段输出到不同的文件。例如分为三个成绩段:小于60分大于等于60分小于等于80分大于80分Partitioner1、Partion发生在Map阶段的最后,会先调用job.setPartitionerClass对原创 2021-08-06 19:25:12 · 466 阅读 · 0 评论 -
MapReduce Java API实例-排序
场景MapReduce Java API实例-统计单词出现频率:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119410169上面进行项目环境搭建的基础上。怎样实现对下面这组数据进行排序注:博客:https://blog.csdn.net/badao_liumang_qizhi关注公众号霸道的程序猿获取编程相关电子书、教程推送与免费下载。实现输入数据格式为每行有一数值,通过MapRed.原创 2021-08-05 18:26:42 · 469 阅读 · 0 评论 -
MapReduce Java API实例-统计平均成绩
场景MapReduce Java API实例-统计单词出现频率:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119410169在上面对单个txt文件进行统计的基础上,Mapreduce也是支持文件夹下多个文件处理的。统计学生各科平均成绩,每科成绩为一个文件。在Map阶段和上面统计单次频率差不多,然后在Reduce阶段求出总和后,除以科目数,并将输出value的数据类型设置为FloatWritable即可。新建原创 2021-08-05 16:38:49 · 1696 阅读 · 0 评论 -
MapReduce Java API实例-统计出现过的单词
场景MapReduce Java API实例-统计单词出现频率:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119410169在上面是统计出现过的单词以及出现的次数。如果只是从中统计出现过的单词,即类似于求单词集合的并集的效果。注:博客:https://blog.csdn.net/badao_liumang_qizhi关注公众号霸道的程序猿获取编程相关电子书、教程推送与免费下载。实现与统计单词频率相原创 2021-08-05 10:59:14 · 219 阅读 · 0 评论 -
MapReduce Java API实例-统计单词出现频率
场景Windows下使用Java API操作HDFS的常用方法:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119382108在上面使用Java API操作HDFS已经配置开发环境的基础上。使用Java API操作Mapreduce统计单次出现的次数。这里Hadoop集群搭建的是Hadoop2.8.0,所以新建Maven项目并引入依赖 <!-- https://mvnrepository.c...原创 2021-08-05 10:15:36 · 936 阅读 · 0 评论 -
Windows下使用Java API操作HDFS的常用方法
场景Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119379055在上面将Hadoop的开发环境搭建起来之后,使用Java API 简单输出了文件目录。那么对应HDFS的常用文件的操作还有哪些。注:博客:https://blog.csdn.net/badao_liumang_qizhi关注公众号霸道的程序猿获取编程相关电子原创 2021-08-04 13:37:39 · 727 阅读 · 0 评论 -
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS
场景HDFS的访问方式之HDFS shell的常用命令:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119351218在上面使用HDFS shell的方式去访问HDFS。那么怎么使用Java API的方式去操作HDFS。注:博客:https://blog.csdn.net/badao_liumang_qizhi关注公众号霸道的程序猿获取编程相关电子书、教程推送与免费下载。实现CentOS7上搭建Ha原创 2021-08-04 10:50:58 · 1839 阅读 · 1 评论 -
HDFS的访问方式之HDFS shell的常用命令
场景CentOS7上搭建Hadoop集群(入门级):https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883在上面搭建起来Hadoop集群的基础上,通过HDFS shell的方式访问HDFS的常用命令。 HDFS的访问方式有两种:一种是HDFS shell,一种是Java API方式。HDFS shell命令应使用hadoop fs或hdfs dfs(其中官网建议使用hdfs dfs方式访问)。所有的HDF...原创 2021-08-03 16:26:38 · 2538 阅读 · 0 评论 -
CentOS7上搭建Hadoop集群(入门级)
场景Hadoop Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架,支持在商品硬件构建的大型集群上运行应用程序。Hadoop是根据Google公司发表的MapReduce和GFS论文自行开发而成的。 Hadoop框架透明地为应用提供可靠性和数据移动,它实现了名为MapReduce的编程范式:应用程序被切分成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行。此外,Hadoop还提供了分布式文件系统,用以存储所有...原创 2021-08-02 23:02:56 · 3406 阅读 · 0 评论