HBase
我就算饿死也不做程序员
欢迎关注同名公众号:"我就算饿死也不做程序员"。
交个朋友,一起交流,一起学习,一起进步。
展开
-
Spark通过Scan的API读取HBase表限定范围的数据
在这篇博客中Spark对HBase进行数据的读写操作,我通过代码说明如何通过Spark对HBase表的数据进行读取并转化为RDD。但是,这种方式只能是进行全表读取,那如果我们只想读取一部分的数据,应该如何实现呢?通过hbase shell中的scan方法的API,设置起始行和结束行,对限定范围的数据进行扫描转化为RDDimport java.text.SimpleDateFormat;i...原创 2019-10-22 20:58:59 · 2458 阅读 · 0 评论 -
HBase shell命令行操作大全(持续更新中)
创建表create 'tbale_name', 'column_family_1', 'column_family_2'查看所有表list插入数据put 'table_name', 'id', 'column_family_1:column_name', 'value'put 'table_name', 'id', 'column_family_1', 'column_name', ...原创 2019-07-08 20:44:16 · 221 阅读 · 0 评论 -
spark+hbase+kafka+zookeeper集群一条龙搭建教程
hadoop集群搭建教程:Hadoop集群搭建教程(一)Hadoop集群搭建教程(二)Spark集群官网下载:spark官网这里要注意spark兼容的hadoop版本接着解压:tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz先在你的master节点进行spark的安装和配置,然后直接拷贝到其他节点就可以了。cd /usr/loca/spark/co...原创 2019-07-27 14:36:27 · 1072 阅读 · 0 评论 -
spark读取HBase数据的一次坑爹经历
首先,在这里说明一下,我遇到的错误如下:org.apache.hadoop.hbase.DoNotRetryIOException:/192.168.x.x:16020 is unable to read call parameter from client 10.47.x.x然后,spark读取HBase...原创 2019-09-29 21:21:20 · 1329 阅读 · 2 评论