hbase
铲子挖数据
这个作者很懒,什么都没留下…
展开
-
Spark写入数据到Hbase(下)解决scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
环境配置:Scala:2.11.12(看上篇,原本是2.12.1)Spark:2.4.4Hbase:2.2.3前言:上一篇没报错,后来改动了一下,就报错了,这个错是版本的问题,而且让我十分疑惑,所以有了下篇,好像也没啥人看,随便写写吧就????代码:先上代码import java.util.Dateimport org.apache.hadoop.hbase.client.{Put, Result}import org.apache.hadoop.hbase.io.Immutable原创 2020-05-12 16:12:14 · 2504 阅读 · 0 评论 -
Spark写入数据到Hbase(上)
环境配置:Scala:2.12.1Spark:2.4.4Hbase:2.2.3前言:前面有篇文章我使用了pyspark,弄得我很累,感觉python开发确实没那么好,看了些网上的文章和问了下朋友决定还是学学使用scala。(可以看看这个,我觉得挺有道理的.)环境:因为我也是第一次搞scala,如果你们也是的话,可以参考一下:windows上 IntelliJ IDEA安装scal...原创 2020-05-07 16:55:56 · 980 阅读 · 0 评论 -
PySpark写入数据到Hbase的辛酸经历
环境配置:Python:3.7.4Spark:2.4.4Hbase:2.2.3前言:这个真的折磨了我好久(中途还接到需求,断断续续弄了好久,多久就不告诉你们了,免得你们笑我菜),真的辛酸。里面我的做法肯定有很多漏洞,而且还没完全解决,我会持续更新。另外,各位大神,如果友好的建议,评论区提点一下,万分感谢。另外,本篇可能会有点长,不喜勿喷。。。。数据格式:一天一个压缩包(ZIP)...原创 2020-05-07 16:15:08 · 3140 阅读 · 1 评论 -
读取TXT文件写入数据到Hbase
环境配置:Python:3.7.4Hbase:2.2.3数据格式:一天一个压缩包(ZIP),然后里面都是很多个TXT文件,分隔符是 “|” ,每个TXT文件大概是9000条数据这样。我尝试使用了两种方法:尝试一:shell命令导入(也可以写成脚本)我直接上命令好了,这个百度就有:./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv...原创 2020-05-07 15:26:02 · 2198 阅读 · 1 评论 -
Hbase 建表时报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
这个问题其实很简单,但是费了我一些时间解决,所以记录一下。昨天我打开hbase一建表就这样ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2806)...原创 2020-04-14 11:11:52 · 5045 阅读 · 8 评论 -
centos7下hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty等三个问题
hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty等三个问题文章背景最近在为公司搭建hadoop集群,安装hbase的时候出现了很多问题,下面写了我遇到的三个坑,如果你们按着我的步骤操作,应该是可以避开一些错误的(不能保证能行,但是可以参考),另外安装到sqoop的时候出现了标题的那个错误,并且当敲出hba...原创 2019-10-18 16:24:39 · 28133 阅读 · 35 评论