- 博客(4)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark写入数据到Hbase（下）解决scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
环境配置：Scala:2.11.12（看上篇，原本是2.12.1）Spark:2.4.4Hbase:2.2.3前言：上一篇没报错，后来改动了一下，就报错了，这个错是版本的问题，而且让我十分疑惑，所以有了下篇，好像也没啥人看，随便写写吧就????代码：先上代码import java.util.Dateimport org.apache.hadoop.hbase.client.{Put, Result}import org.apache.hadoop.hbase.io.Immutable
2020-05-12 16:12:14
2498
原创 Spark写入数据到Hbase（上）
环境配置：Scala:2.12.1Spark:2.4.4Hbase:2.2.3前言：前面有篇文章我使用了pyspark，弄得我很累，感觉python开发确实没那么好，看了些网上的文章和问了下朋友决定还是学学使用scala。（可以看看这个，我觉得挺有道理的.）环境：因为我也是第一次搞scala，如果你们也是的话，可以参考一下：windows上 IntelliJ IDEA安装scal...
2020-05-07 16:55:56
974
原创 PySpark写入数据到Hbase的辛酸经历
环境配置：Python:3.7.4Spark:2.4.4Hbase:2.2.3前言：这个真的折磨了我好久（中途还接到需求，断断续续弄了好久，多久就不告诉你们了，免得你们笑我菜），真的辛酸。里面我的做法肯定有很多漏洞，而且还没完全解决，我会持续更新。另外，各位大神，如果友好的建议，评论区提点一下，万分感谢。另外，本篇可能会有点长，不喜勿喷。。。。数据格式：一天一个压缩包（ZIP）...
2020-05-07 16:15:08
3129
1
原创 读取TXT文件写入数据到Hbase
环境配置：Python:3.7.4Hbase:2.2.3数据格式：一天一个压缩包（ZIP），然后里面都是很多个TXT文件，分隔符是 “|” ，每个TXT文件大概是9000条数据这样。我尝试使用了两种方法：尝试一：shell命令导入（也可以写成脚本）我直接上命令好了，这个百度就有：./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv...
2020-05-07 15:26:02
2189
1
shc-core-1.1.1-2.1-s_2.11.jar
2020-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人