spark源码阅读一-spark读写hbase代码分析

最新推荐文章于 2022-08-17 09:55:28 发布
最新推荐文章于 2022-08-17 09:55:28 发布
阅读量654 收藏 1
点赞数
分类专栏： 大数据 文章标签： hbase spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crackwl/article/details/76560583
版权
本文深入探讨了Spark如何通过newAPIHadoopRDD读取HBase数据，分析了TableInputFormat的分区逻辑，指出分区基于HBase的region，并讨论了数据写入HBase时saveAsNewAPIHadoopDataset的使用。
摘要由CSDN通过智能技术生成
1.读取hbase代码
val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
   classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],  
   classOf[org.apache.hadoop.hbase.client.Result])  
看看 newAPIHadoopRDD函数实现
def newAPIHadoopRDD[K, V, F <: NewInputFormat[K, V]](
    conf: Configuration = hadoopConfiguration,
    fClass: Class[F],
    kClass: Class[K],
    vClass: Class[V]): RDD[(K, V)] = withScope {
  assertNotStopped()

  // This is a hack to enforce loading hdfs-site.xml.   // See SPARK-11227 for details.   FileSystem. getLocal(conf)

  // Add necessary security credentials to the JobConf. Required to access secure HDFS.   val jconf = new JobConf(conf)
  SparkHadoopUtil. get.addCredentials(jconf)
最低0.47元/天 解锁文章
crackwl
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark源码阅读一-spark读写文件代码分析
David的专栏
08-01 2217
1.读取文件 从本地文件读取sparkcontext.textFile(“abc.txt”) 从hdfs文件读取sparkcontext.textFile("hdfs://s1:8020/user/hdfs/input”)
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
hbase-rdd：Spark RDD从HBase读取，写入和删除
Hbase架构和读写流程
weixin_30374009的博客
09-27 178
转载自：http://www.cnblogs.com/muzili-ykt/p/muzili_ykt.html 在HBase读写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们先来...
park将数据写入hbase以及从hbase读取数据
swing2008的专栏
02-06 1316
本文将介绍 1、Spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入Hbase 2、spark从hbase中读取数据并转化为RDD 操作方式为在eclipse本地运行spark连接到远程的hbase。 Java版本：1.7.0 Scala版本：2.10.4 zookeeper版本：3.4.5（禁用了hbase自带zoo
Spark+Hbase 读取分片数据、深挖原理
mojolang
02-24 542
大猪见很多文章都写了Hbase如何设计rowkey避免热点问题，就连大猪的文章也写过这样的优化，但是只说到了优化的点上，那如何读取呢？刚才就有一位老朋友跟我说他的方案，他是做了16个预分区，然后就把16个分区的数据使用spark的union起来，组成16个RDD，牛批的孩子，看到他这么干，我得写篇文章出来探讨一下这个问题了。 Rowkey设计 在设计Hbase的rowkey的时候，我们往往会在高位上设置加上数字或者是Hash用来打散数据，特别是日志数据。 举个例子: 转存失败重新上传取消...
Spark读写Hbase示例代码
拱头的专栏
01-20 2564
Spark读写Hbase示例代码 写入Hbase def writeHbaseFromRDD (tableName:String, columnFamily:String, column:String, rdd:RDD[(String, String)]): Unit ={ val hbaseConf = HBaseConfiguration.create() //
shc-core-spark-2.3.0-hbase-2.1.0.jar
03-19
使用hortonworks的开源框架shc源码编译,适用于在cdh6.2.0环境下，pyspark2.4.0读写hbase2.1.0
spark-3.1.3-bin-without-hadoop.tgz
05-20
Spark SQL提供了一种SQL接口来操作数据，使得开发人员能够利用熟悉的SQL语法进行数据分析，同时支持DataFrame和Dataset API，增强了类型安全性和性能。 Spark Streaming则构建在RDD之上，通过微批处理实现对实时...
Spark 2.X 版本读写 Hbase 最佳实践
weixin_35242234的博客
11-02 544
Spark 读写 Hbase 响应的官方参考资料较少，最近正好在测试 Hbase，集成 Spark 时了解的下这方面知识，做一个简单总结，当前 Spark On Hbase 的驱动主要有两种实现，官方驱动和 hortonworks 的 shc。 hbase-connectors 纯官方驱动，以前是单独的项目，现在和 Kafka 驱动集成在一起了。优点是使用便捷，直接在 maven 中添加引用。一般情况无使用冲突。 但也有比较明显的缺陷： 使用起来较为复杂，需要自己构建 Hbase 数据结构，能找到的示例很
spark 优秀资源源码(个人整理)
08-21
里面包含很多spark源码（包括etl,kafka,hbase整合等）
基于分布式数据库的图像检索系统
06-25
DIRS: Distributed Image Retrieval System === 本项目实现了基于分布式数据库的图像检索系统。其中，TF-IDF作为相似度依据，MapReduce+HBase作为分布式框架。 集群配置 --- 4个节点：1个Master，3个Slave，均运行64位Centos系统 运行环境 --- Hadoop：2.7.3 Hbase：1.2.3 python 2.7.3 java 1.8.0 系统架构 --- 1. **分布式存储** 使用了HBase表存储图片信息，包括原始图片的路径、缩略图和图片的bovw(Bag of Visual Word)特征。 流程：图片 => sift特征点检测及描述符提取 => 特征点进行编码，获得图片的bovw特征向量 => 插入HBase 代码：insertTables.py, sift.py - HBase表 - ***dbinfo: { 'rowid': { 'file': [ 'path':(...), 'data':(...) ], 'feature': [ 'hist':(...), 'data':(...) ] } }*** 其中每个cell含义分别为: 'rowid':'file':'path' 原始图片路径 'rowid':'file':'data' 图片的缩略图（读写需使用pickle进行处理） 'rowid':'feature':'hist' 图片的bow特征 2. **分布式检索** 利用HBase提供的MapReduce接口，让'dbinfo'的所有条目与query计算tf-idf相似度，根据tf-idf值从小到大排序，结果取排在前面的若干数据。 流程：query => sift特征点检测及描述符提取 => vocabulary对特征点进行编码，获得图片的bovw特征向量 => 调用MapReduce程序(Java) => Map阶段: 'dbinfo'表的一个条目 -> 计算与query的相似度 -> (tfidf score, id) => Reduce阶段:(不需要) => 从hdfs中读取结果(MapReduce输出默认根据中间结果的Key值排序) => 从'dbinfo'中读取相应的图片信息，并输出结果 代码：queryMR.py, sift.py, SortDriver.java 3. **非分布式检索(做对比)** 利用倒排索引，获取query的候选集，然后从'dbinfo'中读取相应条目，在本地完成tfidf相似度计算以及排序。 代码：query.py 代码构成 --- 构建数据库 creatTables.py 创建数据库表 deleteTables.py 删除数据库表 insertTables.py 对图片进行特征提取，并将数据存入HBase中 视觉特征 sift.py 封装了sift特征提取常用操作 ransac.py，homograpy.py和warpy.py 用于特征点匹配 vocabulary.py 封装了视觉词典对象以及相关操作 trainVoc.py 训练视觉词典 检索 searcher.py 非分布式检索的运行脚本，封装了一些基本操作，包括通过倒排索引获取候选列表，获取图像的特征 query.py 对searcher进行进一步封装，提供检索接口 queryMR.py 分布式检索的运行脚本，将query的特征写入q.dat文件，作为SortDriver输入 SortDriver.java MapReduce的运行程序，计算结果输出到hdfs的/output中 辅助 imtools.py 封装了常用的操作，例如生成路径列表 HBaseConfigure.py HBase配置
大数据Spark优化读取Hbase--region 提高并行数过程详细解析
a6984021的博客
12-17 1911
一. Hbase 的 region 我们先简单介绍下 Hbase 的 架构和 region ： 从物理集群的角度看，Hbase 集群中，由一个 Hmaster 管理多个 HRegionServer，其中每个 HRegionServer 都对应一台物理机器，一台 HRegionServer 服务器上又可以有多个 Hregion（以下简称 region）。要读取一个数据的时候，首先要先找到存放这个...
HBase之get方法
web13116256725的博客
08-17 3224
HTable类中提供了get()方法，同时还有与之对应的Get类。get方法分为两类：一类是一次获取一行数据；另一类是一次获取多行数据。
HBase-1.2.1之Get操作源码学习
mm_bit的博客
05-30 1537
最近在学习HBase的源码，主要是学习HRegionServer部分。从Get请求入手，找到了主要的实现类：Get，HTable，ConnectionManager等。具体如下： Get操作：使用Java API读取数据： 1、  实例化Configuration类 Configuration conf = HbaseConfiguration.create(); 在Hba
python高效处理文件_Python使用Pandas高效处理测试数据
weixin_39880150的博客
11-24 260
转自：https://www.cnblogs.com/keyou1/p/10948796.html一、思考1.Pandas是什么？功能极其强大的数据分析库可以高效地操作各种数据集csv格式的文件Excel文件HTML文件XML格式的文件JSON格式的文件数据库操作2.经典面试题通过面试题引出主题，读者可以思考，如果你遇到这题，该如何解答呢？二、使用pandas来操作Excel文件1.安装a.通过P...
Spark Scala API读Hbase(带Kerberos安全认证)
qq_33286695的博客
03-26 1066
Spark Scala API读Hbase(带Kerberos安全认证) 各个组件版本 <!-- Languages --> <java.version>1.8</java.version> <scala.version>2.11.8</scala.version> <scala.binary.version>2.11&lt...
Spark读写Hbase的二种方式对比
小东升职记
06-05 201
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处
大数据-spark：spark操作HBase数据库
sxj的专栏
10-06 748
一、从HBase数据库读 1、首先向数据库中插入数据，插入方法请看：https://blog.csdn.net/sunxiaoju/article/details/101908533 2、然后打开idea创建maven项目，填写pom.xml，pom.xml内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmln...
spark-读写hbase，sparkstreaming操作，spark的hbase相关操作
最新发布
03-16
HBase Connector提供了两种方式来读写HBase数据，一种是使用RDD API，另一种是使用DataFrame API。 Spark Streaming可以通过HBase Connector来操作HBase数据。可以使用HBase Streaming API来将流数据写入HBase表中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值