通过PySpark访问Hbase并转成DataFrame

最新推荐文章于 2021-07-27 16:37:53 发布
最新推荐文章于 2021-07-27 16:37:53 发布
阅读量4.4k 收藏 8
点赞数 1
分类专栏： Hbase 文章标签： PySpark Hbase Hive Spark Sql DataFrame
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hchzhao_1985/article/details/82717949
版权
介绍PySpark访问Hbase的两种方法，一种是通过newAPIHadoopRDD，读取Hbase为RDD，并转成DataFrame，另一种是在Hive里建立Hbase的外部表，然后通过Spark Sql读取一、通过newAPIHadoopRDD读取#spark连接hbase，读取RDD数据spark = SparkSession.builder.master("yarn-clien...
摘要由CSDN通过智能技术生成

介绍PySpark访问Hbase的两种方法，一种是通过newAPIHadoopRDD，读取Hbase为RDD，并转成DataFrame，另一种是在Hive里建立Hbase的外部表，然后通过Spark Sql读取

一、通过newAPIHadoopRDD读取

#spark连接hbase，读取RDD数据

spark = SparkSession.builder.master("yarn-client").appName("hbase_test").getOrCreate()

hbaseconf = { "hbase.zookeeper.quorum":'10.18.105.15',"hbase.mapreduce.inputtable":"table_name",

                      "hbase.mapreduce.scan.row.start":"***", "hbase.mapreduce.scan.row.stop":"***"}

keyConv = "org.apache.spark.examples.pythonconverter

最低0.47元/天 解锁文章
IoT Miner
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
pyspark RDD数据的读取与保存
littlely_ll的博客
10-03 5174
数据读取 hadoopFile Parameters: path – path to Hadoop file inputFormatClass – fully qualified classname of Hadoop InputFormat (e.g. “org.apache.hadoop.mapred.TextInputFormat”) keyClass – fully qualified ...
pyspark 读取 hbase
hj1993的博客
05-12 997
本文推荐两种读写 HBase 的方式：1、相关依赖：将 的 目录下的一些jar文件拷贝到Spark中，这些都是编程时需要引入的jar包，需要拷贝的jar文件包括： 在 目录中新建一个目录 ，并将 拷贝进去： 2、修改 文件：设置 的 文件，告诉Spark可以在哪个路径下找到HBase相关的jar文件，命令如下： 1.2 读取 HBase 1.3 向 HBase 写入数据 2. happybase + Thrift 服务读写 HBase 2.1 依赖安装 由于需要安装第三方库 ，所以需要
大数据系列之PySpark读写外部数据库MySQL
牧羊人的方向
04-26 2109
本文主要介绍Spark通过PyMySQL和API算子对外部数据库MySQL和HBASE的读写操作
pyspark连接hbase的三种方式
sunseaxhj的博客
06-08 3459
第一种方式 通过thrift接口，这种方式是最简单的，但是访问速度慢，而且thrift接口socket是由超时的 用Python操作HBase之HBase-Thrift 通过happybase增强thrift接口 安装happyhbase 安装过程失败，尝试修正方法,centos7 yum install python-devel 安装happybase也失败了。看了只有使用原生的thrift接口...
python中，用pyspark读取Hbase数据，并转换为dataframe格式
u011412768的博客
06-23 6237
需要完成的关键三个点分别是，设置好连接spark的配置，通过spark从hbase中将数据读进来为rdd格式，然后将rdd格式的数据转换成dataframe的格式。 1、首先需要设置pyspark连接spark的配置，spark连接有sparkcontext和sparksession这两种方式，同时这两种方式之间可以互相转换，连接代码如下： （1）通过SparkConf和Spa...
PySpark基于SHC框架读取HBase数据并转成DataFrame
冬哥不是东哥的博客
04-27 773
一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下 二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去 三、重启集群 四、代码 #/usr/bin/python #-*- coding:utf-...
python通过thrift访问hbase.docx
11-25
"Python 通过 Thrift 访问 HBase" 在大数据时代，HBase 作为一个分布式的、面向列的 NoSQL 数据库，广泛应用于大规模数据存储和处理中。Python 作为一门流行的编程语言，也提供了多种方式来访问 HBase。其中，...
java-hbase-phoenix:通过Phoenix访问HBase
05-18
通过Phoenix和Java访问HBase 该存储库是有关如何通过Phoenix和Java访问HBase并执行CRUD操作的简单示例。 由于我在HBase的设置上使用伪分布式模式，因此需要hadoop和zookeeper。 如果您的HBase设置是独立的，则不需要...
基于HBase的细粒度访问控制方法研究
04-30
该方法通过修改优化HBase源码，扩展访问控制权限、重写访问控制器达到细粒度访问控制的目的。归纳出应用于HBase的RBAC模型，内建数据库角色以解决权限扩展后细粒度权限管理难度增大的问题。通过设计实验测试用例，...
spark-hbase-ingestion:Spark HBase使用DataFrame进行读写
05-17
使用数据框的spark-hbase-ingestion / ** 转换记录以插入HBase的方法 @param记录 @param cf列族 @返回 */ def toHbaseRecords（记录：Array [（String，Array [（String，String）]）]，cf：String）：RDD [...
pyspark使用hbase详解
zll_1234的博客
07-27 1957
pyspark使用hbase详解 一、测试代码： def write2hbase(): from pyspark.sql import SparkSession from pyspark import SparkContext, SparkConf spark = SparkSession.builder.appName("nlp").getOrCreate() # 创建spark对象 print('spark对象已创建') host = 'emr1:2181,e
Pyspark访问Hbase
weixin_30670151的博客
08-11 417
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/7347167.html 转载请注明出处 记录自己最近抽空折腾虚拟机环境时用spark2.0的pyspark访问Hbase1.2时遇到的问题及解决过程. 连接准备 快速用pyspark访问Hbase中的表进行测试，代码如下(注意，其中的host和inputtable是已经定义好的主机和表名变量) spar...
外部jar包_大数据系列之PySpark读写外部数据库
weixin_39942451的博客
12-20 147
本文以MySQL和HBASE为例，简要介绍Spark通过PyMySQL和HadoopAPI算子对外部数据库的读写操作1、PySpark读写MySQLMySQL环境准备参考“数据库系列之MySQL主从复制集群部署”部分1.1 PyMySQL和MySQLDB模块PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，Python2中则使用mysqldb，目前在Python...
【Spark实战系列】spark 读取 hbase 数据(newAPIHadoopRDD方式)
JasonLee实时计算
04-09 6518
用spark读取hbase数据的方法有很多种,今天就用spark内置的方法newAPIHadoopRDD来实现了一个简单的demo,代码非常简单,就不加注释了. spark写入hbase的可以看之前的两篇文章https://blog.csdn.net/xianpanjia4616/article/details/85301998,https://blog.csdn.net/xianpanjia...
Pyspark以DataFrame格式读写Hbase
w271255278的专栏
11-11 1600
Pyspark以DataFrame格式读写Hbase 本文代码参考了__miss的博客，特别感谢，原文地址如下 链接:https://blog.csdn.net/u011412768/article/details/93404921 我使用的环境：CDH集群，资源监控使用的yarn, spark2.3，hbase1.6 。 读写方式：Hbase默认API 默认环境大家都已配置好。代码可以...
pyspark 操作HBase工具类
最新发布
11-22
根据提供的引用内容，我们可以得知HBase是一个分布式的、面向列的开源数据库，而Pyspark是一个基于Python的Spark API。Pyspark可以通过HBase提供的API来操作HBase数据库。下面是一个Pyspark操作HBase的工具类的例子： ```python import happybase class HBaseUtils: def __init__(self, host, port, table_name): self.host = host self.port = port self.table_name = table_name self.connection = happybase.Connection(host=self.host, port=self.port) self.table = self.connection.table(self.table_name) def put(self, row_key, data): self.table.put(row_key, data) def get(self, row_key): return self.table.row(row_key) def scan(self, row_start=None, row_stop=None, row_prefix=None, columns=None): return self.table.scan(row_start=row_start, row_stop=row_stop, row_prefix=row_prefix, columns=columns) def delete(self, row_key): self.table.delete(row_key) def close(self): self.connection.close() ``` 上述代码中，我们使用了happybase库来连接HBase数据库。在HBaseUtils类中，我们定义了put、get、scan和delete等方法来操作HBase数据库。其中，put方法用于插入数据，get方法用于获取指定行的数据，scan方法用于扫描整个表或指定行的数据，delete方法用于删除指定行的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值