PySpark基于SHC框架读取MySQL数据转成DataFrame写入HBase

最新推荐文章于 2024-07-29 17:54:27 发布

冬哥不是东哥

最新推荐文章于 2024-07-29 17:54:27 发布

阅读量761

点赞数

文章标签： Spark HBase PySpark Python DataFrame

本文链接：https://blog.csdn.net/u014736152/article/details/89638030

版权

本文介绍了如何利用PySpark的SHC（HBase连接器）从MySQL数据库读取数据，转换为DataFrame，并将数据写入到HBase中。在过程中遇到的问题尚未找到解决方案，期待读者提供帮助。

摘要由CSDN通过智能技术生成

一、准备工作请参考本人之前的文章

二、代码

#/usr/bin/python
#-*- coding:utf-8 –*-

from pyspark import SparkContext
from pyspark.sql import SQLContext,HiveContext,SparkSession
from pyspark.sql.types import Row,StringType,StructField,StringType,IntegerType
from pyspark.sql.dataframe import DataFrame

sc = SparkContext(appName="pyspark_hbase")
sql_sc = SQLContext(sc)
jdbc_url_test = 'jdbc:mysql://192.168.****/xxx?' \
                'user=*******&' \
                'password=*******&' \
                'useUnicode=true&' \
                'characterEncoding=utf8&' \
                'TreatTinyAsBoolean=false&' \
                'tinyInt1isBit=false'
jdbc_driver = 'com.mysql.jdbc.Driver'
df_test_HBase = sql_sc.read.format('jdbc').options(url=jdbc_url_test,driver=jdbc_driver,dbtable='tes