![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
独狐游清湖
学海无涯
展开
-
pyspark到mysql
1 先上整体代码import syssys.path.append('/data/gtair/tools/DWH')import pandas as pdfrom sqlalchemy import create_engineengine = create_engine('mysql+pymysql://edu_ws:QbvkrBHKXO@chb2gc-pd-edu-dws.mysql.rds.aliyuncs.com:3306/edu_platform')df_spark =ss.sql("原创 2021-09-28 15:58:48 · 248 阅读 · 0 评论 -
Hbase+Hive+Spark整合
1 环境部署:ambarihivehbasespark2 hive创建hbase映射表(使用hbase目的是为了解决hive的数据更新弊端,做hive映射是为了使用hive -e和sparksql计算数据更便捷 )+----------------------------------------------------+| CREATE EXTERNAL TABLE `ods.ods_qu_type_config_test`( || `id` string COMMENT '',原创 2021-04-07 21:33:35 · 998 阅读 · 1 评论 -
Kafka+SparkStreaming+Mysql实践
1 场景描述1.1需求描述:教学平台产品需要实时更新具体课程浏览量。1.2数据处理:埋点数据到达kafka以后、流计算根据主键更新mysql的数据。1.3工程结构图2 主代码package RealOnlineimport java.sql.{DriverManager, ResultSet}import com.alibaba.fastjson.JSONimport org.apache.kafka.clients.consumer.ConsumerRecordimport org原创 2021-02-24 16:53:40 · 324 阅读 · 0 评论