pyspark
铲子挖数据
这个作者很懒,什么都没留下…
展开
-
PySpark写入数据到Hbase的辛酸经历
环境配置:Python:3.7.4Spark:2.4.4Hbase:2.2.3前言:这个真的折磨了我好久(中途还接到需求,断断续续弄了好久,多久就不告诉你们了,免得你们笑我菜),真的辛酸。里面我的做法肯定有很多漏洞,而且还没完全解决,我会持续更新。另外,各位大神,如果友好的建议,评论区提点一下,万分感谢。另外,本篇可能会有点长,不喜勿喷。。。。数据格式:一天一个压缩包(ZIP)...原创 2020-05-07 16:15:08 · 3140 阅读 · 1 评论 -
pyspark连接mysql读取数据、写入数据(四种模式)、写入数据模式的调优
pyspark连接mysql读取数据环境:mysql 5.7Spark 2.4.4连接用的jar包:mysql-connector-java-8.0.17.jar这个jar包我用的是配置hive的时候,配置用的那个jar包,和其他文章写的好像不太一样,但是我的能用。另外有些文章写需要配置spark-env.sh,加上SPARK_CLASSPATH的配置指向这个jar包位置,但是我也是没配...原创 2019-10-29 10:03:21 · 5771 阅读 · 4 评论