大数据
文章平均质量分 79
鱼遇雨愈愉
有趣的技术要开心的探索。
展开
-
spark 写入dataframe到hbase
spark 写入dataframe到hbase import org.apache.spark.sql.SparkSession import org.apache.hadoop.mapreduce.Job import org.apache.hadoop.hbase.util.Bytes import org.apache.hadoop.conf.Configuration import org...原创 2019-10-09 11:47:59 · 732 阅读 · 0 评论 -
Spark(2.4.0) streaming 写入数据到hbase
Spark streaming写入数据到hbase //Spark streaming写入数据到hbase //改进方案,按照官方文档修改,目前的写入方案是典型的官方文档中第一类错误做法,每个RDD都要重复建立链接;在驱动程序中建立链接,无法序列化后发送到worker //目前能正常运行 import org.apache.kafka.common.serialization.{StringDe...原创 2019-10-09 14:40:31 · 500 阅读 · 1 评论 -
Spark读写mysql
Spark读写Mysql 需要下载对应版本的mysql-connector-java-5.1.40.jar包,放入spark的jars目录下。 代码: 1.读mysql val jdbcDF=spark.read.format("jdbc") .option("url","jdbc:mysql://192.168.217.129:3306/test") .option("driver","com....原创 2019-10-10 16:18:37 · 191 阅读 · 0 评论 -
spark streaming 处理kafka数据并写入mysql
spark streaming 从kafka读取数据,将流处理结果写入mysql //spark streaming 从kafka读取数据,将流处理结果写入mysql import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeseriali...原创 2019-10-10 16:24:30 · 1333 阅读 · 1 评论