spark RDD
wang972779876
这个作者很懒,什么都没留下…
展开
-
spark读写文件修改换行符
spark修改换行符、hadoop inputformat原创 2022-04-24 10:15:37 · 2102 阅读 · 0 评论 -
hudi 测试程序
向hudi中写入数据1.添加maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclie原创 2021-07-27 10:11:51 · 457 阅读 · 0 评论 -
spark 通过jdbc读取hive jdbc
1.通过spark提供的jdbc方式连接代码如下val spark = SparkSession.builder().master("local").getOrCreate() val rdd = spark.read.format("jdbc") .format("jdbc") .option("driver", "org.apache.hive.jdbc.HiveDriver") .option("url", "jdbc:hive2://hiveserv原创 2021-06-09 15:43:54 · 3978 阅读 · 0 评论 -
spark 自定义RDD,通过j2ssh远程读取文件
如何自定义RDD1.引用依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.原创 2021-06-04 17:26:29 · 206 阅读 · 1 评论