![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 85
spark
sf_www
这个作者很懒,什么都没留下…
展开
-
spark错误集锦
spark遇到的错误 持续更新原创 2024-04-26 09:51:23 · 1031 阅读 · 4 评论 -
spark sql使用jdbc读取数据库的过程
spark jdbc读取数据库过程原创 2023-07-21 16:06:19 · 1555 阅读 · 0 评论 -
spark 广播变量和累加器使用和原理
使用通常,当传递给Spark算子(比如map或reduce)函数在远程集群节点上执行时,它在函数中使用的所有变量的单独副本上工作。这些变量被复制到每台服务器上,对远程服务器上变量的任何更新都不会传播回driver程序。通常支持跨Tasks的读写共享变量性能比较低。也就是说如果在一个算子函数中使用到了某个外部的变量,那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量,那么这种方式是做不到的。然而,Spark确实为两种常见的使用模型提供原创 2022-02-28 15:12:58 · 1960 阅读 · 0 评论 -
spark sql读写hive的过程
Spark sql读写hive需要hive相关的配置,所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的,关键是源码分析过程,spark是如何与hive交互的。1. 代码调用读取hive代码原创 2022-01-17 16:13:01 · 8472 阅读 · 0 评论 -
spark sql往外部系统jdbc写数据的过程
1. 即调用dataset.write.format("jdbc").save保存数据到数据库dataset.write.mode("append").format("jdbc") .option("driver", "oracle.jdbc.driver.OracleDriver")) .option("url", "xxx") .option("dbtable", "tablen原创 2022-01-04 18:15:49 · 2522 阅读 · 3 评论 -
spark-submit传参json问题
假如现在向spark-submit传参json字符串:{"transformer":[{"funcName":"replacefbw","parameter":{"columnName":"ARTI","params":[3,0,"****"]}}]}json串会被我们程序里用到,这里涉及到的注意事项有,如果使用双引号包裹json串,则json里的双引号要用\来转义,即如下:spark-submit "{\"transformer\":[{\"funcName\":\"replacefbw\",\"原创 2021-08-09 18:06:23 · 1133 阅读 · 0 评论