![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
麻辣灬小笼包
这个作者很懒,什么都没留下…
展开
-
kerberos认证的一些问题
【代码】kerberos认证的一些问题。原创 2023-08-14 14:48:57 · 123 阅读 · 0 评论 -
spark structed streaming + kerberos踩坑之旅
spark structed + kafka +kerberos 踩坑原创 2022-07-06 18:16:54 · 424 阅读 · 0 评论 -
同步Oracle到Hbase(sparksql+bulkLoad)
这里其实是一个实时的项目,接kafka,但是开始需要把oracle的数据同步到Hbase,之前的方案1.sqoop抽到hbase,特慢2.sqoop抽到hive,hive建Hbase映射表,再利用sparksql同步到hbase,也挺慢以下是现在的代码 private val logger = LoggerFactory.getLogger(jdbcTes.getClass) def main(args: Array[String]): Unit = { val spark原创 2021-07-09 14:55:53 · 507 阅读 · 1 评论 -
spark streaming整合kafka遇到的问题(一)
val query = lines .selectExpr("CAST(partition AS STRING) as partition","CAST(topic AS STRING) as topic","CAST(offset AS STRING) as offset","CAST(value AS STRING) as value") .filter($"value".contains("\"op\":\"ins\"") || $"value".contains("...原创 2021-04-27 15:06:00 · 190 阅读 · 0 评论 -
spark sql 中concat_ws和collect_set的使用
concat_ws和collect_set一般搭配使用官方释义collect_setcollect_set(expr) - Collects and returns a set of unique elements.concat_wsconcat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep.1.concat_ws: 用指定的字符连接字符串连接字符串:conca原创 2021-04-09 11:13:34 · 6645 阅读 · 0 评论 -
structed streaming 整合kafka idea本地测试时遇到的问题
structed streaming 整合kafka idea本地测试时遇到的问题代码如下 def main(args: Array[String]): Unit = { val sparksession = SparkSession .builder() .master("local[*]") .appName("demoPro") //.config("spark.debug.maxToStringFields", "200")原创 2021-03-23 13:41:12 · 234 阅读 · 0 评论