- 博客(5)
- 收藏
- 关注
RSS订阅原创 项目经验之Spark算子容易混淆之updateStateByKey总结
算子1 updateStateByKey testDStream是DStream[(String, Long)]类型，下面是一个sparkStreaming代码片段 streamingContext.checkpoint("./provinceCityClickStat") testDStream.che...
2020-11-03 18:58:41
225
原创 项目经验之hive几个版本和改变
第一：0.14之后，满足ACID的表支持修改 1 hive版本需要在0.14以后 2 操作的表支持该表就必须支持ACID，而要支持ACID就要满足 1、表的存储格式必须是ORC（STORED AS ORC）； 2、表必须进行分桶（CLUSTERED BY (col_name, col_name, ...) INTO num_buckets BUCKETS）； 3、T...
2020-04-15 14:24:36
1247
原创 项目经验之hive日期处理函数的注意
1 hive中，日期处理很常见，需要特别注意的地方有： 1 date_format(参数,‘yyyy-MM’) ,date_add(参数,2) 等所有的类似函数，这里的参数只能这种格式’yyyy-mm-dd’的字符 串，否则就报错或是识别错误 例如 date_format(‘2019-01-19’,‘yyyy-MM’) :正确写法 date_format(‘2019-01’,‘y...
2020-04-08 13:04:47
342
原创 项目经验之Spark容易混淆算子reduceByKeyAndWindow总结
一：reduceByKeyAndWindow的使用 代码片段 ： val streamingContext = new StreamingContext(sparkSession.sparkContext,Seconds(1)) aaaDStream是DStream[(String, Long)]类型 ...
2020-03-19 16:04:18
323
原创 项目经验之maven依赖问题解决汇总
虽然是处女作，但话不多说，直奔主题。 问题描述： 当出现以下问题， 1 pom文件依赖报红同时idea右边边框dependencies目录里面报红 2pom文件依赖不报红同时idea右边边框dependencies目录里面报红 3 pom...
2019-11-21 16:07:50
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人