- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 scala递归的方法快速解析Json数据
scala递归的方法快速解析Json数据思路:既然可以得到keyset() ,为什么不根据keyset去进行遍历,拿到所有的数据?主要难点在于我们不知道我们拿到的key去解析成一个对象还是去解析成一个字符串,我在这里用到了模式匹配,以下提供代码以供参考(Array类型的我没有处理,如果要处理根据业务去进行相应的处理):import java.utilimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.spark.rdd
2021-09-29 17:24:49 415
原创 spark streaming案例总结
spark streaming案例总结1、读取N分钟前文件def readFile(bachTime: Int, big_time: Int, frame: DataFrame, template_path: String, spark: SparkSession) = { val nowMinute: String = getNowTime()._3 val yu_time = nowMinute.toInt % bachTime var file_df: Data
2021-09-14 10:44:10 346
原创 spark streaming 读取kafka数据
spark streaming 读取kafka数据1、程序入口 val spark = SparkSession.builder().appName(this.getClass.getName).master("local[*]").getOrCreate() import spark.implicits._ val sc = spark.sparkContext val ssc = new StreamingContext(spark.sparkContext, Minutes
2021-09-14 10:17:41 955
原创 git常用命令
git命令git pull 拉取更新 (第一步)git add 文件路径名称(第二步)git commit -m ‘提交文件注释说明’(第三步)git push 上传远程代码并合并(第四步)(02与03机器上再 spark下ak下:git pull (第五步)uk 流)备注 : 第五步忽略,自用...
2021-09-03 16:06:54 107
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人