- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scala递归的方法快速解析Json数据
scala递归的方法快速解析Json数据思路：既然可以得到keyset() ，为什么不根据keyset去进行遍历，拿到所有的数据？主要难点在于我们不知道我们拿到的key去解析成一个对象还是去解析成一个字符串，我在这里用到了模式匹配，以下提供代码以供参考(Array类型的我没有处理，如果要处理根据业务去进行相应的处理)：import java.utilimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.spark.rdd
2021-09-29 17:24:49
413
原创 spark streaming案例总结
spark streaming案例总结1、读取N分钟前文件def readFile(bachTime: Int, big_time: Int, frame: DataFrame, template_path: String, spark: SparkSession) = { val nowMinute: String = getNowTime()._3 val yu_time = nowMinute.toInt % bachTime var file_df: Data
2021-09-14 10:44:10
341
原创 spark streaming 读取kafka数据
spark streaming 读取kafka数据1、程序入口 val spark = SparkSession.builder().appName(this.getClass.getName).master("local[*]").getOrCreate() import spark.implicits._ val sc = spark.sparkContext val ssc = new StreamingContext(spark.sparkContext, Minutes
2021-09-14 10:17:41
953
原创 git常用命令
git命令git pull 拉取更新 (第一步)git add 文件路径名称（第二步）git commit -m ‘提交文件注释说明’（第三步）git push 上传远程代码并合并（第四步）（02与03机器上再 spark下ak下：git pull (第五步)uk 流）备注 ： 第五步忽略，自用...
2021-09-03 16:06:54
106
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人