- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark课程总结
自定义udf函数核心代码//1、创建SparkSession//2、构建数据源生成DataFrame//3、注册成表//4、实现自定义的UDF函数//小写转大写//大写转小写//4、把数据文件中的单词统一转换成大小写4、sparksql整合hive步骤1、需要把hive安装目录下的配置文件hive-site.xml, 拷贝到每一个spark安装目录下对应的conf文件夹中。
2024-05-17 21:43:35
1528
5原创 什么是Scala语言和spark？
对于传统流处理中一次处理一条记录的方式而言，Spark Streaming 使用的是将流数据离散化处理（Discretized Streams），通过该处理方式能够进行秒级以下的数据批处理。经过延迟优化后，Spark 引擎对短任务（几十毫秒）能够进行批处理，并且可将结果输出至其他系统中。相比其他的处理引擎要么只专注于流处理，要么只负责批处理（仅提供需要外部实现的流处理API 接口），而Spark Streaming 最大的优势是提供的处理引擎和RDD 编程模型可以同时进行批处理与流处理。
2024-05-15 17:09:44
1515
原创 Visual Studio Code (VS Code)安装教程及相关拓展
下载并运行下载的安装程序即可。默认是英语，所以需要在打开。安装以后重启就是中文了。
2024-03-06 16:00:28
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人