![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 94
Evan2OO1
大数据开发工程师
展开
-
Spark离线开发指南(详细版)
API:2.1.2–获取分区数API:API:sparkcontext.textFile(参数1,参数2)参数1:必填,文件路径支持本地,支持HDFS,也支持一些比如S3协议参数2:可选,表示最小分区数量注意:参数2话语权不足,spark有自己的判断,在它的允许的范围内,参数2才有效果,超出spark允许的范围,参数2就失效读取本地文件:参数2的用法:读取HDFS文件:wholeTextFileAPI:返回结果为二元组的形式展示, 前一个值是文件路径, 后一个值为文件内容分类:转换算子:动原创 2024-06-25 17:05:19 · 778 阅读 · 0 评论 -
SparkML机器学习
SparkML机器学习原创 2023-08-26 17:31:07 · 811 阅读 · 0 评论