- 博客(3)
- 收藏
- 关注
RSS订阅原创 pyspark.sql之利用pivot实现行转列
简述使用pivot函数进行透视，透视过程中可以提供第二个参数来明确指定使用哪些数据项注意：pivot只能跟在groupby之后示例有如下数据df = spark.createDataFrame([("李明","语文",82),("李明","数学",90),("李明","英语",75) ,("陈凯","语文",71),("陈凯","数学",83),("陈凯","英语",66) ,("王莉","
2022-03-17 17:21:21
3432
原创 pyspark.sql之实现collect_list的排序
简述通过利用pyspark.sql.Window实现collect_list的排序示例有如下数据df.show()+----+-------+-----+|name|subject|score|+----+-------+-----+|李明| 语文| 82||李明| 数学| 90||李明| 英语| 75||陈凯| 语文| 71||陈凯| 数学| 83||陈凯| 英语| 66||王莉| 语文| 85||王莉| 数学|
2022-03-17 17:09:24
1930
原创 详解利用基于gensim的TF-IDF算法实现基于文本相似度的推荐算法
基于TF-IDF的文本相似度推荐算法简介开发环境TF-IDF的基本原理微型图书推荐案例欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章U...
2019-03-22 15:20:08
3223
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人