Spark
weixin_40100750
这个作者很懒,什么都没留下…
展开
-
***Spark2 Dataset行列操作和执行计划
Spark2 Dataset行列操作和执行计划 Dataset是一个强类型的特定领域的对象,这种对象可以函数式或者关系操作并行地转换。每个Dataset也有一个被称为一个DataFrame的类型化视图,这种DataFrame是Row类型的Dataset,即Dataset[Row] Dataset是“懒惰”的,只在执行行动操作时触发计算。本质上,数据集表示一个逻辑计划,该计划描述了产生数据所需的...原创 2020-05-07 22:39:29 · 142 阅读 · 0 评论 -
***Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...原创 2020-05-07 22:26:32 · 178 阅读 · 0 评论