- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Spark Sql实战--合并数据
数据的合并概述本文介绍如何通过spark sql对数据进行各种的合并操作，包括：列合并，行合并，相同key的合并等等。在实际的数据处理场景中，数据的合并操作非常常用，这里介绍如何通过spark sql来完成常用的合并操作。数据准备例子数据准备以下数据：name,address,age,id,timedavid,shenzhen,31,1,201903eason,shenzhen,27,2,201904jarry,wuhan,35,3,201904aarry2,wuhan1,34,4
2020-05-23 14:46:08
7886
原创 spark sql实战—拆分数据
拆分的数据有时在进行数据时我们需要把一列数据分割成多列数据，把一个字段值，分割成多个值。本节介绍如何通过spark sql提供的函数来进行数据的分割。1. 数据拆分概述数据拆分操作在进行数据处理时，通常我们需要对数据进行拆分。比如：把一列拆分成多行，多列，把一行拆分成多行，多列等。在spark-sql中提供了多个函数用来进行数据拆分。数据拆分的函数splitexplodepostexplodesubstring2. 数据的拆分2.1 通过explode系列函数进行拆分把一个数
2020-05-23 14:44:40
10686
原创 深入浅出RDD Persist和Cache
深入说明RDD的persist和cache的实现和应用。并结合RDD的计算和一个具体的例子来说明persist和cache的使用场景。
2020-05-23 14:40:30
412
unix network programing
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人