- 博客(3)
- 资源 (6)
- 收藏
- 关注
原创 Spark Sql实战--合并数据
数据的合并概述本文介绍如何通过spark sql对数据进行各种的合并操作,包括:列合并,行合并,相同key的合并等等。在实际的数据处理场景中,数据的合并操作非常常用,这里介绍如何通过spark sql来完成常用的合并操作。数据准备例子数据准备以下数据:name,address,age,id,timedavid,shenzhen,31,1,201903eason,shenzhen,27,2,201904jarry,wuhan,35,3,201904aarry2,wuhan1,34,4
2020-05-23 14:46:08 7945
原创 spark sql实战—拆分数据
拆分的数据有时在进行数据时我们需要把一列数据分割成多列数据,把一个字段值,分割成多个值。本节介绍如何通过spark sql提供的函数来进行数据的分割。1. 数据拆分概述数据拆分操作在进行数据处理时,通常我们需要对数据进行拆分。比如:把一列拆分成多行,多列,把一行拆分成多行,多列等。在spark-sql中提供了多个函数用来进行数据拆分。数据拆分的函数splitexplodepostexplodesubstring2. 数据的拆分2.1 通过explode系列函数进行拆分把一个数
2020-05-23 14:44:40 10784
原创 深入浅出RDD Persist和Cache
深入说明RDD的persist和cache的实现和应用。并结合RDD的计算和一个具体的例子来说明persist和cache的使用场景。
2020-05-23 14:40:30 418
unix network programing
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人