大数据
政zz
这个作者很懒,什么都没留下…
展开
-
Hadoop学习目录
转载:http://blog.fens.me/hadoop-family-roadmap/目录 Hadoop家族产品 Hadoop家族学习路线图 1. Hadoop家族产品 截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state...转载 2019-05-01 11:17:20 · 139 阅读 · 0 评论 -
SparkSql 常见使用
使用sparkSession代替sparkContext sparkSession读各种源: 读文件:val peopleDf = spark.read.textFile("E:\\07-hadoop\\01-spark\\sql\\people.txt") df转rdd : val peopleDs = peopleDf.rdd 将rdd变换为一行一行: val peopleRdd = p...原创 2019-09-19 11:16:02 · 192 阅读 · 0 评论 -
Spark相关变换函数
Spark-Rdd-Transform 函数相关注解 返回指向新rdd的指针,在rdd之间创建依赖关系。每个rdd都有计算函数和指向父RDD的指针。 map() //对每个元素进行变换,应用变换函数 //(T)=&g...转载 2019-09-23 14:39:00 · 353 阅读 · 0 评论