![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 72
一溪云~
这个作者很懒,什么都没留下…
展开
-
Spark整合Hive过程及遇到的问题
Spark整合Hive过程及遇到的问题一、前置步骤安装MySQL,创建用户(当然也可以直接用root用户)并授权CREATE USER 'bigdata'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123568' WITH GRANT OP...原创 2018-10-18 20:23:26 · 1467 阅读 · 1 评论 -
Spark小练习——求各科老师最受欢迎的TopN
Spark小练习——求各科老师最受欢迎的TopN 【注】本文参考自小牛学堂学习视频Spark小练习——求各科老师最受欢迎的TopN数据格式:http://bigdata.edu360.cn/laozhang1.数据切分val func=(line:String)=>{ val index=line.lastIndexOf("/") val teacher=l...原创 2018-10-18 21:35:29 · 846 阅读 · 0 评论 -
RDD基础
RDD基础一、RDD基本特征1.RDD是一个基本的抽象,操作RDD就像操作本地集合一样,降低了编程的复杂度。 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark。弹性的 可恢复的 分布式的 数据...原创 2018-10-09 21:00:13 · 240 阅读 · 0 评论 -
RDD的转化与行为
一、基本的RDD操作1.RDD的转化操作表1-1:对数据为{1,2,3,3}的RDD进行基本的转化操作 函数 目的 实例 结果 map() 将函数应用于RD'D中的每个元素 rdd.map(x=>x+1) {2,3,4,4}...原创 2018-10-09 21:17:08 · 399 阅读 · 0 评论