scala
企鹅席地而坐
这个作者很懒,什么都没留下…
展开
-
sparkSQL练习,分析处理篮球运动员数据
题目:(1) 分析2016年 ①②③④ 属性 z-score 排名package zhimport org.apache.spark.sql.SparkSession/** * * @author smallheroic * @Date 2019-12-12 15:18 * */object homework1 { case class nba(Age:Int,...原创 2019-12-16 14:28:05 · 2669 阅读 · 1 评论 -
sparkcore练习_2,各种算子的练习
数据集http://grouplens.org/datasets/movielens/MovieLens 1M Dataset相关数据文件users.datUserID::Gender::Age::Occupation::Zip-codemovies.datMovieID::Title::Genresratings.datUserID::MovieID::Rating::Tim...原创 2019-12-12 22:11:26 · 362 阅读 · 0 评论 -
idea通过maven创建scala项目及编写spark
file->new project->maven->填写gva:配置maven版本,如果配置了镜像则读取自己的setting.xmlnext->finish!!! scala版本一定要对应改成自己安装的版本,dos模式:scala --version将自动生成的.scala文件删除:file->project structurespa...原创 2019-12-12 16:36:16 · 325 阅读 · 0 评论 -
解决rdd无法调用toDF及 value toDF is not a member of org.apache.spark.rdd.RDD[names]
编译代码object homework01 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("ch2homework01").setMaster("local[4]") val sc = new SparkContext(conf) val sp...原创 2019-12-10 13:58:41 · 1587 阅读 · 0 评论 -
spark scala读取文件选取特定列
spark scala读取文件选取特定列wordcount.txt:a,1c,2a,1选取最后一列//选取特定列.val data=sc.textFile("file:///E://table//wordcount.txt").flatMap(_.split("\n")) //按换行符分割文件,把文件分成一行行的.map{ line=> var splits=li...原创 2019-12-08 18:22:15 · 3432 阅读 · 0 评论 -
sparkcore练习_1,RDD转化为RDD[LabelPoint]和map-side-join以及将结果(RDD/dataframe)输出到一个文件保存
数据集net.gz为网络流量数据, 数据集每条记录展现每个连接的信息, 最后一列为攻击的标签(1) 请统计, 出现的攻击类型对应的攻击次数(2) 为了输入给算法, 请将RDD 类型转换为RDD[Labelpoint]( Labelpoint为Spark Vector)(1)不使用labelpoint:package homework.chapter2import org.apac...原创 2019-12-08 18:12:25 · 583 阅读 · 0 评论 -
scala一行代码实现wordcount解析
sc.textFile("/data/wordcount.txt").flatMap(.split(" ")).map(word=>(word,1)).reduceByKey(+).sortBy(._1,false).collect().foreach(println)这个file读的是hdfs文件,读文件的区别sc.textFile(args(0)) 读取这个变量地址指定的文件....原创 2019-12-06 10:36:04 · 475 阅读 · 0 评论 -
读取文件时,读取hdfs集群的文件和本机文件的scala代码写法
读取hdfs集群的文件val file=sc.textFile("/data/wordcount.txt")不能写成:val file=sc.textFile(“hdfs:IP地址///data/wordcount.txt”)读取本机文件val file=sc.textFile(“file:///data/wordcount.txt”)...原创 2019-12-06 10:02:31 · 699 阅读 · 0 评论