![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_44617428
这个作者很懒,什么都没留下…
展开
-
spark-streaming
单独spark-streamingpackage cn.tedu.kafka.streamingimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.streaming.StreamingContextimport org.apache.spark.stre...原创 2019-10-29 19:20:22 · 69 阅读 · 0 评论 -
idea spark sql一
package cn.tedu.sqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject Driver {def main(args: Array[String]): Unit = {val conf=new S...原创 2019-10-29 19:12:27 · 80 阅读 · 0 评论 -
推荐模型创建加载
创建推荐模型上传hdfspackage cn.tedu.alsmovieimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.mllib.recommendation.Ratingimport org.apache.spark.mllib.recommend...原创 2019-10-29 19:11:38 · 248 阅读 · 0 评论 -
spark 算法模型二
数据1100|5 100075|7 60080|6 120070|6 50050|8 3065|7 40090|5 1300100|4 1100110|3 130060|9 300数据265 7 40090 5 1300100 4 1100110 3 130060 9 300代码package cn.tedu.lritemimport org.apache.s...原创 2019-10-28 08:45:25 · 522 阅读 · 0 评论 -
推荐算法案例
数据userId,itemId,score1 11 21 12 31 13 11 14 01 15 12 11 12 12 22 13 22 14 12 15 43 11 23 12 33 14 03 15 14 11 14 12 24 14 14 15 45 11 15 12 25 13 25 14 15 15 4代码package cn.te...原创 2019-10-28 08:32:59 · 611 阅读 · 0 评论 -
spark笔记3
RDD缓存package cn.tedu.cacheimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.storage.StorageLevelobject Driver {def main(args: Array[String]): Unit = {...原创 2019-10-23 21:00:30 · 286 阅读 · 0 评论 -
spark笔记二
数据1 162 743 514 355 446 957 58 2910 6011 1312 9913 714 26求平均值package cn.tedu.averageimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject Driver {def main(args...原创 2019-10-22 18:42:21 · 67 阅读 · 0 评论 -
scala笔记1
case作用/**样例类通过case关键字来修饰知识点1.case class 必须显式的声明一个主构造器2.当声明完主构造器,case class会默认构造一个空的辅助构造器3.case class 不需要new就可以创建类的实例对象4.case class 默认实现了字段的toString5.case class 默认混入了序列化特质*/case class Item(v...原创 2019-10-21 20:49:17 · 171 阅读 · 0 评论 -
sparkRDD
创建普通集合scala> val a1=Array(1,2,3,4,5,6)a1: Array[Int] = Array(1, 2, 3, 4, 5, 6)创建RDD加两个分区scala> val r1=sc.parallelize(a1,2)r1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[2] at par...原创 2019-10-21 17:57:17 · 71 阅读 · 0 评论 -
spark集群安装,主要是env配置文件
1.版本hadoop-2.9.2jdk-1.8spark-2.4.32.spark安装/home/hadoop/spark-2.4.3/conf/spark-env.shexport HADOOP_CONF_DIR=/home/hadoop/hadoop-2.9.2/etc/hadoopexport HADOOP_HOME=/home/hadoop/hadoop-2.9.2expo...原创 2019-10-21 17:57:03 · 203 阅读 · 0 评论 -
scala单例模式
package cn.tedu.objectxobject Singleton {def main(args: Array[String]): Unit = {var a: A = A.getInstancevar b: B = B.getInstance}}// 单例// 在Scala中,如果需要定义单例利用伴生对象来定义// 懒汉式class A private () {...原创 2019-10-19 18:04:31 · 298 阅读 · 1 评论 -
scala 包
// 声明包的方式和Java中相比会更加的灵活// 包的声明顺序决定了包的嵌套关系package cnpackage tedupackage objectximport cn.tedu.objectx.o.a.Catobject ObjectDemo {def main(args: Array[String]): Unit = {// 通过包来调用函数demo.testvar...原创 2019-10-19 18:00:52 · 85 阅读 · 0 评论 -
scala 函数序一
package cn.tedu.functionobject function {def main(args: Array[String]): Unit = {// def test(x: Int, y: Int, f: => Double) {// println(f)// println(x + y)// }//// test(2, ...原创 2019-10-19 17:59:20 · 57 阅读 · 0 评论 -
scala api
apipackage cn.tedu.apiobject CollectionDemo1 {// 在Scala中,集合分为两大类:可变集合和不可变集合// 可变和不可变是指集合定义好之后大小是否可以改变// 无论可变集合还是不可变集合,都包含:Array、List、Set、Map、Turple(元组是不可变集合)、Queue// 数组:Array(不可变)和ArrayBuffer(可变...原创 2019-10-19 17:58:07 · 203 阅读 · 0 评论 -
scala 函数
package cn.tedu.scalaobject FunctionDemo1 {def main(args: Array[String]): Unit = {println(add(3, 5))// 如果调用无参函数,()可以省略// 如果定义函数的时候省略了(),那么调用函数的时候也得省略var d = random}// 定义一个函数求两个整数的和def add(x...原创 2019-10-19 17:56:44 · 113 阅读 · 0 评论 -
scala for循环
package cn.tedu.scalaobject Demo {// public static void main(String[] args){}// 在Scala中,所有的方法和类只要不指定默认就是public的,所以导致在Scala中没有public关键字// 使用def来定义函数// Scala中不只是static关键字,在object中定义函数默认都是static的//...原创 2019-10-19 17:54:58 · 124 阅读 · 0 评论 -
sprak基础语法练习
//创建一个Listval lst0 = List(1,7,9,8,0,3,5,4,6,2)//将lst0中每个元素乘以10后生成一个新的集合val lst1 = lst0.map(_*10)println(lst1)//将lst0中的偶数取出来生成一个新的集合val lst2 = lst0.filter(_%2 ==0)//将lst0排序后生成一个新的集合val lst3 = ...原创 2019-08-30 08:15:41 · 285 阅读 · 0 评论