spark
文章平均质量分 71
墨染盛夏呀
慢慢来
展开
-
Spark Streaming入门实验
将nc作为服务器端,用户产生数据;启动sparkstreaming案例中的客户端程序,监听服务器端发送过来的数据,并对其数据进行词频统计,即为流式的wordcount入门程序。注意):如果要执行本例,必须确保机器 cpu 核数大于 2。3.开发NetWordCount程序。原创 2022-11-10 14:39:44 · 1157 阅读 · 0 评论 -
通过自定义创建Dataframe及使用SQL来操作数据
(其中遇到一些问题,代码报红,解决方法:将spark文件里的jars包导进去,还有scala版本与之前创建的项目版本保持一致)3.通过SparkContext对象读取文件,生成RDD[String]8.通过调用SparkSession对象的sql函数,编写sql语句。2.创建case class Emp样例类,用于定义数据的结构信息。4.将RDD[String]转换成RDD[Emp]6.将RDD[Emp]转换成DataFrame。5.引入spark隐式转换函数(必须引入)原创 2022-11-09 20:38:27 · 1326 阅读 · 0 评论 -
Scala面向对象部分演示(IDEA开发)
3.private[this]的方法:该属性只属于该对象私有,就不会生成对应的set和get方法。Scala的包和Java中的包或者C++中的命名空间的目的是相同的:管理大型程序中的名称。当定义属性是private时候,scala会自动为其生成对应的get和set方法,如下所。你必须在同一个源文件里定义类和它的伴生对象。如果要开发main方法,需要将main方法定义在该类的伴生对象中,即:object对。Scala 中使用单例模式时,除了定义的类之外,还要定义一个同名的 object 对。原创 2022-11-03 19:41:37 · 490 阅读 · 0 评论 -
SCALA基础
不过,在Scala中,if/else是表达式,有值,这个值就是跟在if或else之后的表达式的值。直接使用throw关键字抛出异常。注意:在Scala中,定义变量可以不指定类型,因为Scala会进行类型的自动推导。1. 数值类型:Byte,Short,Int,Long,Float,Double。注意:在上面的例子中,foreach接收了另一个函数(println)作为值。当val被申明为lazy时,它的初始化将被推迟,直到我们首次对它取值。注意:可以不用显式指定变量的类型,Scala会进行自动的类型推到。原创 2022-11-03 15:28:31 · 1075 阅读 · 0 评论