![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时计算
码中小白鼠
码中小白鼠
展开
-
Scalar基础
类的定义在Scala中,类并不用声明为public类型的Scala源文件中可以包含多个类,所有这些类都具有共同可见性//定义了一个类class Person{ //用val修饰的变量是可读属性,有getter但没有setter val id = "9527" //用var修饰的变量既有getter,也有setter var age:Int = 18 //类私有字段,只能在类...原创 2019-07-09 21:06:20 · 324 阅读 · 0 评论 -
Scala学习小白必看
文章目录为什么要学习ScalaScala的介绍什么是多范式Scala语言和Java语言的对比Scala懒加载Scala差值器Scala访问修饰符Scala类型转换Scala技能练习为什么要学习Scala因为在线计算需要Spark和Scala,Spark的底层是Scala,Scala基于Java开发效率高,运行速度快Scala的介绍Scala是一门多范式的编程语言,既是面向对象也是函数式编...原创 2019-07-05 20:01:08 · 344 阅读 · 0 评论 -
SparkStreaming接收socket数据,实现单词计数WordCount
文章目录架构图实现流程注意:执行查看效果架构图实现流程安装并启动生产者 首先在Linux服务器上用YUM安装nc工具,nc命令式netcat命令的简称,都是用来设置路由器。我们可以利用它向某个端口发送数据 yum install -y nc通过netcat工具向指定的端口发送数据 nc-lk 9999编写S...原创 2019-07-18 20:39:43 · 1216 阅读 · 0 评论 -
Spark SQL、DateFrame、DataSet详细概述
Spark SQL的前世今生Shark是一个为Spark设计的大规模数据仓库系统,它与Hive兼容。Shark建立在Hive的代码基础上,并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用哦过户可以加速Hive的查询,但是Shark继承了Hive的大且负责的代码使得Shark很难优化和维护,同时Shark依赖Spark的版本。随着我们遇到了性能优化的上限,以及集成SQL的一些...原创 2019-07-19 10:11:05 · 563 阅读 · 0 评论