Scala学习
29DCH
In me the tiger sniffs the rose.
展开
-
Scala操作有理数运算
最近在学Scala,准备入坑大数据的学习了,感觉Spark比Hadoop火一点,加上我早已经学完Java了,所以我想尝试新的挑战,就去学习Scala这门语言了.因为Spark和Kafka啥的就是用Scala写的源码,加上我想学习一下函数式编程,不怎么想用Java的lambda表达式,尽管Java8之后这些功能都跟上来了.综上所述,我最终选择了学习Scala.其实语言只是其次的,只是一门工具而已,...原创 2018-09-21 11:40:28 · 253 阅读 · 0 评论 -
scala多线程示例
Runnable/Callable区别:Runnable无返回值,Callable线程执行完后有返回值Runnable示例import java.util.concurrent.{Executors, ExecutorService}object Test { def main(args: Array[String]) { //创建线程池 val threadPool...原创 2019-03-20 12:10:09 · 300 阅读 · 0 评论 -
Spark+Ansj中文分词Scala程序
Spark下四种中文分词工具使用hanLPansjjiebafudannlp推荐使用ansj,速度快而且效果好另外jieba,hanLP效果也不错。具体参考ansj:https://github.com/NLPchina/ansj_segHanLP:https://github.com/hankcs/HanLP我的代码如下,加了scala连接mysql数据库查找、插入操作,添加...原创 2019-02-24 22:01:34 · 1054 阅读 · 0 评论 -
Spark Streaming消费Kafka的数据进行统计
流处理平台:这里是第四步的实现:Spark Streaming整合Kafka采用的是Receiver-based,另一种方式Direct Approach,稍作修改就行。package sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org....原创 2018-12-06 13:05:16 · 1235 阅读 · 0 评论 -
使用Spark Streaming完成黑名单过滤
TransformApp.scalapackage sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 黑名单过滤 */object TransformApp { def main(args: Array[Str...原创 2018-11-28 20:53:41 · 337 阅读 · 0 评论 -
使用Spark Streaming完成有状态统计
StatefulWordCount.scalapackage sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 使用Spark Streaming完成有状态统计 */object StatefulWordCount {...原创 2018-11-28 20:36:28 · 265 阅读 · 0 评论 -
使用Spark Streaming完成词频统计,并将结果写入到MySQL数据库中
首先在maven工程的pom.xml文件加入以下依赖:<properties> <spark.version>2.2.0</spark.version></properties> <!-- Spark Streaming 依赖--> <dependency> ...原创 2018-11-28 21:38:33 · 761 阅读 · 0 评论 -
使用Spark Streaming整合Spark SQL完成词频统计操作
SqlNetworkWordCount.scalapackage sparkimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Seconds, Streamin...原创 2018-11-28 21:14:34 · 543 阅读 · 0 评论 -
Scala函数式编程思想
Scala是纯面向对象语言,而函数式编程是它的核心也是它最大的优势点一些重要概念:1.纯函数(Pure Function),或函数的纯粹性(Purity),即没有副作用(Side Effect)副作用是状态的变化例子:可见第二个函数对x有副作用,所以第一个函数为纯函数2.引用透明性对于相同的输入,总是得到相同的输出如果f(x)的参数x和函数体都是引用透明的,那么函数f是纯函数a...原创 2018-10-14 21:27:10 · 660 阅读 · 0 评论 -
SpringBoot框架操作数据库的Scala示例
springboot配置文件配置信息、依赖导入啥的就跳过了直接上代码domainpackage com.ljq.domainimport javax.persistence.{Entity, GeneratedValue, Id, Table}import scala.beans.BeanProperty@Entity@Tableclass MetaTable { @...原创 2019-04-09 23:42:19 · 473 阅读 · 0 评论