scala
scala编程语言
菜鸟周星星
大数据开发攻城狮。更多学习和面试资料尽在微信公众号:Hadoop大数据开发
展开
-
使用akka框架和scala语言编写简单的RPC通信案例并打包到linux机器上模拟提交到集群上运行
前言 1)akka框架是一个并发的、分布式的、可伸缩性的、高性能的RPC通信框架,大数据开发框架Spark、flink底层原理中或多或少都用到了 2)scala语言真的很强大、好用、方便,结合了面向对象语言和函数式语言的特点 akka的原理图 大多数分布式框架或工具 都遵循着主从节点的架构设计,在这里我们暂不考虑高可用的模式(高可用可参考文章Zookeeper之HDFS-HA高可用模式) 每个机器上的一个进程中只存在着1个通信角色对象 ActorSystem ,也就是说 Acto..原创 2020-12-18 22:58:48 · 245 阅读 · 5 评论 -
使用scala轻松完成wordcount统计案例
之前使用java疯狂写代码,计算单词的个数,之后又编写mr程序处理,统计单词个数,可代码还是多,今天就使用强大的scala语言来进行编程,统计单词的个数。 有数据 "scala,Spark,Hadoop,Hbase,hive", "Hive,Hbase,Scala", "Hive,spark" 先用一个数组来储存 //数据 val data = Array("scala,Spark,Hadoop,Hbase,hive", "Hive,Hbase,Scala", "Hive,spark").原创 2020-12-14 21:10:31 · 831 阅读 · 1 评论