Scala
ITWords
本人主要深入研究语言java、scala,擅长方向大数据开发,java编程,系统建设和架构。
展开
-
spark集群实现wordcount
环境配置是:hadoop2.7.2 + zookeeper 3.4.5+ spark 2.1.1说明:这里的wordcount是使用scala书写,资源调度使用的是yarn。1.环境搭建提前搭建好hadoop集群和zookeeper。2.搭建spark集群配置使用的是yarn的集群配置。所以要在启动spark之前线启动hdfs和yarn。3.代码书写:def main(args: Array[String]): Unit = {//1.创建SparkConf并设置App原创 2020-06-19 14:02:15 · 400 阅读 · 0 评论 -
spark的master和worker 的注册和心跳检测
目录pom.xml文件:SparkMasterSparkWorkerMessageProtocol运行结果:在学习spark 的时候,就想着可不可以试着实现一下,spark的底层master和worker的心跳和注册的功能,于是有了下面的代码。很详细。如果了解更多的内容,可以关注公众号 ITwords ,第一时间获取更多资讯。 ...原创 2020-03-16 16:45:45 · 468 阅读 · 0 评论 -
退出scala的命令行
:quit原创 2020-03-14 18:58:16 · 1975 阅读 · 0 评论 -
split分割字符串是 . | 等等注意事项
无论是用java还是scala的时候,分割 . | / 等等特殊的符号的时候,需要要转义字符才可以。这里以scala为例:object Test1 { def main(args: Array[String]): Unit = { val str = "qw.qw.we.we" str.split("\\.").foreach(println) }}...原创 2020-03-13 18:00:29 · 119 阅读 · 0 评论