scala
陈沐
知识改变命运
展开
-
Spark的文件读取路径
在不同的启动模式下,加载文件时的路径写法是不一样的对于local模式下,默认就是读取本地文件而在standlone或者yarn-client,或者cluster模式下,默认读的都是hdfs文件系统,这几种模式下很难读取本地文件(这是很显然的事情,但你可以通过指定节点的文件服务曲线救国)。下面的代码在local模式下有效,在其它模式下无效:var theP1 = sc.textFile("file:///usr/test/people.json") //读取本地var theP2 = sc.te原创 2021-11-16 21:32:40 · 2478 阅读 · 0 评论 -
切片split()方法中的特殊符号处理
关于点"."的问题是用string.split(“[.]”)解决。关于竖线"|"的问题用string.split(“\\|”)解决。关于星号"*"的问题用 string.split(“\\*”)解决。关于斜线"\"的问题用sring.split(“\\\\”)解决。关于"[]"的问题用sring.split("\\[\\]")解决...原创 2021-11-01 10:27:37 · 282 阅读 · 0 评论 -
2021-10-24
Scala笔记循环守卫1)基本语法for(i <- 1 to 3 if i != 2) {print(i + " ")}println()说明:(1)循环守卫,即循环保护式(也称条件判断式,守卫)。保护式为true则进入循环体内部,为false则跳过,类似于continue。(2)上面的代码等价for (i <- 1 to 3){if (i != 2) {print(i + " ") }}循环步长1)基本语法for (i <- 1 to 10 by 2原创 2021-10-24 21:02:10 · 113 阅读 · 0 评论 -
Flink
Flink流处理批处理socket实时处理详细讲解及从Kafka读取数据实操文章目录Flink流处理批处理socket实时处理详细讲解及从Kafka读取数据实操Maven文件开启WebUI代码详解流选择添加源流处理批处理Scoket模式开启Scoket服务方式1:Java代码开启UDP方式2:windows上部署netcat方式3:Scala方式开启ScoketScala版本代码Java版本代码读取Kafka消息队列的数据作为来源处理方式分为流式处理(离线)批处理(离线)Scoket(使用流处理原创 2021-10-24 12:15:59 · 489 阅读 · 1 评论