![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享,欢迎交流,有不懂的可以加微信交流,拒绝红包等利益交流,不懂就问。
展开
-
Scala 项目集合浅思
1,因为开发spark目是scala写的,所以这几天一直在看scala相关的,因为不是职业用scala的,本人基础也不是很好,主要看了<<scala编程实战>> 这本书,可能会感觉比 <<快读scala>> 更符合我的口味。2,因为项目是几个人写的,我发现了项目中一些不规范的地方,其中就是关于集合使用的地方,我就昨天在群里讨论的话语做一个记录吧,...原创 2018-10-12 12:26:32 · 166 阅读 · 0 评论 -
Flink CEP基础学习与使用02 --主要是API 学习
好了~ 上一篇是3个案例,我们先学API 熟悉之后再搞复杂点的案例,最后实战.............一,模式定义1,个体模式//todo 定义Pattern接口val patternStart: Pattern[Event, Event] = Pattern.begin[Event]("start")//todo 指定条件patternStart.where(even...原创 2019-06-28 16:41:24 · 556 阅读 · 0 评论 -
Flink搭建已经对应参数优化01
有机会在写。原创 2019-06-28 16:19:05 · 323 阅读 · 0 评论 -
Flink原理实战每日一篇10
继续讲Flink Table ..........................这一篇就有点乱七八糟了,都是写案例,说实话,在实际开发中都是Flink SQL,在这里我们还是手写API 然后过了,把重心放在SQL上面。。。。下面全是手写案例 :1)object Over_window { def main(args: Array[String]): Unit = { ...原创 2019-07-01 23:52:26 · 527 阅读 · 0 评论 -
Flink原理实战每日一篇07
...................上一章主要是为了早点结束,然后开始下面一个非常重要的章节,这个章节不理解清楚,就对Flink的一些核心思想无法理解跟掌握。flink 状态管理和容错1,有状态计算 在Flink里面,有状态计算可以说是最重要的特性之一,刚好今天还有个朋友问我状态是保存在什么地方,是一致存在还是怎么样,下面要讲的就很清楚了。如下图:咳咳,回答上面的问...原创 2019-07-03 22:19:20 · 244 阅读 · 0 评论 -
spark 机器学习实战01
1,有时间就看写写一点把,毕竟知识这个玩意 自己真正懂了才叫自己的。原创 2019-06-22 14:36:03 · 163 阅读 · 0 评论 -
Flink原理实战每日一篇09
序:今天开始Flink SQL 跟 Flink table了,我个人觉得新手的话更要好好学习这一块的东西,Flink sql的API还是很全的,目前市面已知的很多公司已经用Flink SQL开发了很多实际业务场景,不关是Flink,几乎所有的流处理,都是向SQL靠拢,这个是主流。而且Flink的 SQL我觉得还是很强大的,值得学习的。一,FlinkTable首先我们要知道,Fli...原创 2019-06-25 21:28:41 · 210 阅读 · 0 评论 -
Flink原理实战每日一篇08
继续上面的 checkpoints 和 savepoints.........我在这里解释一下,我现在写这些其实都是看书上的,花钱买的书,不得好好吸收了么。所以在这里写博客,以前都是用有道云笔记,可每次写完都不看了,博客好啊~随时看,随时改,养成好习惯是不~~~1,理解CheckPoints 检查点机制 Flink中基于异步轻量级的分布式快照技术提供了checkpoints容错...原创 2019-06-25 09:17:21 · 720 阅读 · 0 评论 -
Flink原理实战每日一篇02
今天的标题是 DataStream API学习回顾,查漏补全..........1,主要是基本API都已经很熟悉,没必要的地方我就跳过去了,简单的聊一聊。 1)DataSource ,我们只要知道几种: 读文件 env.readTextFile("user/aa.log")Socket 数据源,我们本地测试用用 env.socketTextStream("loc...原创 2019-06-19 21:59:40 · 291 阅读 · 0 评论 -
Apache Nifi系列01
规划:目前是简单搭建一个系统,运行跑通参考架构:1,搭建原创 2019-06-19 17:17:33 · 167 阅读 · 0 评论 -
Flink table的scala 代码注意写法,填坑
出现错误:Error:(13, 34) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[(Int, String)] val batch = bEnv.fromElements((133,"bbb"))...原创 2019-06-03 16:53:28 · 1998 阅读 · 0 评论 -
Flink table的坑
开始用scala写的时候一直报错,查看官网代码也是一样的,后来发现是scala的导包有问题,正确写法(注意import):import org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.scala._import org.apache.flink.api.scala._import org.a...原创 2019-05-30 17:25:02 · 658 阅读 · 0 评论 -
Flink 读取hive,写入hive
1,读取实现了,也是找的资料,核心就是实现了HCatInputFormatHCatInputFormatBase上面这两个类,底层也是 继承实现了 RichInputFormat:public abstract class HCatInputFormatBase<T> extends RichInputFormat<T, HadoopInputSplit> ...原创 2019-05-21 15:55:28 · 36747 阅读 · 10 评论 -
Flink Streaming 广播变量的实现
1,问题思考,在spark里面不管是离线还是实时去使用广播变量,都比较简单,通过可以广播一些静态变量,静态文件,可是在flink里面怎么使用呢?2,在网上查找一个代码 跟本地实践,Flink 可以有两种广播方式: 1)广播配置文件或者静态变量 我使用的是Flink的分布式缓存 具体代码如下package com.coder.flink.core.ca...原创 2019-05-21 15:51:03 · 3344 阅读 · 2 评论 -
Flink 广播变量 asScala报错
如下图:解决方案:导入隐式转换import scala.collection.JavaConverters._ //asScala需要使用隐式转换Java集合跟 scala集合的转换importscala.collection.JavaConverters._vallist:java.util.List[Int]=Seq(1,2,3,4)...原创 2018-11-27 14:50:53 · 533 阅读 · 0 评论 -
Flink CEP基础学习与使用03-标准案例代码书写
这里主要是案例,后续要结合实际业务做更复杂的场景,比如条件是否可以从redis里面获取???完整案例:import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.cep.CEP;import org.apache.flink.cep.PatternFlatSelectFu...原创 2019-06-28 16:42:35 · 362 阅读 · 0 评论