- 博客(5)
- 收藏
- 关注
RSS订阅原创 10.14-10.17为flink项目添加checkpoint
目录对flink checkpoint的理解与实现背景什么是flink checkpoint链接我的一些理解checkpoint实现流程checkpoint存储checkpoint实现checkpoint和savepoint的区别AB Test 对flink checkpoint的理解与实现 背景 由于我们公司的实时架构主要是kafka -> spark/storm -> kafka ...
2019-10-17 11:27:23
436
原创 mac配置idea-scala-spark开发环境
目录为什么适用Scala做spark开发配环境过程scalasparkidea中scala配置 为什么适用Scala做spark开发 作为python的忠实拥簇者，昨天写了整整一天pyspark的我被老大关进小黑屋要求以后用Scala作为spark的开发语言！！一开始我是拒绝的 TnT 后期从网上获取了这样做的原因： 1、（最重要的）现在市场上大多数企业的大数据平台，只要不涉及用户兴趣分析“利用...
2019-09-20 17:47:04
2833
原创 markdown学习
markdown学习欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
2019-09-20 16:39:59
111
原创 9.9工作日志 -编写shell脚本获取所有进程的线程数 编写python脚本批量实现http post
shell脚本 sh文件中的`` 命令替换.command 结构使字符(`)[译者注：这个字符不是单引号，而是在标准美国键盘上的ESC键下面，在字符1左边，在TAB键上面的那个键，要特别留心]引住的命令（command）执行结果能赋值给一个变量。它也被称为后引号（backquotes）或是斜引号（backticks）. 例子： A=ls -l 把ls -l的结果赋给A ls -l 作为命令来执行 ...
2019-09-09 18:09:29
475
原创 19.9.4 工作日志-durid读取kafka数据流建表
durid建表注意点 nested json提取 嵌套json文件的内容提取：在parser中用flattenSpec定义 原文见：https://druid.apache.org/docs/latest/ingestion/flatten-json.html 属性值useFieldDiscovery ：默认为true，若为true，所有第一级的维度，若没有声明，自动添加到表中。这里由于要提取，所...
2019-09-04 16:31:03
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人