赵白菜-CSDN博客

原创 Clickhouse集群通过jdbc连接

CK集群jdbc连接方式jdbc url的定义jdbc url的解析获取到连接连接后执行操作jdbc url的定义多个地址使用逗号隔开String jdbcUrl = "jdbc:clickhouse://{ip1:port},{ip2:port},..."jdbc url的解析获取到连接不管是官方的驱动包import ru.yandex.clickhouse.BalancedClickhouseDataSource;还是官方支持的第三方包import com.github.housep

2021-09-29 15:56:46 7237 3

原创 Flink踩坑记录01

1.报错信息Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy2.原因分析代码中写的是从socket读取数据 final DataStreamSource<String> inputStream = env.socketTextStream("localhost", 9999); //启动代码之前需要先将socket启动起来但

2021-04-23 11:14:51 1497 1

原创 Flink05---Flink中任务是怎么分配的？

1.相关Flink术语任何一个大数据框架都离不开大数据的一些专业术语，Flink也不例外，但每个框架也有自己的特点，独特的技术，使得Flink中也会有些自己术语，不先了解清楚的话很难对其原理和过程理解透彻。并行度：一个特定算子的子任务的个数被称之为其并行度。//给sum算子设置并行度sum().setParallelism(2);插槽（slot）：Flink中定义的处理资源单元，存在于TaskManager里面，插槽的数量限制了TaskManager能执行的任务数量，也可说成是线程数。s

2021-03-23 12:07:45 1103 2

原创 Flink04---Flink是怎么运行任务的

1.Flink框架拥有的组件JobManager(作业管理器)申请资源、提交任务TaskManager(任务管理器)提供资源、执行任务ResourceManager(资源管理器)请求资源，分配资源Dispacher(分发器)接收任务，分配任务2.JobManager1.作用：控制一个应用程序执行的主进程，其中应用程序有作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库。2.工作：将JobGraph转换成执行图、向资源管理器请

2021-03-22 12:21:52 254

原创 Flink03---Flink中怎么提交任务

1.提交任务的两种方式1.Flink web ui（下面详细介绍）2.命令行在Flink安装的根目录下执行./bin/flink run -c 包名.主类名 -p 并行度参数 jar包路径程序参数测试例子：./bin/flink run -c com.scau.zcw.streamWordCount -p 3 /opt/jarhome/Flink01-1.0-SNAPSHOT.jar --host localhost --port 7777此时对应的取消任务的方式为//列举出当前的任务

2021-03-22 11:10:34 476

原创 Flink02---IDEA实操workcount

1.Maven的pom.xml文件引入依赖<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dep

2021-03-21 00:58:37 333 1

原创 Flink01---什么是Flink

特别说明，本博主Flink文章部分内容来自于尚硅谷的Flink系列视频，在此感谢BILIBILI学习平台和尚硅谷官方。1.Flink官网地址http://flink.apache.org2.Flink简介Apache Flink是一个框架和分布式处理引擎（用于数据计算而非存储框架），用于对无界和有界数据流（流数据，数据是源源不断地产生）进行状态计算。快速、灵巧，出身于德国柏林。2.Flink可实现低延迟（毫秒级响应）、高吞吐（处理数据量大，分布式环境支持）和结果的准确性及良好的容错性（通过对

2021-03-20 21:24:07 181 3

原创 MR运行Hbase官方Jar包报找不到主类错误

#MR运行Hbase官方Jar包报找不到主类错误现在rowcounter官方Jar包名称已经变成了org.apache.hadoop.hbase.mapreduce.RowCounter了，主类名称换成这个即可找到主类。

2020-08-19 22:16:25 360

原创 python实现合并一个列表的所有元素

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入这里写自定义...

2020-04-16 18:08:53 2317 3

A0ZBC的博客