- 博客(43)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
原创 Flink优化
通过以下几个方面介绍:1.资源配置调优(内存模型)2.反压(背压)3.数据倾斜4.KafkaSource调优5.Flink SQL调优
2024-07-21 16:31:31
211
原创 FlinkSQL 中lateral table
LATERAL TABLE 用于在查询中扩展表,并将表值函数的结果与查询的其余部分进行连接(LATERAL TABLE 可以用于将。使用LATERAL TABLE可以在查询中实现更复杂的逻辑,可以在SELECT子句中使用LATERAL TABLE关键字并调用表值函数,来查询所需要的列,得到的结果是:原表select查询的数据+LATERAL TABLE查询结果返回的数据,更加灵活。这是通过在查询的 FROM 子句中使用 LATERAL TABLE 关键字来实现的。作为参数,并返回一个包含地址信息的表。
2024-04-28 11:40:37
1338
2
原创 状态后端的选择,真实业务场景使用File system?还是使用RocksDB?
2.operator-state:算子状态,状态值和算子绑定,flink中的kafka source算子中用于存储kafka offset的state就是算子状态;flink有source算子、transformation算子、sink算子等,数据肯定是经过算子进行处理和计算的,1.keyed-state: 键值状态(k-v形式存储),状态值和key绑定,flink中的。,单纯从访问State状态的性能来说,File system比Rocksdb好;状态后端中存储的状态(本地状态)使用磁盘存储State,
2024-04-24 00:37:10
488
原创 Checkpoint机制和生产配置
Checkpoint机制,又叫容错机制,可以保证流式任务中,不会因为异常时等原因,造成任务异常退出。可以保证任务正常运行。(1)能在集群异常时,保持已计算的数据,下次恢复时能在已保存数据的基础上,继续计算(类似于快照);(2)避免数据丢失(通过Barrier实现)Flink流式任务,需要长期运行,就算遇到一些数据异常问题等,也不能随便退出。Flink为了让任务能够在遇到异常退出时,能够重新启动,正常运行,Flink提出了重启策略的概念。
2024-04-24 00:25:29
1027
原创 Flink窗口机制
时间是为窗口服务的。窗口是什么?为什么会有窗口呢?(1)Flink要处理的数据,一般是从Kafka过来的流式数据,如果只是单纯地统计流的数据量,是没办法统计的。(2)所以,要人为的 加上了一个时间区间限制(窗口),才可以进行统计。
2024-04-21 01:01:22
838
1
原创 jps显示所有节点进程状态脚本的小报错
(2)脚本粘贴进去,并添加执行权限。但是很奇怪 使用全路径又可以了…同时也检查了以下步骤都没问题。但是在每一台机器执行。
2024-03-22 10:45:39
239
原创 Hbase读写流程(面试必背)
读取数据的流程:1) 客户端发起读取数据的请求, 首先会先连接zookeeper;2) 从zookeeper中到 Hbase的meta 表在哪个RegionServer节点上;
2024-03-20 15:42:18
760
原创 Hbase和关系型数据库、HDFS、Hive的区别
虽然HDFS本身不支持随机读写,但是HBase通过其自身的结构和实现方式,可以在HDFS之上实现高效的随机读写特性。(1)基于hadoop, 和 HDFS是一种强依赖关系, HBase的吞吐量不是特别高, 支持高效的随机读写特性(即:大型表提供快速记录查找(和更新))为。2.Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到HBase,或者 从HBase写回Hive。8. 面对大量的企业数据,HBase可以直线单表大量数据的存储,同时提供了高效的数据访问速度。
2023-05-25 22:30:40
1043
原创 SpringBoot常用注解总结
将方法的返回值作为响应体返回,如果返回值为字面量则直接返回,如果为非字面量则转为json后返回。作用等于@Controller + 为此类的所有方法都默认添加@ResponseBody注解。需要引入mybatis,表明使用动态代理的方式在容器中为Mapper创建对象。从容器中找到和此属性类型一致的Bean。标识当前类是业务模型类,且在容器中创建当前类的单例对象。需要引入baomidou动态数据源,指定方法访问的数据源。标识当前类是控制器,且在容器中创建当前类的单例对象。指定当前方法所处理的url。
2023-05-20 22:13:11
140
原创 linux设置固定ip,包联网没问题
今天登陆发现Xshell连不上 ,有点纳闷,查看虚拟机才发现 ip发生改变。怪了--查看网络配置[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33--代码奉上--不行就把注释去掉#网络类型:以太网,下边这个是默认的TYPE="Ethernet"#ip设置成静态的,dhcp改成staticBOOTPROTO="static"#网卡名,默认DEVICE="ens33"#表示开机启动
2022-01-06 11:11:46
1439
1
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
2022-09-04
spark json数据写入mysql数据库问题
2022-01-25
用idea读取hdfs上parquet文件, 启动spark master 报错问题
2022-01-13
mysql 列的编码格式显示为Latin1 (有没有一劳永逸的方法呀)
2022-01-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人