自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(43)
  • 资源 (2)
  • 问答 (3)
  • 收藏
  • 关注

原创 Flink优化

通过以下几个方面介绍:1.资源配置调优(内存模型)2.反压(背压)3.数据倾斜4.KafkaSource调优5.Flink SQL调优

2024-07-21 16:31:31 211

原创 flinksql分类

2024-07-21 16:25:10 113

原创 投简历石沉大海?BOSS直聘怎么筛选掉僵尸岗位!!!!

可以显示岗位最近修改时间了,方便筛选僵尸岗位,效果图如下:

2024-05-05 16:37:51 416

原创 FlinkSQL 中lateral table

LATERAL TABLE 用于在查询中扩展表,并将表值函数的结果与查询的其余部分进行连接(LATERAL TABLE 可以用于将。使用LATERAL TABLE可以在查询中实现更复杂的逻辑,可以在SELECT子句中使用LATERAL TABLE关键字并调用表值函数,来查询所需要的列,得到的结果是:原表select查询的数据+LATERAL TABLE查询结果返回的数据,更加灵活。这是通过在查询的 FROM 子句中使用 LATERAL TABLE 关键字来实现的。作为参数,并返回一个包含地址信息的表。

2024-04-28 11:40:37 1338 2

原创 Doris模型总结

2024-04-26 14:29:38 94

原创 状态后端的选择,真实业务场景使用File system?还是使用RocksDB?

2.operator-state:算子状态,状态值和算子绑定,flink中的kafka source算子中用于存储kafka offset的state就是算子状态;flink有source算子、transformation算子、sink算子等,数据肯定是经过算子进行处理和计算的,1.keyed-state: 键值状态(k-v形式存储),状态值和key绑定,flink中的。,单纯从访问State状态的性能来说,File system比Rocksdb好;状态后端中存储的状态(本地状态)使用磁盘存储State,

2024-04-24 00:37:10 488

原创 Checkpoint机制和生产配置

Checkpoint机制,又叫容错机制,可以保证流式任务中,不会因为异常时等原因,造成任务异常退出。可以保证任务正常运行。(1)能在集群异常时,保持已计算的数据,下次恢复时能在已保存数据的基础上,继续计算(类似于快照);(2)避免数据丢失(通过Barrier实现)Flink流式任务,需要长期运行,就算遇到一些数据异常问题等,也不能随便退出。Flink为了让任务能够在遇到异常退出时,能够重新启动,正常运行,Flink提出了重启策略的概念。

2024-04-24 00:25:29 1027

原创 Flink窗口机制

时间是为窗口服务的。窗口是什么?为什么会有窗口呢?(1)Flink要处理的数据,一般是从Kafka过来的流式数据,如果只是单纯地统计流的数据量,是没办法统计的。(2)所以,要人为的 加上了一个时间区间限制(窗口),才可以进行统计。

2024-04-21 01:01:22 838 1

原创 OLAP引擎优缺点简单对比

ClickHouse、Doris、TiDB等引擎对比

2024-04-16 16:36:07 430

原创 jps显示所有节点进程状态脚本的小报错

(2)脚本粘贴进去,并添加执行权限。但是很奇怪 使用全路径又可以了…同时也检查了以下步骤都没问题。但是在每一台机器执行。

2024-03-22 10:45:39 239

原创 Hbase读写流程(面试必背)

读取数据的流程:1) 客户端发起读取数据的请求, 首先会先连接zookeeper;2) 从zookeeper中到 Hbase的meta 表在哪个RegionServer节点上;

2024-03-20 15:42:18 760

原创 Java解析复杂JSON

(1)解析的json数据。

2023-05-29 23:43:22 970

原创 Hbase和关系型数据库、HDFS、Hive的区别

虽然HDFS本身不支持随机读写,但是HBase通过其自身的结构和实现方式,可以在HDFS之上实现高效的随机读写特性。(1)基于hadoop, 和 HDFS是一种强依赖关系, HBase的吞吐量不是特别高, 支持高效的随机读写特性(即:大型表提供快速记录查找(和更新))为。2.Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到HBase,或者 从HBase写回Hive。8. 面对大量的企业数据,HBase可以直线单表大量数据的存储,同时提供了高效的数据访问速度。

2023-05-25 22:30:40 1043

原创 SpringBoot常用注解总结

将方法的返回值作为响应体返回,如果返回值为字面量则直接返回,如果为非字面量则转为json后返回。作用等于@Controller + 为此类的所有方法都默认添加@ResponseBody注解。需要引入mybatis,表明使用动态代理的方式在容器中为Mapper创建对象。从容器中找到和此属性类型一致的Bean。标识当前类是业务模型类,且在容器中创建当前类的单例对象。需要引入baomidou动态数据源,指定方法访问的数据源。标识当前类是控制器,且在容器中创建当前类的单例对象。指定当前方法所处理的url。

2023-05-20 22:13:11 140

原创 Flink之Kafka Connector

在Kafka Connector连接器中提供Source数据源和Sink接收器类,在。

2023-04-18 23:45:14 1378

原创 数仓-拉链表实现

图解拉链表

2023-03-17 02:03:29 195

原创 join系列

join系列,hive中join相关的优化

2023-02-26 14:52:51 241 2

原创 Lambda 表达式

Java8新特性 Lamdba表达式,带你了解是如何运用的

2022-11-14 20:34:23 197

原创 Kafka知识点

面试常问,针对性复习

2022-11-14 01:21:46 1131

原创 mysql存储引擎

mysql存储引擎

2022-11-12 00:24:12 275

原创 idea常用快捷键

idea常用快捷键

2022-11-06 22:56:10 2021

原创 KafKa认知和操作

快速理解kafka是干嘛的以及使用场景

2022-11-03 18:52:39 422

原创 数据仓库分层

图文结合,方便理解数仓

2022-11-02 01:07:10 590

原创 电商指标之用户留存率

用户留存率,图解+计算使用到哪一些函数+实现步骤+建表和提供数据

2022-10-23 23:57:12 1101 1

原创 留存率数据来源

留存率数据来源

2022-10-23 18:48:33 246

原创 图解数据仓库

图解数据仓库

2022-10-21 00:24:47 713

原创 Hadoop之SSH无密登录配置

Hadoop之SSH无密登录配置

2022-10-19 15:38:35 1772

原创 hive经典指标:最近7天连续3天活跃用户数

1.最近7天连续3天活跃用户数

2022-10-07 22:53:46 1134

原创 1.HDFS读写流程

Hadoop知识点

2022-10-02 15:57:27 99

原创 GitHub的使用

GitHub的使用

2022-09-14 01:13:53 354 2

原创 Java基础知识

java基础知识

2022-09-13 23:25:11 114

原创 MySQL经典9道面试题

MySQL经典9道面试题

2022-09-13 00:17:05 562

原创 mysql 增删改查

mysql 增删改查

2022-09-12 14:24:06 879

原创 mysql 插入数据遇到中文编码问题

mysql解决数据插入中文编码问题

2022-09-11 19:25:36 199

原创 SQL面试题 Join连接细节

SQL面试题 Join连接细节

2022-08-12 02:30:35 958

转载 Windows ping不通虚拟机的解决方案

Windows ping不通虚拟机的解决方案

2022-07-24 14:20:51 2425

原创 Hive 求7天、4周、6个月的数据(1.日期)

hive 日期方面

2022-04-28 19:41:14 7554 2

原创 Spark SQL将计算指标的特定的列转换为Json,其他列不变

spark 将列格式转成json

2022-01-26 12:41:16 1853

原创 linux设置固定ip,包联网没问题

今天登陆发现Xshell连不上 ,有点纳闷,查看虚拟机才发现 ip发生改变。怪了--查看网络配置[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33--代码奉上--不行就把注释去掉#网络类型:以太网,下边这个是默认的TYPE="Ethernet"#ip设置成静态的,dhcp改成staticBOOTPROTO="static"#网卡名,默认DEVICE="ens33"#表示开机启动

2022-01-06 11:11:46 1439 1

原创 Hive安装

linux 安装hive 超简单实用,配置最少,简单明了安装速度最快!!!!基本0报错!!!

2022-01-05 15:19:15 1710 1

插件,帮助找工作,筛选掉僵尸岗位

插件,帮助找工作,筛选掉僵尸岗位

2024-05-05

Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht

Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht

2022-09-04

hive3.1.2+mysql驱动.zip

大数据

2022-01-05

hadoop+jdk.zip

hadoop3.1.3+jdk1.8

2021-12-31

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除