自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 自定义状态机解决分段代码块

通常包含一组状态、事件、状态之间的转换规则。状态机的目的是描述系统在不同状态下对事件的响应以及状态之间的切换过程。

2024-02-02 16:32:53 123 1

原创 redis持久化学习

redis为了提高写入效率,不会直接存到磁盘,而是放到一个内存缓存区buffer中等缓存区被填满采取异步真正将缓存区中的内容写到磁盘。redis在持久化时候会调用glibc的函数fork产生一个子进程,快照持久化完全交给子进程啦处理,父进程处理客户端请求。数据段是由很多操作系统的页面组合而成,当父进程修改其中一个页面的数据时,会将被共享的页面复制一份分离出来,所以子进程相应的页面是没有变化的。aof记录了自redis实例创建以来的所有修改性指令序列,那么就可以通过对一个空的redis实例顺序执行所有执行。

2024-02-02 11:15:47 177

原创 实例化插件

2 通过Spring 依赖注入机制,通过构造函数注入一个list<Plugin>将这些插件注册到registry,目录下创建一个以服务接口的全限定名命名的文件,其中包含实现类的全限定名。

2024-01-25 13:31:22 375 1

原创 项目升级使用模式-责任链模式

2、ConcreteHandler 具体处理者:实现处理者接口,具体处理请求的对象。如果能处理则处理,不能则传递给下一个处理者。1、Handler处理者:定义一个请求接口。通常包含一个处理方法。如果可以处理请求则处理,否则,将请求传递给下一个处理者。在责任链模式中,每个处理者对象都包含对下一个处理者的引用,形成一条链。3、Clint客户端:创建处理者链。并向链的起始点提交请求。ConcreteHandler 实现处理者接口。请求沿着链传递,直到有一个处理者能够处理为止。Clint客户端调用。

2024-01-10 16:10:38 387 1

原创 kafka消费策略学习

group 消费者组是一组具有相同group.id的消费者的集合,每个分区只能由同一个消费者组内的一个消费者进行处理。每个消费者都可以处理不同的分区,使水平扩展变得容易。kafka消费策略分类:group-offsets、earliest-offset、latest-offset、timestamp、specific-offsets。指消费者在没有消费位移的情况下,从哪个位置开始消费消息;offset(偏移量,消息在分区的唯一编号、offset不跨分区,标识kafka只保证同一分区消息顺序)

2024-01-04 17:00:13 570 1

原创 kafka总结

4、Productor 使用push模式消息发布到broker ,consumer pull模式从broker订阅并消费消息。数据源可以将数据事件流--发布到一个或者多个topic。或者类似的数据事件分组中。应用可以订阅一个或者多个kafka主题,从中获取获取,处理生成的数据流。点对点-一个生产者生成的消息由一个消费者进行消费。发布订阅模式:生产者-消费者多对多。1、kafka的发布。

2023-10-26 16:45:34 33

原创 Timeout expired while fetching topic metadata

以下参数对接emr-Kafka使用。

2023-09-11 14:15:14 121

原创 flink BATCH模式配置方法

flink 默认是STREAMING模式。flink batch模式配置两种方式。

2023-09-08 15:11:44 274 1

原创 Flink跨集群访问Kerberos认证的Kafka

该模块用来构建全局的loginUser。如果其他组件能使用改loginUser进行认证,则不需要单独配置证书。Flink提供三个模块来对集群进行安全验证,分别是HadoopModule、jaasModule、ZookeeperModule。hadoopModule用来对使用UserGroupInformation进行身份验证的框架进行认证配置。Flink组件启动时,先加载认证相关模块。在构建的安全上下文中,启动集群各个组件。根据构建的UserGroupInformation在doAs方法中启动集群。

2023-09-06 14:58:02 339 1

原创 Yarn上使用fink Application模式

到YARN可以访问的位置,并使用yarn.provided.lib.dirs配置选项, 最后,为了进一步节省提交应用程序jar所需的带宽,您可以将其预上传到HDFS,并指定指向。per-job模式集群:一个集群运行一个作业。作业执行完毕集群销毁。为了进一步节省将Flink发行版传送到集群的带宽,请考虑。使用此命令,所有配置参数都可以通过其配置选项(以。Session模式集群:一个集群运行多个作业。

2023-08-28 15:58:22 118 1

原创 SPARK dataFrom dataSet

SparkConf conf = new SparkConf().setAppName(appName);SparkSession sparkSession = SparkSession.builder().enableHiveSupport().config(conf).getOrCreate();SparkContext sparkContext = sparkSession.sparkContext();sparkContext.setLogLevel("DEBUG");

2023-08-28 15:39:09 28 1

原创 Mybits注入sdk

2、ComponentScan 添加依赖路径扫描。3、定义sdk需要的bean,并添加自定义参数。4、自动注入@Autowired。

2023-08-21 16:34:01 51

原创 arthas

5、找到需要监控的方法,右键,选择对应的命令,然后复制到 运行支撑平台的命令行,回车运行。6、访问系统,找到当前接口页面,重新访问该接口。2、启动arthas:终端输入命令 arthas-start。4、idea 安装 arthas idea 插件。3、输入进程编号,回车运行。1、终端安装arthas。

2023-08-17 19:36:23 30 2

原创 JAVA上运行js

作用域参数,表示将属性添加到引擎作用域中。在引擎作用域中,属性仅在当前的脚本引擎中有效,不会影响到其他脚本引擎。3.设置引擎上下文属性。1.生成一个工程集合。

2023-08-17 15:50:37 39

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除