自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1180)
  • 收藏
  • 关注

原创 k8s: NodeAffinity之优先调度策略和必须条件满足的调度策略

这个配置是要求必须调度到hostname 为i-1ykfhwu2的结点,如果不存在,则pod会处于pending状态。将pod 优先调度到hostname 为i-1ykfhwu2的node,如果不满足,也可以调度。

2024-04-19 16:32:51 39

原创 k8s:通过nodeSelector将pod调度到含有指定标签的结点上

二、在资源清单文件中配置nodeSelector来指定要往满足哪个标签条件的结点进行调度。这个配置将把pod调度到status为bad的结点。一、查看node,并给node打标签。

2024-04-19 14:11:09 62

原创 k8s: 资源需求设定

这个描述文件指定了内存要64000Mi(64G),服务器内存不足64时直接pending。可以将资源需求改小为640M。

2024-04-19 12:01:24 36

原创 spring boot: 使用MyBatis从hive中读取数据

二、添加mybatis starter和hive依赖。五、定义controller,注入mapper并使用。启动hiveserver2。四、定义mapper。

2024-04-18 07:02:53 80

原创 hive: 自定义函数的用法

六、基于jar包创建自定义函数,引号中的是自定义函数类的全路径。五、通过hive的add jar 添加到hive环境。二、定义类,继承GenericUDF。四、上传到hive的服务器。

2024-04-15 11:25:24 239

原创 etcd: 从带密码的etcd中读取数据

【代码】etcd: 从带密码的etcd中读取数据。

2024-04-08 13:33:54 237

原创 Hadoop: word count,并将reduce结果写入ES

其中 job.setOutputFormatClass(MyOutputFormat.class);用来指定reduce的结果写到哪里。其中getRecordWriter方法返回了一个RecordWriter类的对象。其中构造方法创建了一个ES 客户端对象。write方法用来把数据写入ES.二、定义表示word count 结果的实体类。四、自定义类,实现接口OutputFormat。三、定义mapper和reducer。一、依赖,其中ES版本为7.6.2。六、任务执行后在ES查询数据。

2024-04-04 19:51:16 220

原创 Hadoop: word count,并将结果写入到MySQL

其中DBOutputFormat.setOutput(job, “word_count”, “word”, “count”);这句设置往数据库写数据。任务的输入数据来自hdfs.三、定义实体类,实现DBWritable接口和Writable接口。其中使用了上面定义的MyDBWritable类。六、定义主类,启动hadoop job。七、任务结束后在数据库中查询结果。五、定义reducer。四、定义mapper。

2024-04-04 18:20:24 117

原创 hadoop:案例:将顾客在京东、淘宝、多点三家平台的消费金额汇总,然后先按京东消费额排序,再按淘宝消费额排序

二、实现思路:先通过一个MapReduce将顾客的消费金额进行汇总,再通过一个MapReduce来根据金额进行排序。六、定义主类,其中定义两个Job,等第一个job运行结束之后第二Job开始运行。四、定义第一对Mapper和Reducer。五、定义第二对Mapper和Reducer。一、原始消费数据buy.txt。

2024-04-03 23:35:35 458

原创 flink: 向clickhouse写数据

三、通过Sink把从文件中读取的内容写到clickhouse。二、clickhouse中建表。

2024-03-30 08:35:41 345

原创 flink: 将接收到的tcp文本流写入HBase

三、在一台服务器上开启nc。四、运行,demo程序。

2024-03-29 22:20:09 273

原创 pulsar: kafka on pulsar之把pulsar当kafka用

就可以通过kafka console producer 和consumer或者java程序和pulsar构造出来的"kafka”交换数据了。三、编辑broker.conf(如果是集群)或者standalone.conf(如果是单机版)二、在pulsar的根目录创建一个protocols目录,将上述包放到这个目录里。四、重启pulsar。可以看到本机的9092端口就开了。一、下载协议包(要和pulsar版本比较一致)添加几行配置:(第二行要根据实际路径修改)

2024-03-28 20:27:26 381

原创 spark: 从pulsar中读取数据

【代码】spark: 从pulsar中读取数据。

2024-03-28 16:42:59 389

原创 pulsar: kafka 适配器

可以将原来运行在kafka上的代码稍加修改就用在pulsar上。使用kafka的那些类来完成pulsar消息的生产和消费。

2024-03-28 13:52:46 77

原创 pulsar: 四种消费模式

可以修改所有的消费者的模式为fail over,那么,当topic有一个分区时,只会有一个消费者拿到数据,当它挂了的时候其它消费者才能拿到数据,当topic有多个分区时,不同的消费者会分别拿到不同分区的数据。同时运行这两个类,后启动的报错,将subscription name修改不同后就不报错了。还可以指定消费模式为key shared,当消息发送时带key,那么,相同key的消息会被同一个消费者消费。默认情况下是独享模式,相同的suscription name的消费者不能有多个。

2024-03-28 13:24:29 248

原创 flink:从pulsar topic 中读取类对象并写入到新的topic

【代码】flink:从pulsar topic 中读取类对象并写入到新的topic。

2024-03-27 18:19:21 99

原创 flink: 将数据写入pulsar

从网络获取字符串并写入pulsar。

2024-03-27 15:46:29 78

原创 flink: 从pulsar中读取数据

【代码】flink: 从pulsar中读取数据。

2024-03-27 15:26:34 425

原创 pulsar: 批量接收消息

【代码】pulsar: 批量接收消息。

2024-03-27 09:24:57 615 1

原创 pulsar:发送和接收对象类型的消息

对象的类一定要加无参构造方法,底层反射时要用。

2024-03-27 08:58:31 139

原创 pulsar: pull消息和通过监听器接收消息

【代码】pulsar: pull消息和通过监听器接收消息。

2024-03-27 08:21:47 99

原创 pulsar: 生产者同步发送消息和异步发送消息

【代码】pulsar: 生产者同步发送消息和异步发送消息。

2024-03-27 07:37:41 133

原创 canal: 连接kafka (docker)

docker 启动mysql 5.7配置文件。一定要确保上述两个值一个为ROW,一个为ON。

2024-03-25 22:10:16 463 1

原创 SpringBoot: MongoTemplate之findAndModify

【代码】SpringBoot: MongoTemplate之findAndModify。

2024-03-20 18:59:41 154

原创 SpringBoot: MongoTemplate之创建collection时定制化

当文档多于指定的个数之后,后来插入的文档会覆盖之前的文档。

2024-03-20 13:23:26 93

原创 SpringBoot: MongoTemplate之inCollection

【代码】SpringBoot: MongoTemplate之inCollection。

2024-03-20 10:55:54 89

原创 Spring Boot: 使用MongoOperations操作mongodb

这段代码创建了一个username为kean的文档,然后再通过username为kean这个条件去查询文档并返回给接口。二、定义实体类来映射mongodb中的collection。四、注入自动配置的MongoOperations并使用。三、配置文件中配置mongodb。

2024-03-20 08:05:45 265

原创 ES: spring boot中使用ElasticsearchClient

其中ES服务器的地址复用spring data ES 的spring.elasticsearch.uris。一、依赖:(要根据不同版本的ES来调整依赖,否则会报错,不支持太低版本的ES,比如7.6以下的)四、使用ElasticsearchClient操作索引。三、配置ElasticsearchClient。

2024-03-19 08:14:40 453 1

原创 ES: spring boot中使用RestHighLevelClient

二、注入RestHighLevelClient,并调用相关API。一、配置RestHighLevelClient。

2024-03-18 21:14:39 479

原创 ES: RestClient之multiSearch的用法

【代码】ES: RestClient之multiSearch的用法。

2024-03-18 20:16:08 338

原创 ES: RestClient之模糊查询

【代码】ES: RestClient之模糊查询。

2024-03-18 19:59:52 345 1

原创 ES: docker 创建带ik分词器的elasticsearch 7.6.2和kibana 7.6.2

【代码】ES: docker 创建带ik分词器的elasticsearch 7.6.2和kibana 7.6.2。

2024-03-13 16:18:27 337

原创 flink: table api之自定义聚合函数

【代码】flink: table api之自定义聚合函数。

2024-03-12 22:17:15 499

原创 flink: 自定义表函数的用法

【代码】flink: 自定义表函数的用法。

2024-03-12 21:36:39 431

原创 flink:自定义函数的简单用法

【代码】flink:自定义函数的简单用法。

2024-03-12 20:04:11 367

原创 flink: table api之窗口函数的用法

得到结果(稍等30秒)

2024-03-12 10:32:53 381

原创 flink:通过table api把文件中读取的数据写入MySQL

文件info.txt。

2024-03-11 23:19:41 488

原创 flink: 把文件中的数据通过table API 导入到ES

【代码】flink: 把文件中的数据通过table API 导入到ES。

2024-03-11 21:59:45 373

原创 flink: 使用table API 从kafka的一个topic读取数据并写入另一个topic

【代码】flink: 使用table API 从kafka的一个分区读取数据并写入另一个分区。

2024-03-11 20:46:58 501

原创 flink: StreamTableEnvironment通过connect读取外部数据

【代码】flink: StreamTableEnvironment通过connect读取外部数据。

2024-03-11 10:51:25 373

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除