- 博客(1188)
- 收藏
- 关注
RSS订阅原创 dubbo复习:（4） 和springboot 整合时，客户端负载均衡的配置
需要在@DubboReference注解指定loadbalance属性。默认的配置是random。
2024-05-23 12:47:48
66
原创 dubbo复习:(3) 服务超时时间配置
这样配置之后，当服务端响应超过55毫秒时，在服务消费者的控制台就会看到超时信息。在dubbo admin中。可以进行类似如下配置。
2024-05-15 20:44:49
208
原创 dubbo复习:(1)spring boot和dubbo整合
2.配置文件中配置dubbo相关信息（使用dubbo协议）和zookeeper的地址。4.定义服务实现,使用注解@DubboService将服务注册到zookeeper。4.创建服务实现，通过@DubboReference注解使用服务提供者所提供的服务。5.定义spring boot 主类，加上@EnableDubbo注解。6.定义spring boot 主类，加上@EnableDubbo注解。3.创建服务定义接口，和服务提供者端相同。1.添加依赖，和服务生产者类似。3.创建服务定义接口。
2024-05-14 12:49:30
203
原创 k8s:使用Fabric 来访问api-server
二、通过kubectl 去k8s集群获取token。三、通过token访问k8s,使用Fabric框架。
2024-04-28 08:37:11
481
3
原创 k8s: 从私有仓库harbor获取镜像
二、在清单文件中使用imagePullSecrets来引入上面这个步骤中创建的secret。一、根据私有仓库的用户名密码等信息创建secret。
2024-04-27 13:26:52
423
原创 k8s: NodeAffinity之优先调度策略和必须条件满足的调度策略
这个配置是要求必须调度到hostname 为i-1ykfhwu2的结点，如果不存在，则pod会处于pending状态。将pod 优先调度到hostname 为i-1ykfhwu2的node,如果不满足，也可以调度。
2024-04-19 16:32:51
265
原创 k8s:通过nodeSelector将pod调度到含有指定标签的结点上
二、在资源清单文件中配置nodeSelector来指定要往满足哪个标签条件的结点进行调度。这个配置将把pod调度到status为bad的结点。一、查看node,并给node打标签。
2024-04-19 14:11:09
375
原创 spring boot: 使用MyBatis从hive中读取数据
二、添加mybatis starter和hive依赖。五、定义controller,注入mapper并使用。启动hiveserver2。四、定义mapper。
2024-04-18 07:02:53
349
原创 hive: 自定义函数的用法
六、基于jar包创建自定义函数,引号中的是自定义函数类的全路径。五、通过hive的add jar 添加到hive环境。二、定义类，继承GenericUDF。四、上传到hive的服务器。
2024-04-15 11:25:24
244
原创 Hadoop: word count,并将reduce结果写入ES
其中 job.setOutputFormatClass(MyOutputFormat.class);用来指定reduce的结果写到哪里。其中getRecordWriter方法返回了一个RecordWriter类的对象。其中构造方法创建了一个ES 客户端对象。write方法用来把数据写入ES.二、定义表示word count 结果的实体类。四、自定义类，实现接口OutputFormat。三、定义mapper和reducer。一、依赖，其中ES版本为7.6.2。六、任务执行后在ES查询数据。
2024-04-04 19:51:16
225
原创 Hadoop: word count,并将结果写入到MySQL
其中DBOutputFormat.setOutput(job, “word_count”, “word”, “count”);这句设置往数据库写数据。任务的输入数据来自hdfs.三、定义实体类，实现DBWritable接口和Writable接口。其中使用了上面定义的MyDBWritable类。六、定义主类，启动hadoop job。七、任务结束后在数据库中查询结果。五、定义reducer。四、定义mapper。
2024-04-04 18:20:24
123
原创 hadoop:案例：将顾客在京东、淘宝、多点三家平台的消费金额汇总，然后先按京东消费额排序，再按淘宝消费额排序
二、实现思路：先通过一个MapReduce将顾客的消费金额进行汇总，再通过一个MapReduce来根据金额进行排序。六、定义主类，其中定义两个Job,等第一个job运行结束之后第二Job开始运行。四、定义第一对Mapper和Reducer。五、定义第二对Mapper和Reducer。一、原始消费数据buy.txt。
2024-04-03 23:35:35
482
原创 pulsar: kafka on pulsar之把pulsar当kafka用
就可以通过kafka console producer 和consumer或者java程序和pulsar构造出来的"kafka”交换数据了。三、编辑broker.conf(如果是集群)或者standalone.conf(如果是单机版)二、在pulsar的根目录创建一个protocols目录，将上述包放到这个目录里。四、重启pulsar。可以看到本机的9092端口就开了。一、下载协议包（要和pulsar版本比较一致）添加几行配置：（第二行要根据实际路径修改）
2024-03-28 20:27:26
391
原创 pulsar: kafka 适配器
可以将原来运行在kafka上的代码稍加修改就用在pulsar上。使用kafka的那些类来完成pulsar消息的生产和消费。
2024-03-28 13:52:46
85
原创 pulsar: 四种消费模式
可以修改所有的消费者的模式为fail over,那么，当topic有一个分区时，只会有一个消费者拿到数据，当它挂了的时候其它消费者才能拿到数据,当topic有多个分区时，不同的消费者会分别拿到不同分区的数据。同时运行这两个类，后启动的报错，将subscription name修改不同后就不报错了。还可以指定消费模式为key shared,当消息发送时带key,那么，相同key的消息会被同一个消费者消费。默认情况下是独享模式，相同的suscription name的消费者不能有多个。
2024-03-28 13:24:29
326
原创 flink:从pulsar topic 中读取类对象并写入到新的topic
【代码】flink:从pulsar topic 中读取类对象并写入到新的topic。
2024-03-27 18:19:21
106
原创 SpringBoot: MongoTemplate之findAndModify
【代码】SpringBoot: MongoTemplate之findAndModify。
2024-03-20 18:59:41
189
原创 SpringBoot: MongoTemplate之inCollection
【代码】SpringBoot: MongoTemplate之inCollection。
2024-03-20 10:55:54
90
原创 Spring Boot: 使用MongoOperations操作mongodb
这段代码创建了一个username为kean的文档，然后再通过username为kean这个条件去查询文档并返回给接口。二、定义实体类来映射mongodb中的collection。四、注入自动配置的MongoOperations并使用。三、配置文件中配置mongodb。
2024-03-20 08:05:45
293
原创 ES: spring boot中使用ElasticsearchClient
其中ES服务器的地址复用spring data ES 的spring.elasticsearch.uris。一、依赖：（要根据不同版本的ES来调整依赖,否则会报错，不支持太低版本的ES，比如7.6以下的）四、使用ElasticsearchClient操作索引。三、配置ElasticsearchClient。
2024-03-19 08:14:40
489
1
原创 ES: spring boot中使用RestHighLevelClient
二、注入RestHighLevelClient,并调用相关API。一、配置RestHighLevelClient。
2024-03-18 21:14:39
591
原创 ES: docker 创建带ik分词器的elasticsearch 7.6.2和kibana 7.6.2
【代码】ES: docker 创建带ik分词器的elasticsearch 7.6.2和kibana 7.6.2。
2024-03-13 16:18:27
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人