- 博客(13)
- 收藏
- 关注
RSS订阅原创 Flink1.15.4+flinkcdc+Dinky0.7.3+Mysql5.7+Doris1.2.1实现实时同步
需要将dinky的dlink-common-0.7.3.jar,dlink-client-1.15-0.7.3.jar,dlink-client-base-0.7.3.jar 这三个jar包放入flink的lib下。修改conf下的flink的yaml文件中rest.bind-address:0.0.0.0。'sink.label-prefix' = '唯一'访问：ip:8888。'database-name' = '库名','table-name' = '表名''username' = '账号',
2023-08-09 11:35:06
736
原创 Python爬取某站视频--（只做学习使用）
return resp.content # 二进制数据， text 文本数据， json() json数据。我在源代码里面搜索标题，发现有Json格式的数据 ==> json在Script标签中。1、爬什么 某站视频（url也是静态的在源代码里面）、标题（一定在源代码里面）resp.raise_for_status() # 自动触发崩溃。# 如果没有文件夹我就创建一个（主视频文件夹）url = input("请输入视频地址")print('解析失败')# 解析视频的URL。# 解析音频的URL。
2023-05-19 11:46:31
222
原创 Rocketmq中生产者与消费者使用实例及相关问题解决
因为rocketmq执行至少发送一次的形式，所以不可避免的就会出现消息重复发送，所以在发送端无法做到，只能在消费端做端，可以采用消费端幂等性设计：实现幂等性的方式有很多，比如在业务系统中为每条消息生成唯一的处理 ID，并将处理结果保存在数据库中，当重复消费时，在数据库中查询该消息是否已经被处理过；rocketMqTemplate.syncSendOrderly(RocketTopic.SYNC_TOPIC_ORDERLY,"1001消息创建--1","1001");
2023-05-17 18:30:56
453
原创 JVM调优方面的知识
年轻代大小选择响应时间优先的应用：尽可能设大，直到接近系统的最低响应时间限制（根据实际情况选择）。在此种情况下，年轻代收集发生的频率也是最小的。同时，减少到达年老代的对象。吞吐量优先的应用：尽可能的设置大，可能到达Gbit的程度。因为对响应时间没有要求，垃圾收集可以并行进行，一般适合8CPU以上的应用。年老代大小选择响应时间优先的应用：年老代使用并发收集器，所以其大小需要小心设置，一般要考虑并发会话率和会话持续时间等一些参数。
2023-05-16 17:09:28
104
原创 Sentinel1.8.6规则持久化NACOS中记录
改为let url = '/dashboard/v2/flow/' + $scope.app;com.alibaba.csp.sentinel.dashboard.controller.v2.FlowControllerV2 中指定对应的 bean。#指定应用与Sentinel控制台交互的端口，应用本地会起一个该端口占用的HttpServer。# 默认命名空间就是 public，不用填写，填了public反而找不到，所以这个置空就行。-- 引入sentinel持久化nacos依赖 -->
2023-05-06 20:42:26
1049
5
原创 高并发中解决缓存穿透的方案--布隆过滤器
1.在开发加入缓存后，通常我们先根据参数查询缓存中是否存在，如果缓存不存在再查询数据库，并加入缓存，不过再这期间，如果数据库查询也没查到就不会放入缓存，在高并发中就会出现一直访问数据库，有可能导致数据库崩盘，这就是缓存击穿。2.解决缓存击穿，则可以考虑把需要缓存的数据放入一个容器中，在查询时先判断这个容器中是否存在该缓存key值，如果不存在则不走数据库，根据这种思路布隆过滤器满足这类实现。
2023-04-29 12:27:19
146
原创 排查线上服务出现cpu累积攀升的问题
由于线上cpu飙升，但cpu占用率最高的服务下，单个线程占用的cpu使用率并不高，且没有死锁出现，改进程下出现大量timed_waiting 等待线程，怀疑系统大量创建线程，因为是job定时任务服务，使用的是spring的scheduled定时任务，怀疑代码中出现循环创建线程，根据定位dump日志发现，是因为nacos的配置文件的自动刷新导致的，在nacos自动刷新读取配置文件时，如果出现配置数据读取不到，会造成线程累积创建。
2023-03-29 10:33:46
365
原创 git命令
1.git clone 从远程库拉取代码2.git branch 查看本地所有分支3.git status 查看当前状态4.git pull 从远程库拉取到本地代码5.git commit 提交6.git branch -r 查看远程所有分支7.gitinit 初始化仓库8.git add . 添加文件到缓存区9.git push 推送给远程仓库10.git config --global user.name "xxx" #...
2021-10-20 19:29:26
54
原创 sql优化
SQL技术规范产品实施型项目，尽量采用通用的SQL写法； 大数据量下，用UNION ALL或者 UNION 代替OR，IN。原因：OR不会用到索引，UNION 和UNION ALL 会用到索引，UNION会除去重复的数据，UNION ALL不会去除重复的数据，UNION ALL的效率是最高的； 语法selelctcol1,col2… from t1where col1=val1 orcol1=val2;修改为：selelctcol1,col2… from t1...
2021-10-18 21:43:03
201
原创 Springboot的异步使用@Async
首先注意点：1.在使用@Async注解时，调用方法和@Async标注方法不能在同一个类中，会造成异步失效。这种情况主要是因为：spring在加载Bean时，先扫描是否有@Async，如果有就用代理模式，将其代理，如果@Async加载在类上，就代理改类中所有方法，如果加载在方法上就代理该方法，在别的类调用时，实际上是调用的代理类，如果在本类中调用，实际上是用本类的调用，并没有调用代理类，所以异步不生效。2.需要在启动类增加@EnableAsync注解。3.在使用@Async注解时，要将类交给spr
2021-09-15 11:04:39
1365
原创 JAVA实现微信公众号扫一扫
准备环境1.微信测试公众号申请：微信公众平台http://mp.weixin.qq.com/debug/cgi-bin/sandbox?t=sandbox/login2.记录下申请的测试公众号的appid和appsecret3.配置内网穿透：本篇使用的是natapp NATAPP-内网穿透 基于ngrok的国内高速内网映射工具设置本机的内网穿透代理，使用免费版。4.配置js安全域名：其中js安全域名的设置不能携带http://。5.扫码关注测试公众号：因为测试公众号，在手机端
2021-09-13 21:08:47
1819
flinkcdc-2.2.1jar+flink-doris-connentor1.15jar
2023-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人