0_nujiyuh-CSDN博客

原创 SpringCache+caffeine本地缓存

/长度为0 if(objects . length == 0) {} //长度为1 if(objects . length == 1) {//参数为map时自定义key=类名_方法名_key1#value1_key2#value2 if(object instanceof Map) {} else {

2023-06-18 00:13:52 526

原创 atguigu@实时热门页面统计与PV统计案例Coding

4，java.sql.Timestamp的Timestamp打印可直接转成 yyyy-MM-dd HH:mm:ss.S格式的日期。3，Class.getResource(“/input/apache.log”).getPath()获取资源路径乱码问题。(2)窗口里面设置允许迟到数据 .allowedLateness(Time.minute(1))sideOutPut--对于超过允许迟到时间的数据，全部收集起来，后续再处理；(3)lamda表达式，返回的类型是data实体中method字段的类型。

2023-06-18 00:13:21 122

原创 atguigu@网站独立访客数UV统计及市场推广统计案例Coding

如果不存在则在对应位图位置置1，同时更新redis里保存的count值（频繁对redis里同一个key的hash结构数据进行更新读取操作）-将窗口count计算的值存入redis，用“uv_count”作key，用hash结构-映射表，存多个窗口的数据。make[1]: 进入目录“/opt/module/redis-3.2.8/src”make[1]: 离开目录“/opt/module/redis-3.2.8/src”1，网站独立访客数UV的统计-基于set去重的简单实现。

2023-06-18 00:12:16 134

原创 atguigu@Flink中的时间语义@Watermark@Window

4、数据流中的watermark用于表示timestamp小于watermark的数据，都已经到达了，因此，window的执行也是由watermark触发的。1、遇到一个时间戳达到了窗口关闭时间，不应该立刻去触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动。滑动窗口分配器将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大。

2023-06-18 00:11:12 85

原创 Flink SQL和Table API实现消费kafka写入mysql

Flink SQL和Table API实现消费kafka写入mysql。

2023-06-18 00:10:44 1193

原创 nc+flink模拟消费kafka

k<通信端口>强制 nc 待命链接.当客户端从服务端断开连接后，过一段时间服务端也会停止监听。但通过选项 -k 我们可以强制服务器保持连接并继续监听端口。-l 开启监听模式，用于指定nc将处于监听模式。通常这样代表着为一个服务等待客户端来链接指定的端口。Flink程序订阅对应端口的socket流，模拟消费kafka数据。-p<通信端口> 设置本地主机使用的通信端口。中，命令 nc -lk 和nc -lp 的区别是什么。nc -lk 11251发送数据，模拟kafka生产者。

2023-06-18 00:10:17 104

原创记如何快速搭建flink本地开发环境

②复制上面官网提供的maven命令copy到弹出的bash弹窗的命令行中（ -DarchetypeVersion=1.16.0是指flink的版本1.16.0）② 复制上面官网提供的shell命令copy到弹出的bash弹窗的命令行中（|bash -s 1.16.0指flink的版本1.16.0）③等待片刻，看到build success字样就说明创建成功了，在刚才的代码目录中就可以看到按照模板创建好的demo了。④quickstart-这种创建方式，项目名称、包结构都是固定的，需要调整的话手动修改即可。

2023-06-18 00:08:46 598

原创记jdk8小版本导致flink-1.16.1提交wordcount报错

万里淘沙，最后在帖子里的评论里看到有大佬提醒是跟jdk有关。然后在我之前的学习笔记翻到相关内容。其实flink对jdk8后面带的小版本号也是有限制的。虽然官方文档flink1.16.0里是写了java11，但其实jdk1.8也是可以的。再按照官方文档提交一个wordcount任务，提交成功。后面我就把jdk换成了8u361。

2023-06-18 00:08:26 290

原创抽奖模块-概率抽奖

这里面的关键是在遍历奖品概率集合，对每个物品计算出在总概率的基础下的概率情况，然后进行区块概率累加的方式来获取奖品利率比，将利率比封装成一个集合，接着将随机种子丢到集合里，观察种子在集合中的下标对应到奖品列表的下标，获取奖品的概率索引并返回，最终得以实现概率抽奖。这里主要是对奖品集合进行解析，得出对应奖品的概率集合，供下面的概率抽奖来使用。

2023-06-17 14:51:03 54

原创高并发限流之令牌桶

限流可以认为服务降级的一种，限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的，为了保证系统的稳定运行，一旦达到的需要限制的阈值，就需要限制流量并采取一些措施以完成限制流量的目的。比如：延迟处理，拒绝处理，或者部分拒绝处理等等。简单点来说就是：一定时间内把请求量限制在一定范围内，保证系统不被冲垮，同时尽可能提升系统的吞吐量。

2023-06-17 14:48:26 1353

原创 sql去O经验总结

mysql: CASE t.BUSIHALL WHEN 'web' THEN '网厅' WHEN 'wap' THEN '掌厅' END 营业厅,oracle: decode(t.BUSIHALL, 'web', '网厅', 'wap', '掌厅') 营业厅,oracle: to_char(t.tamount / 100, '9999990.00') 缴费金额元,mysql: SUM(IFNULL(T.COUNT_NUMBER,0)) AS 统计值。mysql: sysdate() 或者 now()

2023-06-17 14:42:20 63

原创设计模式的两大主题&六大原则

考虑这两种情况，如果利用继承关系来实现分类的话，就分为红色新能源汽车，白色新能源汽车，黑色新能源汽车，红色燃油汽车，白色燃油汽车，黑色燃油汽车，在一个单选框里面出现了6种选项；如果利用组合关系来实现分类的话，就在一个汽车类中组合颜色和动力源两个类，分为了两个单选框，颜色类集成了红色，白色，黑色三种属性，动力源类中集成了新能源和燃油两种属性，通过两个单选框的方式就实现了合成复用的原则，如下图。使用接口或者抽象类的目的是制定好规范和契约，而不去涉及任何具体的操作，把展现细节的任务交给它们的实现类去完成。

2023-06-17 14:38:45 356

原创 Docker部署es+kibana

所以在启动kibana的时候要连接上somenetwork这个网络才能与elasticsearch进行连接即。#为了限制es的占用内存 -e ES_JAVA_OPTS="-Xms64m -Xmx512m"我的es是7.6.2版本的，因为怕版本冲突的原因，kibana我也选择7.6.2。#elasticsearch 和 kibana 要在同一网络下，否则会报错。探索自己的数据，因为我es上没有数据，所以目前没有研究这一部分！通过创建用户自定义网络，完成kibana与es的连接。

2023-06-17 14:38:14 326 1

原创【单点登录】父子系统跳转Demo总结

8、若存在，则同步到子系统的redis中，视为单点登录成功（若不存在，则跳回子系统登录页，单点登录失败）3、跳转子系统路径上带/sso关键字（即单点登录拦截器的拦截路径）在父系统一次登录，无需再次登录即可访问其他多个系统（授信）5、重定向到 redirect_login.html。4、子系统的单点登录拦截器拦截所有/sso请求。7、父系统查询redis里是否存在该token。6、发送请求父系统校验token。10、跳转子系统index首页。

2023-06-17 14:31:53 245

原创 eclipse集成maven+scala

根据模板创建的maven项目，Pom文件中的scala版本是2.12.6，而我本地安装的scala-sdk为2.11.8，需要将修改scala版本为2.11.8。注意，可能restart要很久，如果太长时间就去任务管理器那里结束进程，再手动打开。我使用的jdk1.8.0_201。识别到scala插件，eclipse会弹出弹窗，选择OK重新启动eclipse。Scala对eclipse的版本有要求，必须要eclipse 4.x以上。右键项目，Run as，maven clean，否则会报错，找不到主类。

2023-06-17 14:30:56 753 3

原创 Windows配置Hadoop环境

注意：官网下载Hadoop2.7.7，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/namenode。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/datanode。path添加%HADOOP_HOME%\bin。

2023-06-17 14:29:40 293