- 博客(39)
- 收藏
- 关注
RSS订阅原创 Netty(4)
NioEventLoopGroup 是 EventLoopGroup 的具体实现EventLoopGroup 是 一组 EventLoop通过构造器同时启动多个 EventLoop，来充分利用 CPU 资源每个 EventLoop 都维护一个 SelectorEventLoopGroup 提供 next 接口可以从组中按照一定规则获取一个 EventLoop 来执行任务通常一个 ServerSocketChannel 对应一个 Selector 和一个 EventLoop 线程BoosEve
2023-05-14 18:33:32
559
1
原创 Netty(3)
服务器可以回复消息给客户端 "Hello!i am server …" , 并 对特定请求资源进行过滤.Netty 服务器在 8090 端口监听，浏览器发出请求 http://localhost:9099/
2023-05-13 00:01:10
135
原创 Netty(2)
Netty 线程模式：Netty 主要基于主从 Reactor 多线程模型做了一定的改进，其中主从Reactor 多线程模型有多ReactorNetty 抽象出两组线程池 BoosGroup 和 WorkGroupBoosGroup 专门负责接收客户端连接WorkGroup 专门负责网络的读写BoosGroup、WorkGroup 类型都是 NioEventLoopGroup。
2023-05-05 23:32:24
757
原创 Netty(1)
1.Netty JBOSS 提供的 java 开源框架2.Netty 提供 异步、基于事件驱动的网络应用程序框架3.最流行的 NIO 框架，应用广泛。
2023-05-03 23:13:04
454
原创 Java IO 模型(4)
正常IO：file -> page cache -> application cache -> socket cache -> nic零拷贝：file - > page cache -> nic零拷贝优势：○ 减少的数据复制，减轻内存与CPU压力○ 减少用户态与内核态之间的来回切换java 中常用的零拷贝 mmap（内存映射）和 sendFile。
2023-04-28 21:43:02
71
原创 Java IO 模型(2)
1.一个线程通过 selector 处理多个客户端2.selector 能够检测其注册通道上是否发生事件，如果有事件则会根据不同的事件做相应的处理3.通过 selector 在不同的通道上切换，就达到使用一个线程处理多个客户端4.只有注册的通道真正发生读写请求时，才会进行读写5.使用单线程处理多个客户端，避免了多线之间的切换开销。
2023-04-26 00:56:39
39
原创 Flink - 基于时间窗口的操作（Flink - 定时器原理）
Timer（定时器）是Flink Streaming API提供的用于感知并利用处理时间/事件时间变化的机制定时器的特性。
2023-03-17 22:29:37
705
原创 Flink - 基于时间窗口的操作 - （Flink - 窗口原理）
Flink 基于时间窗口的操作，Flink 窗口原理、debug Flink 窗口全流程，一文理解 Flink 窗口原理
2023-03-06 00:40:16
536
1
原创 Flink API - ProcessFunction
Flink ProcessFunction、Flink Sate、Flink Trigger
2023-02-27 22:27:01
173
原创 Flink API - Watermark
Flink watermark、Flink watermark 原理、Flink watermark 源码
2023-02-20 00:36:56
254
原创 Flink API - 分布式转换算子
Flink 分布式转换算子、Random、Round-Robin、Rescale、Broadcast，StreamPartitioner、KeyGroupStreamPartitioner、RebalancePartitioner、RescalePartitioner、GlobalPartitioner、ShufflePartitioner、ForwardPartitioner、BroadcastPartitioner、SubtaskStateMapper 源码解析
2023-02-19 16:07:06
271
原创 Flink API - 基本转换算子
Flink 转换算子 map、fliter、flatmap，Flink 程序与数据流、Flink 支持的数据类型
2023-02-18 23:22:44
190
原创 Flink 初识
Flink 是一个能够对有界和无界流数据进行有状态计算的分布式流处理框架，它被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
2023-02-14 23:07:35
41
原创 升级Centos
升级Centos参考 https://www.cnblogs.com/configure/p/10918189.html https://blog.csdn.net/weixin_41970237/article/details/1081287681.查看旧版本cat /etc/redhat-release2.查看原始 Vault 库文件vim /etc/yum.repos.d/CentOS-Base.repo# CentOS-Base.repo## The mirror sys
2021-09-07 21:08:46
188
转载 什么是数据中台
转载:https://mp.weixin.qq.com/s/nXI0nSSOneteIClA7dming没有中台的时代在传统IT企业，项目的物理结构是什么样的呢？无论项目内部的如何复杂，都可分为“前台”和“后台”这两部分。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台即包括各种和用户直接交互的界面，比如web页面，手机app；也包括服务端各种实时响应用户请求的业务逻辑，比如商品查询、订单系统等等。什么是后台？后台并不直接面向用户，而是面向运营人员的配置管理系统，比如商
2021-06-11 20:31:12
1345
转载 Redis持久化 RDB AOF
转 https://www.cnblogs.com/renpingsheng/p/9786806.htmlRedis持久化1.什么是持久化持久化就是将数据从掉电易失的内存同步到能够永久存储的设备上的过程2.Redis为什么需要持久化redis将数据保存在内存中，一旦Redis服务器被关闭，或者运行Redis服务的主机本身被关闭的话，储存在内存里面的数据就会丢失如果仅仅将redis用作缓存的话，那么这种数据丢失带来的问题并不是非常大，只需要重启机器，然后再次将数据同步到缓存中就可以了但如果将r
2021-06-06 13:29:47
351
原创 flink-window 原理
flink-windowhttps://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/datastream/operators/windows/参考资料：http://wuchong.me/blog/2016/06/06/flink-internals-session-window/flink 是基于 Streaming 的世界观来处理 Batch 数据，而 window 就是 Streaming 与 Batch 的桥梁
2021-06-03 13:04:36
203
原创 Call failed on IOException org.apache.hadoop.hbase.DoNotRetryIOException
0: jdbc:phoenix:hadoop102:2181> drop table REALTIME_MALL.DIM_USER_INFO;21/05/20 21:47:14 WARN client.SyncCoprocessorRpcChannel: Call failed on IOExceptionorg.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: REA
2021-05-20 21:49:03
1013
1
原创 No archetype found in remote catalog. Defaulting to internal catalog
maven 构建报错 No archetype found in remote catalog. Defaulting to internal catalog下载archetype-catalog.xml文件放于自己的maven库中https://repo1.maven.org/maven2/archetype-catalog.xml
2021-04-10 19:16:42
89
原创 Kafka 设置手动偏移量重启异常
Kafka 设置手动偏移量重启异常问题描述：kafka分4个分区将偏移量保存redis中只要redis中DWD_ORDER_INFO主题的2分区重启后就会抛异常删除后可以成功运行，重启后又会出错ERROR (org.apache.spark.streaming.StreamingContext:logError) - Error starting the context, marking it as stoppedjava.lang.IllegalStateException: No curr
2021-04-09 22:41:21
386
原创 离线数仓搭建——3.打通组件
typora-root-url: images打通组件日志 --> flume --> kafka --> flume --> HDFS生产数据启动日志事件日志- 商品列表- 商品点击- 商品详情- 评论- 点赞- 收藏- 用户后台活跃- 消息通知- 广告- 错误生成数据jar包链接：https://pan.baidu.com/s/1bsaagUX2xACH1o7vB3b-Hw提取码：nz6d将java包上传到/opt/module/sc_
2021-04-04 19:10:14
258
1
原创 离线数仓搭建——2.组件安装
组件安装安装前准备1.创建用户 一个temp用户[root@bogon /]# adduser temp[root@bogon /]# passwd temp更改用户 temp 的密码 。新的 密码：无效的密码： 密码少于 8 个字符重新输入新的 密码：passwd：所有的身份验证令牌已经成功更新。[root@bogon /]# 2.将/opt 下的module software 权限修改为temp用户[root@bogon /]# chown -R temp:temp /opt
2021-04-03 00:00:44
408
原创 离线数仓搭建——1.hadoop编译
离线数仓搭建——1.hadoop编译hadoop源码编译下载地址https://hadoop.apache.org/release.htmlhttps://archive.apache.org/dist/hadoop/common/解压hadoop-3.1.3-src.tar.gz查看hadoop-3.1.3-src中的BUILDING.txt根据BUILDING.txt中的提示提前下载好需要的packageJDK:1.8https://www.oracle.com/cn/java/tec
2021-04-01 13:54:05
184
原创 交换排序——冒泡、快速排序
交换排序——冒泡、快速排序冒泡冒泡排序算法的原理如下：1.比较相邻的元素。如果第一个比第二个大，就交换他们两个。2.对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。3.针对所有的元素重复以上的步骤，除了最后一个。4.持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较动图演示代码实现package com.kc.c06_sort.test;import java.util.Arrays;public class T
2020-05-17 22:53:22
139
原创 二叉树前、中、后线索化及对应前、中、后序线索化遍历
二叉树前中后线索化及对应前中后序线索化遍历（图解）二叉树线索化都是套路，会一种另外两种只是稍微修改一下代码值得一提的是后序线索化输出，逆序思维将后序线索化看成前序，采用"前序线索化输出"代码更加简洁，也更好理解线索化基本介绍二叉树线索化百度百科介绍：https://baike.baidu.com/item/%E7%BA%BF%E7%B4%A2%E4%BA%8C%E5%8F%89%E6%A0%91/10810037?fr=aladdin以下面二叉树为例前序化流程图解创建节点对象 （使用数
2020-05-12 02:03:51
881
原创 数据结构与算法——链表
数据结构与算法——链表java实现单链表链表介绍简化图，实际存储并不一定这样添加操作直接添加到尾部/** * 直接添加到链表的最后 * * @param node */ public void add(Node node) { // 定义一个辅助节点用于寻找链表的最后 Node temp = head; while (true) { // 当下一个节点为空是结束循环 if (temp.getNext() == null) { brea
2020-05-08 17:53:15
126
原创 数据结构——队列
数据结构——队列主要针对初学者，大神可绕道，有兴趣请指点一二我这主要是用数组模拟循环队列，用链表模拟队列简直太简单了这里不提后序会跟新链表知识点首先了解一下队列的基本概念：队列是一个有序列表，可以用数组或是链表来实现遵循先入先出的原则。即：先存入队列的数据，要先取出。后存入的要后取出来看一张示意图从图中可以看出队列的输出、输入是分别从前后端来处理，因此需要两个变量 front及...
2020-05-07 09:00:38
114
原创 Oracle数据库安装
Oracle数据库安装本人踩了n个坑，经验总结，送给第一次安装的小伙伴1.检查你的windows版本检查你的windows版本这一步是第一次安装的人最容易被忘记的，安装之后发现Scott用户无法解锁，那你安装也就白忙活了。windows专业版才能安装使用Oracle我的电脑->点击鼠标右键->属性 查看你电脑的windows版本。一般情况电脑出厂时自带的是家庭版(我的已升级)...
2019-12-21 14:51:45
184
原创 判断字符串字符种类及个数
package com.wen.判断字符及对应个数;import java.util.ArrayList;import java.util.Scanner;public class JudgeCharDemo { public static void main(String[] args) { @SuppressWarnings("resource") Scanner sc = new Scanner(System.in); //键盘录入任意一个字符串 System.out.pr
2019-12-05 23:06:23
2508
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人