THE WHY-CSDN博客

原创大数据开发学习笔记汇总篇

本文介绍了大数据开发各个框架的学习笔记，包括Hadoop、spark、kafka、clickhouse、hbase、hive、flink、airflow、zookeeper、flume等，未完待续

2023-11-15 15:25:15 344

原创 Windows&软件开发常用技巧总结

本文总结了本人在日常工作学习中遇到的问题及其解决方法目前涉及：windows操作系统使用、IDEA使用

2023-07-11 22:57:04 498

原创【微信小程序】服务端上传文件到微信云托管的对象存储中

本文介绍了微信小程序的服务端如何上传文件到微信云托管的对象存储服务中，主要包括上传链接的获取以及文件上传两部分操作；服务端代码基于springboot框架进行搭建

2024-07-27 23:12:03 637

原创 SpringBoot中@Autowired报错：Could not autowire. No beans of ‘RocketMQTemplate‘ type found

SpringBoot中@Autowired报错：Could not autowire. No beans of 'RocketMQTemplate' type found

2024-02-27 18:51:29 660

原创 RocketMQ学习笔记（2）—— 集成SpringBoot

本文介绍了rocketmq集成springboot的具体情况，包括生产者消息发送以及消费者监听的基本操作，以及消费者的两种消费模式、消息堆积问题、消息丢失问题以及安全机制等内容

2024-02-27 18:42:13 915

原创【总结】Maxwell学习笔记

本文介绍了maxwell的简单使用，包括其安装部署以及如何进行增量数据同步和历史数据全量同步等内容

2024-02-26 21:52:18 1327

原创 RocketMQ学习笔记（1）—— 基础使用

本文介绍了中间件rocketmq的简单使用，包括rocketmq的概述、安装以及启动、面板监控，原生API简单使用，消息发送机制等内容，以及一些常见问题，如重试机制、死信问题以及重复消费问题（未完待续~）

2024-02-26 21:47:02 977 2

原创 Maxwell查询databases表报错：You have an error in your SQL syntax；

Maxwell查询databases表报错：You have an error in your SQL syntax;check the manual that corresponds to your MySQL server version for the right syntax to use near 'databases' at line 1

2024-02-04 16:32:10 392

原创 Maxwell启动报错com.zendesk.maxwell.schema.ddl.InvalidSchemaError: Couldn‘t find database ‘test‘

Maxwell启动报错com.zendesk.maxwell.schema.ddl.InvalidSchemaError: Couldn't find database 'test'

2024-02-04 16:30:40 424

原创 Flink多流转换（2）—— 双流连结

本文介绍了Flink多流转换中的双流联结部分

2024-01-25 21:30:29 1368

原创 Flink多流转换（1）—— 分流&合流

本文介绍了flink多流转换中的分流和河流

2024-01-23 22:30:08 1792

原创 Flink处理函数（3）—— 窗口处理函数

本文介绍了Flink处理函数中的窗口处理函数

2024-01-20 16:53:05 768

原创 Flink处理函数（2）—— 按键分区处理函数

本文介绍了Flink处理函数中按键分区处理函数的使用

2024-01-20 16:50:46 1221

原创 Dinky创建Flink实例报错

本文介绍了Dinky创建Flink实例失败的问题描述及解决方法，报错信息为Duplicate entry 'yarn-session-1.13-1' for key 'dlink_cluster_un'

2024-01-17 08:17:50 1526

原创 Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster

Flink启动yarn session报错：Permission denied: user=root,access=WRITE,inode="/user":why:supergroup:drwxr-xr-x

2024-01-16 19:29:39 1000

原创【教程】集群搭建准备工作全流程

本文介绍了如何基于VMware创建虚拟机进行集群搭建的环境配置，包括VMware安装使用、模板虚拟机创建及环境配置、Xshell和Xftp的安装使用、虚拟机的克隆及环境配置等内容

2024-01-16 17:30:48 1575

原创【总结】Dinky学习笔记

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践；本文介绍了Dinky框架的基础内容，包括Dinky概述、安装部署、集群注册、作业提交运行、以及持久化Catalog、变量定义、CDCSOURCE整库同步、UDF开发、用户管理、告警信息等内容

2024-01-15 19:20:44 2909 3

原创 Flink 处理函数（1）—— 基本处理函数

本文介绍了Flink处理函数中的基本处理函数ProcessFunction

2024-01-15 18:42:32 1157

原创 Flink窗口（2）—— Window API

本文介绍了Flink窗口的Window API内容，包括窗口分配器以及窗口函数两部分

2024-01-13 21:03:10 1330

原创【教程】微信小程序如何拍摄图片及视频并上传到后台进行存储

本文介绍了微信小程序如何拍摄照片以及视频并上传到后台进行持久化存储，内容包括微信小程序wx.chooseMedia、wx.uploadFile等API的使用以及Flask接口开发的简单使用

2024-01-13 20:46:11 5043 4

原创 Flink 窗口（1）—— 基础概念

本文介绍了Flink框架中窗口的基本概念

2023-12-20 16:25:33 1117

原创 iceberg学习笔记（2）—— 与Hive集成

本文介绍了iceberg框架如何与hive进行集成

2023-11-20 22:18:22 1594

原创 Iceberg学习笔记（1）—— 基础知识

本文介绍了数据湖框架iceberg的基础知识

2023-11-20 22:11:29 505

原创 Zookeeper实战案例（1）

本文介绍了一个Zookeeper 服务器动态上下线监听的案例

2023-11-19 16:07:35 640

原创 Zookeeper学习笔记（2）—— Zookeeper API简单操作

zookeeper中API的简单操作

2023-11-19 16:03:51 566

原创 Flume学习笔记（4）—— Flume数据流监控

本文介绍了flume中如何通过ganglia进行数据流的监控

2023-11-18 11:08:39 800

原创 Flume学习笔记（3）—— Flume 自定义组件

本文介绍了flume如何自定义interceptor、source、sink等组件

2023-11-18 11:04:59 1007

原创 Flume学习笔记（2）—— Flume进阶

本文介绍了flume的进阶操作，主要是其拓扑结构，并以具体的实例介绍了flume如何实现多路复用、负载均衡和故障转移，以及聚合操作

2023-11-17 16:23:39 762

原创 Flume学习笔记（1）—— Flume入门

本文介绍了flume入门相关的知识，包括flume基础架构，安装部署以及四个入门案例，介绍了常用的hdfs sink、spooldir source、taildir source等

2023-11-17 16:19:57 837

原创 Zookeeper学习笔记（1）—— 基础知识

本文介绍了zookeeper框架的基础知识，包括工作机制、集群搭建流程、leader选举机制以及命令行操作等内容

2023-11-15 23:49:39 1187 1

原创 HBase学习笔记（3）—— HBase整合Phoenix

本文介绍了hbase如何与phoenix结合使用，主要目的是使用sql操作hbase

2023-11-14 15:09:39 1450

原创 Clickhouse学习笔记（15）—— Clickhouse备份

本文介绍了clickhouse的数据备份方法，包括手动备份和使用clickhouse-backup进行备份

2023-11-14 15:03:17 1572

原创 Clickhouse学习笔记（14）—— Clickhouse监控

本文介绍了如何通过Prometheus + Grafana 对ck的运行情况进行监控，Prometheus 负责收集各类系统的运行指标；Grafana 负责可视化

2023-11-13 12:49:43 740

原创 Clickhouse学习笔记（13）—— Materialize MySQL引擎

本文介绍了clickhouse中如何使用Materialize MySQL引擎

2023-11-13 12:42:56 955

原创 Clickhouse学习笔记（12）—— 物化视图

本文介绍了clickhouse物化视图的相关知识

2023-11-12 13:16:36 928

原创 Clickhouse学习笔记（11）—— 数据一致性

本文介绍了clickhouse数据一致性的相关操作

2023-11-12 13:12:27 714

原创 Clickhouse学习笔记（10）—— 查询优化

本文介绍了clickhouse的查询优化相关内容

2023-11-12 13:06:22 2084

原创 Clickhouse学习笔记（9）—— 语法优化

本文介绍了Clickhouse的语法优化规则，并给出了使用官方数据集进行测试的详细示例

2023-11-12 10:23:27 407

原创 Clickhouse学习笔记（8）—— 建表优化

本文介绍了clickhouse建表优化的一些技巧，以及服务器常见参数的一些配置方法

2023-11-12 10:15:40 737

Dinky 是一个开箱即用、易扩展，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践其核心特性为： 1. 沉浸式：提供专业的 DataStudio 功能，支持全屏开发、自动提示与补全、语法高亮、语句美化、语法校验、调试预览结果、全局变量、MetaStore、字段级血缘分析、元数据查询、FlinkSQL 生成等功能 2. 易用性：Flink 多种执行模式无感知切换，支持 Flink 多版本切换，自动化托管实时任务、恢复点、报警等，自定义各种配置，持久化管理的 Flink Catalog 3. 增强式：兼容且增强官方 FlinkSQL 语法，如 SQL 表值聚合函数、全局变量、CDC 整库同步、执行环境、语句合并、共享会话等 4. 一站式：提供从 FlinkSQL 开发调试到上线下线的运维监控及 SQL 的查询执行能力，使数仓建设及数据治理一体化 5. 易扩展：源码采用 SPI 插件化及各种设计模式支持用户快速扩展新功能

2024-01-15

微信小程序上传图片视频到后台存储demo

本资源包括微信小程序上传图片视频到后台存储功能的完整前后端代码：前端代码是一个简单的微信小程序demo，可以直接打开使用后端代码是一个flask文件，可以直接运行具体教程可以参考：https://blog.csdn.net/qq_51235856/article/details/135575409 有任何问题欢迎私信讨论

2024-01-14

ClickHouse入门学习笔记

clickhouse入门学习笔记，包括以下内容： 1.基础知识入门 2.数据类型介绍 3.目录结构介绍 4.表引擎介绍 5.常用SQL 6.副本机制 7.分片集群机制 8.执行计划介绍 9.建表优化规则 10.语法优化规则 11.查询优化规则 12.数据一致性机制 13.物化视图 14.MySQL引擎 15.常见问题总结 16.如何进行监控 17.如何进行备份

2023-11-12

IoC容器的设计（利用反射、注解和工厂模式实现）

实验要求 1. 利用注解、反射和工厂模式设计一个简单的IoC容器 2. 该IoC容器包含3个注解和一个IoC容器类（AnnotationConfigApplicationContext），其定义如下：注解含义 @Component 标注Bean @Autowired 标注需要被注入的对象 @Configuration 标注为配置类 @ComponentScan 注解扫描器 3.自定义两个业务类Group和User，创建一个测试类Test，对IoC容器进行测试；实验思路：我们需要将自定义四个注解，然后将Group和User类使用@Component注解，在User类中创建Group类的实例化对象并设置为自动装配，这样就能在User类中调用Group类的方法；然后我们需要自己实现一个IoC容器类，处理自定义的注解的基本逻辑；接下来在test类中实例化IoC容器，并从中取得bean，调用其方法

2023-06-24

基于S/Key协议的身份认证系统设计与实现

使用python语言，基于服务端/客户端实现身份认证协议： S/Key协议身份认证流程如下： 1.初始化 ①用户在客户端输入用户名（应限制用户名的格式，如长度、包含的字符等），并将其发送到服务器 ②服务器接收到客户端发送来的用户名，判断该用户名是否已经注册，如果未注册，则向用户发送一个种子:SEED（注意：客户端每次向用户发送的种子应当不同）；然后再服务器端应当保存该用户名 ③客户端接收到种子之后进行预处理：先将用户名和种子拼接成一个字符串，然后对该字符串进行MD5哈希，再将MD5加密后的结果前16字节和后16字节进行异或运算，结果记为S 2.生成口令序列 ①对S进行MD5哈希，得到口令 ②将第一个口令发送到服务器，作为初始登录的密码；接下来依次使用第2—N个口令进行登录 3.登录流程 ①用户输入口令序列，将输入的内容发送到服务器，在服务器通过对保存下来的密码进行MD5哈希，与口令序列进行比对，验证口令是否正确 ②在用户输入用户名时，如果用户名已注册，则直接使用注册时生成的口令序列依次登录 ③如果口令验证成功，则服务器生成验证码，发送给用户，用户输入验证码进行登录

2023-05-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

dinky（0.7.3）学习笔记

微信小程序上传图片视频到后台存储demo

ClickHouse入门学习笔记

IoC容器的设计（利用反射、注解和工厂模式实现）

基于S/Key协议的身份认证系统设计与实现

信息系统安全期末复习资料

基于微信小程序的推箱子小游戏

基于unity 3D的赛车游戏

空空如也