C小C-CSDN博客

原创【Flink入门（7）】Flink的ProcessFunction API(底层API)

本节主要介绍flink中的ProcessFunction API(底层API)，主要是KeyedProcessFunction的基本使用和示例代码

2022-06-14 22:01:33 1148 2

原创【Flink入门（6）】Flink的状态管理（基础）

本节主要介绍flink中的状态管理（基础），包括：算子状态 Operator State和键控状态 Keyed State的概述与使用设置状态后端 State Backends

2022-06-08 15:25:09 968

原创【Flink入门（5）】Flink的时间语义与Watermark

flink中有3种时间语义，这里主要讲EvenTime事件时间，从数据的时间戳中提取，属于事件创建的时间，区别于数据到达时间（Ingestion Time）和处理时间（Processing Time）。Watermark（水位线）是一种处理乱序数据的机制，相当于扩宽window窗口以处理迟到数据。.......................................

2022-06-07 16:20:09 839

转载【题目】Linux MySQL忘记root密码时如何修改密码（转载）

Linux MySQL忘记root密码时如何修改密码

2022-06-05 17:43:06 636

原创【Flink入门（4）】Flink的Windows API

window是一种切割无限数据为有限块进行处理的手段，核心是将一个无限的stream拆分成有限大小的”buckets”桶，常见的有滚动窗口和滑动窗口。

2022-05-24 20:18:50 601

原创【Flink入门（3）】Flink的流处理API

引言flink流处理API主要分为4部分：Environment环境、Source数据源、Transform转换、Sink输出。

2022-04-29 20:34:33 2251

原创【Flink入门（2）】Flink运行时架构

【Flink入门（2）】Flink运行时架构，包括4大组件和任务调度过程等

2022-04-28 18:51:24 2685 1

原创【Flink入门（1）】Flink简介与部署

本文是第一部分：Flink简介与部署。Flink是一款分布式的流处理框架。

2022-04-22 22:06:43 1564

原创【Linux】iptables进行防火墙设置以使得可以访问虚拟机的端口

有的应用在VMWare虚拟机上运行的，想要在物理机上访问对应的应用端口，如flink的web UI（默认端口8081）、tomcat（默认端口8080）等。由于linux的防火墙限制，往往无法访问，需要使用 iptables命令设置防火墙规则放开端口访问。

2022-03-09 20:48:08 2208 2

转载【转】MySQL大小写敏感的解决方案

转载MySQL大小写敏感的解决方案，主要介绍MySQL大小写敏感的设置方法，包括表名大小写敏感设置和匹配字段值大小写敏感设置两部分。

2022-01-13 13:16:21 12006

原创【gopl读书笔记（10）】第十章 go包和工具

本章介绍golang的包（package）与包工具的使用，包括：包声明（package XXX）包导入（import XXX,匿名导入）go工具使用工作区结构（src保存,go源文件、pkg保存中间编译结果.a、bin保存可执行文件）下载包：go get构建包：go build、go install、go run包文档：go doc命令与godoc工具查询包：go list命令

2022-01-07 17:27:49 7356

本章介绍golang的程序结构与组成，包括：命名（变量名等标识符的命名规则）声明语句（var、const、type和func等）变量（零值初始化机制、简短声明:=、指针、new函数创建匿名变量并返回指针、生命周期）赋值（元组赋值：允许同时更新多个变量的值，如x, y = y, x实现交换）类型（type关键字自定义类型，语法：type 类型名字底层类型）包和文件包的导入：导入路径时需要导入从module开始的完整路径（工作路径的module或根据go.mod控制依赖的module）包的初

2022-01-05 20:52:36 570

原创【gopl读书笔记（1）】第一章入门

本章主要通过helloworld讲述了go语言的基本使用，并通过一些案例介绍go的一些特性。入门（go的代码结构）命令行参数 os.Args相关内置库的使用（os.Stdio/os.Open()/bufio库进行IO/image库画图/http库进行web开发等）go指令（go run/build/get等）

2022-01-04 13:32:13 669

原创【《高性能MySQL》读书笔记(5)】第5章创建高性能的索引

一、简介本章主要介绍了MySQL索引的相关内容，包括：索引基础：介绍B-Tree 索引、哈希索引等索引的优点：减少了服务器需要扫描的数据量、避免排序和临时表、将随机 I/O 变为顺序I/O。高性能的索引策略：前缀索引和索引选择性、多列索引、选择合适的索引列顺序、聚簇索引、覆盖索引、使用索引扫描来做排序、检查冗余和重复索引以及未使用的索引。维护索引和表：1 找到并修复损坏的表、2 更新索引统计信息2 更新索引统计信息、3 减少索引和数据的碎片

2021-12-28 13:52:07 775

原创【《高性能MySQL》读书笔记(2) 】第2章 MySQL 基准测试

本章主要介绍了MySQL的基准测试，包括：基准测试的作用：测试系统当前的运行情况/压测/寻找性能瓶颈基准测试的策略：针对整个系统的整体测试的集成式（ full-stack）基准测试/单独测试 MySQL的单组件式（ sing component ）基准测试。测试指标：吞吐量(throughput ）/响应时间或者延迟（latency）/并发量/可扩展性基准测试方法：测试、记录数据、计算指标、分析。基准测试工具：ab、load_http；单独测试MySQL：sysbench/MySQL Bench

2021-12-21 16:56:20 989

原创【《高性能MySQL》读书笔记(1)】第1章 MySQL架构与历史

本章主要介绍了MySql的架构和历史，以及常见的一些概念，包括：MySQL 逻辑架构（分层架构）：连接层（连接池、安全认证等）+服务层（解析器、优化器、查询缓存等）+数据存储引擎并发控制：读写锁、锁粒度（表锁、行锁）事务：事务的ACID、隔离级别、事务的预写式日志（redo日志，Write Ahead Logging）多版本并发控制MVCC：具体讲解了RR可重复读隔离级别下的MVCC实现。存储引擎：简要介绍了InnoDB、MyISAM等引擎，以及其他内置和外置的存储引擎。通过SHOW TABLE

2021-12-20 15:43:17 539

原创【Spark入门（4）】SparkStreaming基础

SparkStream主要是通过DStream抽象来实现伪流式计算（微批次，准实时），主要内容包括：DStream抽象：离散化流(discretized stream)，DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为 RDD 存在。DStream的操作，底层是RDD，分为无状态操作（transform，保留当前采样区间的数据）和有状态操作（UpdateStateByKey、window）DStream创建：自定义数据源需要继承Receiver，并实现 onSta

2021-12-08 21:03:05 443

原创【Spark入门（3）】SparkSQL基础

本文是课程尚硅谷大数据Spark教程的SparkSQL基础部分的思维导图。SparkSQL主要是通过sql语句来简化RDD的开发流程

2021-12-01 20:12:42 1680

原创【《深入理解计算机系统》读书笔记(4) 】第4章处理器体系结构

本章主要主要介绍了处理器体系结构（指令集体系结构ISA），并以自定义的简化后的Y86-64为例进行介绍

2021-11-29 13:41:47 563

原创【《Redis深度历险》读书笔记(5)】应用（5-9）布隆过滤器、简单限流、漏斗限流、GeoHash、Scan

本章主要主要介绍了Redis 布隆过滤器、简单限流、漏斗限流、GeoHash、Scan的应用

2021-11-25 21:42:05 649

原创【《Redis深度历险》读书笔记(4)】应用（1-4）分布式锁、延时队列、位图、HyperLogLog

本章主要主要介绍了Redis 分布式锁、延时队列、位图、HyperLogLog的应用。

2021-11-25 13:19:38 559

原创【《Redis深度历险》读书笔记(3)】源码（5-7）探索跳跃列表(skiplist)、紧凑列表（listpack）、基数树（Rax）内部结构

本章主要主要介绍了Redis 跳跃列表(skiplist)、紧凑列表（listpack）、基数树（Rax）内部结构。

2021-11-23 17:08:45 755

原创【《深入理解计算机系统》读书笔记(3)】第3章程序的机器级表示

《深入理解计算机系统》读书笔记(3) 第3章程序的机器级表示本章主要主要介绍了跟汇编有关的相关知识（以x86-64为例子）

2021-11-19 17:36:19 906

原创【《Redis深度历险》读书笔记(2)】源码（1-4）:探索字符串、字典、压缩列表（ziplist）、快速列表（quicklist)内部结构

【时间】2021.11.17【题目】【《Redis深度历险》读书笔记(2)】源码（1-4）:探索字符串、字典、压缩列表（ziplist）、快速列表（quicklist)内部结构本栏目是《Redis深度历险：核心原理和应用实践》的读书笔记。目录一、简介二、一些重点图1、SDS的结构2、SDS的两种编码方式3、dict的内部结构（包含2个HashTable）1）dict的内部结构2）HashTable结构4、zipList内部结构1）zipList...

2021-11-17 20:19:38 575

原创【《Redis深度历险》读书笔记(1)】基础：万丈高楼平地起 ——Redis 5种基础数据结构

【时间】2021.11.16【题目】【《Redis深度历险》读书笔记(1)】基础：万丈高楼平地起 ——Redis 基础数据结构本栏目是《Redis深度历险：核心原理和应用实践》的读书笔记。一、简介本章主要主要介绍了Redis 5种基础数据结构，分别为：string (字符串)、list (列表)、set (集合)、hash (哈希) 和 zset (有序集合)。内容主要包括他们的基本底层实现和使用。二、一些重点图1、List的底层结构：快速列表2、Zse...

2021-11-16 17:29:19 976

原创【设计模式入门(6)】案例_自定义Spring IOC框架

【时间】2021.11.13【题目】设计模式入门(6) 案例_自定义Spring IOC框架一、引言本文是视频教程【设计模式详解】的设计模式入门(6) 案例_自定义Spring IOC框架部分的思维导图。视频链接：案例_自定义Spring IOC框架主要包括以下内容： 1、主要通过自定义Spring IOC框架，主要初步设计以下接口或类,体会Spring的IOC和DI依赖注入：容器类接口：BeanFactory...

2021-11-13 17:35:25 467

原创【《深入理解计算机系统》读书笔记(2)】第2章信息的表示与处理

【时间】2021.11.11【题目】《深入理解计算机系统》读书笔记(2) 第2章信息的表示与处理目录一、简介二、一些重点图1、C语言数据类型在32bit/64bit系统中的位数2、多字节对象的小端法/大端法表示3、二进制小数表示4、IEEE浮点数表示5、IEEE浮点数数值的分类6、4种舍入方式三、思维导图一、简介本章主要主要介绍了信息的表示与运算，如：多字节对象的表示（地址+字节顺序）整型（无符号/补码有符号...

2021-11-11 14:07:17 1308

原创【设计模式入门(5)】11种行为型模式之后5种（中介者模式、迭代器模式、访问者模式、备忘录模式、解释器模式）

【时间】2021.11.10【题目】设计模式入门(5) 11种行为型模式之后5种（中介者模式、迭代器模式、访问者模式、备忘录模式、解释器模式）一、引言本文是视频教程【设计模式详解】的11种行为型模式之后5种（中介者模式、迭代器模式、访问者模式、备忘录模式、解释器模式）部分的思维导图。视频链接：11种行为型模式之后5种一句话理解：中介者模式：使用中介者管理同事类之间的交互，形成星型结构以降低耦合度迭代器模式：使用迭代器对象用于访问聚合对象（如容器List）中的数据，而不..

2021-11-10 15:08:01 459

原创设计模式入门(4) 11种行为型模式之前6种（模板方法模式、策略模式、命令模式、责任链模式、状态模式、观察者模式）

【时间】2021.11.08【题目】设计模式入门(4) 11种行为型模式之前6种（模板方法模式、策略模式、命令模式、责任链模式、状态模式、观察者模式）一、引言本文是视频教程【设计模式详解】的11种行为型模式之前6种（模板方法模式、策略模式、命令模式、责任链模式、状态模式、观察者模式）部分的思维导图。11种行为型模式之前6种一句话理解：模板方法模式：定义模板方法，父类提供模板方法指定各个步骤的执行顺序等，而步骤的具体实现延迟到子类中实现，如InputStream的read()方法定..

2021-11-08 16:50:09 224

原创【《深入理解计算机系统》读书笔记(1) 】第1章计算机系统漫游

【时间】2021.11.05【题目】《深入理解计算机系统》读书笔记(1)第1章计算机系统漫游一、简介本文主要是第1章计算机系统漫游的思维导图本章主要主要介绍了计算机系统的基本概念，通过hello.c代码的运行过程漫游计算机系统的各个部分。二、一些重点图1、编译系统2、典型的计算机系统硬件组成3、高速缓存存储器4、存储器的层次结构5、操作系统提供的3个基本抽象6...

2021-11-05 16:09:07 209

原创【设计模式入门(3)】 7种结构型模式（代理模式、适配器模式、装饰器工厂模式、桥接模式、外观模式、组合模式、享元模式）

【时间】2021.11.03【题目】设计模式入门(3) 7种结构型模式（代理模式、适配器模式、装饰器模式、桥接模式、外观模式、组合模式、享元模式）一、引言本文是视频教程【设计模式详解】的7种结构型模式（代理模式、适配器模式、装饰器模式、桥接模式、外观模式、组合模式、享元模式）部分的思维导图。7种结构型模式视频链接一句话理解：代理模式：中介，静态代理+JDK动态代理+CGLib动态代理适配器模式：转接头，如InputStreamRead 装饰器模式：给构件添加“装饰”形成新的..

2021-11-03 17:24:11 203

原创【设计模式入门(2)】 5种创建者模式（单例模式、工厂方法模式、抽象工厂模式、原型模式、建造者模式）

【时间】2021.11.01【题目】设计模式入门(2) 5种创建者模式（单例模式、工厂方法模式、抽象工厂模式、原型模式、建造者模式）一、引言本文是视频教程【设计模式详解】的5种创建者模式（单例模式、工厂方法模式、抽象工厂模式、原型模式、建造者模式）部分的思维导图。创建者模式视频链接二、思维导图...

2021-11-01 13:31:11 168

原创【Spark入门（2）】SparkCore之RDD核心编程

【时间】2021.10.26【题目】【Spark入门（2）】SparkCore之RDD核心编程一、引言本文是课程尚硅谷大数据Spark教程的SparkCore之RDD核心编程部分的思维导图。包括RDD的转换算子和行动算子、累加器、广播变量的基本使用等。视频链接：SparkCore之RDD核心编程二、思维导图...

2021-10-26 20:41:35 452

原创【Spark入门（1）】SparkCore之概述与运行环境

【时间】2021.10.15【题目】【Spark入门（1）】Spark概述与运行环境一、引言本文是课程尚硅谷大数据Spark教程的Spark概述与运行环境部分的思维导图。Spark概述与运行环境二、思维导图...

2021-10-15 17:13:09 150

原创【Hadoop入门（5）】源码解析（笔记）

【时间】2021.10.13【题目】【Hadoop入门（5）】源码解析一、引言本文是课程尚硅谷大数据Hadoop 3.x的源码解析部分的思维导图。尚硅谷大数据Hadoop 3.x（全新升级/部署+源码+实战）二、源码解析思维导图三、各部分工作流程3.1NameNode工作机制3.2DataNode工作机制3.3HDFS的写数据流程3.4YARN工作机制3.5MapReduce工作流程...

2021-10-13 18:20:23 278 1