![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识梳理
文章平均质量分 93
无影风Victorz
纸上得来终觉浅,绝知此事要躬行 https://github.com/vicotorz
展开
-
《ClickHouse原理解析与应用实践》知识梳理
每个列字段的数据会被存储在对应的[Column].bin文件中,如果一个列字段被Nullable类型修饰后,会额外生成一个[Column].null.bin文件,专门保存它的Null值,意味着读取和写入需要一倍的额外文件操作。INSERT查询最终转换为Block数据块,单个数据块的写入过程具有原子性,每个数据块最多可以写入1048576行数据(由max_insert_block_size参数控制)MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段不可修改。.........原创 2022-07-29 20:59:27 · 1201 阅读 · 0 评论 -
《SRE Google运维解密》读书笔记
SRE团队职责:确保服务可以正常运转可用性改进 延迟优化 性能优化 效率优化 变更管理 (渐进式发布) 监控 紧急事务处理 容量规则与管理 (N+2 模式,google--> 15倍)SRE核心处理思想:灾难预演与演习 确保系统按照预想方式应对故障 寻找系统中未预料的弱点 寻找其他提高鲁棒性的方式避免事故发生 从组织架构层面关注 关注...原创 2020-04-06 21:24:34 · 988 阅读 · 0 评论 -
TopK 问题
问题:海量日志数据,提取出某日访问百度次数最多的那个IP分析:百度作为国内第一大搜索引擎,每天访问它的IP数量巨大,如果想一次性把所有IP数据装进内存处理,则内存容量明显不够,故针对数据太大,内存受限的情况,可以把大文件转化成(取模映射)小文件,从而大而化小,逐个处理。换言之,先映射,而后统计,最后排序。解法:具体分为以下3个步骤1.分而治之/hash映射 首先把这一天访问百度日...原创 2020-02-10 09:42:50 · 202 阅读 · 1 评论 -
《Flink原理、实战与性能优化》(Flink知识梳理一)
Stratosphere ---> FlinkSpark基于批处理原理,对流式计算相对较弱(本质上是对Hadoop架构进行了一定的升级和优化)有状态流式计算架构Flink通过实现Google Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架,支持高度容错状态管理,防止状态在计算过程中因为系统异常而丢失。周期性通过分布式快照技术Ch............原创 2020-04-08 23:29:45 · 7539 阅读 · 0 评论 -
计算机网络知识梳理
IP地址A类私有地址:10.0.0.0/8,范围是:10.0.0.0~10.255.255.255 B类私有地址:172.16.0.0/12,范围是:172.16.0.0~172.31.255.255 C类私有地址:192.168.0.0/16,范围是:192.168.0.0~192.168.255.255网络层与协议应用层(表示层 / 会话层) FTP / SMTP /..................原创 2020-02-02 12:38:54 · 360 阅读 · 0 评论 -
Guava工具包使用
Guava工具包含了若干被Google的 Java项目广泛依赖 的核心库,例如:集合 [collections] 缓存 [caching] 原生类型支持 [primitives support] 并发库 [concurrency libraries] 通用注解 [common annotations] 字符串处理 [string processing] I/O 等等引用&l...原创 2020-01-06 21:44:05 · 933 阅读 · 0 评论 -
Redis知识梳理
Redis:Remote Dictionary ServiceRedis特点:基于内存,速度快 支持丰富的数据类型 支持事务 可设置过期时间 可持久化数据(异步操作flush到硬盘上保存) value可达1GB 单进程单线程 读写分离: Master用来插入写,Slave用来检索读 受内存限制Redis适用场景:会话缓存(购物车信息) 全页缓存(FPC) ............原创 2019-12-04 22:32:58 · 961 阅读 · 1 评论 -
【Lambda】Lambda表达式
基本语法: (parameters) -> expression 或 (parameters) ->{ statements;}String[] atp = {"Rafael Nadal", "Novak Djokovic", "Stanislas Wawrinka", "David Ferrer","Roger Federer", ...原创 2019-09-17 23:02:04 · 144 阅读 · 0 评论 -
【知识梳理】Netty知识梳理
Netty 是一款异步的事件驱动的网络应用程序框架,支持快速地开发可维护的高性能的面向协议的服务器和客户端。拥有比Java核心API更高的吞吐量以及更低的延迟。阻塞IO缺点:(1)大量线程处于休眠状态(2)需要为每个线程的调用栈分配内存(3)上下文切换所带来的开销会非常麻烦非阻塞IO (NIO)class java.nio.channels.Selector 是Java的非阻塞I/O......原创 2019-05-22 21:57:03 · 1355 阅读 · 0 评论 -
【Shell】grep sed awk
grep [options] PATTERN-i:忽略大小写 --color:匹配到的字符用其他颜色显示出来 -v:显示没有匹配到的行 -o:只显示被模式匹配到的字符串,不显示行 -A n:显示该行及其后n行 -B n:显示该行及其前n行 -C n:显示该行及其前后各n行sed 用来把文档或字符串里的文字经过一系列编辑命令转换为另一种格式输出sed[-nefr......原创 2019-04-09 23:04:27 · 219 阅读 · 0 评论 -
vi和vim的区别
vi 和vim 的区别它们都是多模式编辑器,不同的是vim 是vi的升级版本,它不仅兼容vi的所有指令,而且还有一些新的特性在里面。vim的这些优势主要体现在以下几个方面:1. 多级撤消 我们知道在vi里,按 u只能撤消上次命令,而在vim里可以无限制的撤消。2. 易用性 vi只能运行于unix中,而vim不仅可以运行于uni...原创 2019-11-02 20:14:58 · 191 阅读 · 0 评论 -
【知识梳理】Mysql知识梳理
数据库连接池:c3p0 dbcp数据仓库的星型架构,雪花模型:上卷:从当前数据往上回归上层数据 下钻: 从当前数据展开下一层数据数据库范式:第一范式:无重复列 第二范式:1 表必须有主键 2 没有包含在主键的列必须完全依赖主键,而不能只依赖一部分 第三范式:2NF + 不能有传递依赖范式越多,表越多反范式:用空间换取时间,把数据冗余在多个表,避免表之间的............原创 2020-02-20 09:16:15 · 92 阅读 · 1 评论 -
【知识梳理】Python知识梳理
https://github.com/taizilongxu/interview_python#!/usr/bin/python#-*-coding:UTF-8-*-__init__.py 相当于主文件模块Python关键字:全局变量:global 返回值的字符串表达方式:repr 一次创建整个数组:range 一次创建一个生成器:xrangexrange(stop)......原创 2019-07-13 19:47:32 · 147 阅读 · 0 评论 -
【知识梳理】《Kafka权威指南》知识梳理
第1章 初识Kafka消息:Kafka数据单元批次:一组消息主题:Kafka通过主题进行分类,由于一个主题包含几个分区,因此无法保证整个主题范围内消息的顺序,但可以保证消息在单个分区内的顺序生产者、消费者:消费者把每个分区最后读取的消息偏移量保存在Zookeeper或kafka上,如果消费者关闭或重启,读取状态不会丢失消费者群组:会有一个或多个消费者共同读取一个主题,群组保证...............原创 2019-10-15 00:05:46 · 843 阅读 · 0 评论 -
【设计模式】设计模式梳理
工厂模式:简单工厂模式:定义一个工厂类,根据传入的参数不同返回不同的实例,被创建的实例具有共同的父类或接口适用场景: (1)需要创建的对象较少。 (2)客户端不关心对象的创建过程。工厂方法模式:每一个类型设置一个工厂,生产不同类型针对不同的对象提供不同的工厂。也就是说每个对象都有一个与之对应的工厂。定义一个用于创建对象的接口,让子类决定将哪一个类实例化............原创 2019-09-19 00:25:47 · 122 阅读 · 0 评论 -
Java易忘点梳理
<< 乘 >>除Collections.shuffle(array);小写转大写(相差32) c-'0'基本类型: 32位 64位 char 1 1 char* 4 8 short int 2 2 unsigned int 4 4 float 4 4 ...原创 2019-09-09 23:30:19 · 443 阅读 · 0 评论 -
Hadoop权威指南:知识梳理(二)
第12章 关于AvroApache Avro 独立于编程语言的数据序列化系统,支持压缩、可切分意在解决Hadoop中Writable类型的不足:缺乏语言的可移植性Avro模式通常用json编写Avro有丰富的模式解析能力,读数据所用的模式不必与写数据所用的模式相同Avro定义了少量的基本数据类型,通过编写模式的方式,可以被用于构建应用特定的数据结构基本类型:.........原创 2019-09-16 23:21:50 · 542 阅读 · 0 评论 -
Hadoop权威指南:知识梳理(一)
第一章:初识HadoopMapReduce三大设计目标:为只需要短短几分钟或几个小时就可以完成的作业提供服务 运行于同一个内部有高速网络连接的数据中心内 数据中心内的计算器都是可靠的、专门的硬件提供Hadoop支持的公司:Cloudera、Hortonworks、MapR等MapReduce: input --> map --> shuffle --> r.........原创 2019-09-16 22:35:59 · 1110 阅读 · 0 评论