- 博客(28)
- 收藏
- 关注
RSS订阅原创 ClickHouse整理
文章目录1. ClickHouse 概述2. ClickHouse 入门2.1. 数据类型2.1.1. 整形2.1.2. 浮点型2.1.3. Decimal 型2.1.4. 字符串2.1.5. 枚举类型2.1.6. 时间类型2.2. SQL操作2.2.1. 特殊函数2.2.2. 修改表结构2.2.3. 导出数据3. 表引擎3.1. TinyLog3.2. Memory3.3. MergeTree3.3.1. partition by 分区(可选)3.3.2. primary key 主键(可选)3.3.3
2022-03-04 18:10:40
1990
原创 Flink整理
文章目录1. Flink 概述1.1. Flink 特点1.2. Flink 和 Spark Streaming 对比2. Filnk 运行架构2.1. Yarn 任务运行流程2.2. Flink 线上部署2.3. Flink 运行组件2.3.1. Flink Client 客户端2.3.2. JobManager 作业管理器2.3.3. ResourceManager 资源管理器2.3.4. TaskManager 任务管理器2.3.5. Dispatcher 分发器3. Flink API3.1. T
2022-03-04 17:58:13
379
原创 Spark整理
文章目录1. 概述1.1. Spark 和 Hadoop 组成1.2. Spark 和 Hadoop 区别2. Spark 运行架构2.1. 基础架构2.2. Master & Worker(Standalone模式)2.3. ApplicationMaster3. Spark 编程3.1. 数据结构3.2. RDD算子类型3.2.1. RDD转换算子3.2.2. RDD行动算子3.2.3. RDD控制算子3.3. RDD作业的划分3.4. Job的调度模式3.5. RDD阶段划分3.6. RDD依
2022-03-04 17:34:34
1174
1
原创 Hive整理
文章目录1. Hive 概述2.1. Hive 优缺点2.2. Hive 基础架构2. HQL 转化为 MR 过程3. Hive和RDBMS有什么异同4. Hive 元数据保存方式5. 内部表 和 外部表6. Hive 如何进行权限控制7. 文件存储格式7.1. 列式存储和行式存储7.2 TextFile，SequenceFile，ORCFile 及 ParquetFile 存储格式8. Hive 自定义函数8.1. Hive 函数类型8.2. 自定义函数9. Hive 多表Join9.1. Join 类型
2022-03-04 17:09:40
785
原创 Kafka整理
文章目录1. Kafka 概述1.1. Kafka 特点2. Kafka 架构2.1. Kafka 文件存储机制2.2. Kafka 生产者2.2.1. 分区策略2.2.2. 生产数据可靠性保证2.2.4. Exactly Once 生产2.3. Kafka 消费者2.3.1. 消费方式2.3.2. 分区分配策略2.3.3. offset 的维护2.3.4. 消息消费可靠性保证3. Kafka 事务3.1. Producer 事务3.2. Consumer 事务4. Zookeeper 作用Kafka 知识
2022-03-04 17:01:43
484
原创 Flume整理
文章目录1. Flume 概述2. Flume 基础架构3. Flume 拓扑结构3.1. 简单串联3.2. 复制和多路复用3.3. 负载均衡和故障转移3.4. 聚合4. Flume 项目应用4.1. 采集Flume4.2. 聚合 Flume6. Flume 事务6.1. Put 事务(推送事件：Source -> Channel)6.2. Take 事务(拉取事件：Channel -> Sink)7. Flume 监控8. Flume 采集数据会丢失吗？1. Flume 概述Flu
2022-03-04 16:28:18
1243
原创 HBase整理
文章目录1. 概述1.1. Hbase 特点1.2. Hbase 和 Hive2. Hbase 数据模型2.1. 逻辑结构2.2. 物理存储结构3. Hbase 设计架构3.1. Hbase基本架构3.2. RegionServer 架构4. Hbase读写流程4.1. Hbase 写流程4.2. Hbase 读流程4.3. StoreFile Compaction4.3. Region Split5. Hbase 优化5.1. 减少调整5.2. 写数据优化5.3. 读数据优化5.4. Row Key 和
2022-03-04 11:45:47
783
原创 Zookeeper整理
文章目录1. ZK 概述1.1. ZK 数据结构1.2. ZK 特点1.3. ZK 应用场景1.3.1. 统一命名服务1.3.2. 统一配置管理1.3.3. 统一的集群管理1.3.4. 服务器动态上下线1.3.4. 软负载均衡2. ZK 组成2.1. ZK 服务节点2.2. ZK 客户端2.3. ZK Znode节点2.4. 监听器2.4.1. Watch 监听点2.4.2. 监听机制2.4.3. 监听注意事项2.5. ZK 端口3. ZK 选举机制3.1. 首次启动3.2. 非首次启动4. ZK 同步机制
2022-03-03 18:27:14
417
原创 MapReduce整理
文章目录1. MapReduce 概述2. MapReduce的优缺点2.1. 优点2.2. 缺点3. MapReduce 核心思想3.1. MapReduce 计算流程3.2. MapReduce 编程规范4. MapReduce [反]序列化5. MapReduce 框架原理5.1. 切片与 MapTask 并行度决定机制5.2. ReduceTask 并行度决定机制5.3. Job提交流程源码解析5.4. FileInputFormat 切片源码解析6. MapReduce 切片机制6.1. File
2022-02-23 10:32:56
758
原创 HDFS整理
文章目录1. HDFS 概述2. HDFS 优缺点2.1. 优点2.2. 缺点3. HDFS 组成架构3.1. NameNode3.2. DataNode3.3. Client3.4. Secondary NameNode4. HDFS 读写流程4.1 HDFS 写数据流程4.2 HDFS 读数据流程5. NameNode 高可用5.1 SecondName 方案5.2 HDFS HA 方案5.2.1. HDFS HA 工作要点5.2.2. HDFS-HA 自动故障转移工作机制5.3 单点故障 与 脑裂6.
2022-02-13 13:07:17
680
原创 Conda
文章目录前言一、conda 是什么？二、安装 Miniconda三、conda 常用命令前言 目前python越发流行，越来越多的工具使用python进行开发。由于 python2.x 和 python3.x 都有一定的应用市场，同台机器同时需要 python2.x 和 python3.x 环境的情况就并不少见了。为了让机器同时兼容 python 的各个版本，可以考虑使用pyhthon环境管理器 conda 一、conda 是什么？ conda是一个 开源的包、环境管理器，可
2021-10-13 10:52:43
1069
原创 Azkaban
文章目录前言一、Azkaban是什么？二、Azkaban与其他的工作流调度系统1.简单的任务调度系统2.复杂的任务调度三、Azkaban架构四、Azkaban配置basic.flow 基础配置basic.flow条件工作流前言 随着数据分析系统的逐渐完善，现今一套成熟的数据分析系统都是大量 任务单元 组成，且各个任务单元之间存在 时间或者依赖关系，为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。Azkaban作为一套成熟，轻量且功能完善的任务调度系统，可以胜任的充当任务调度的
2021-10-12 15:30:08
373
1
原创 为什么 1 字节表示的数值范围是 127 ～ -128
问题 为什么 1 字节表示的数值范围是 127 ～ -128?一、基本单位 bit (比特): 表示二进制位，位是计算机内部数据储存的最小单位。一个二进制位可以表 示0, 1两种状态，两个二进制位可以表示00, 01, 10, 11四种状态 … byte (B, 字节): 八个二进制位(bit)为一子节(byte)，字节是计算机中数据处理的基本单位。 一个字节数通常有三种表示，即原码, 反码和补码。 kilobyte (KB): 十进制中，通常将原单位的1000倍作
2021-07-14 15:40:24
5029
5
原创 Linux & Shell
Shell脚本基础文章目录Shell脚本基础一、Shell是什么二、Shell基本语法1.变量2.流程控制 条件判断 if判断 case判断 for循环 while循环3.函数 系统函数 自定义函数4.shell工具总结一、Shell是什么 Shell是一个命令行解释器，它能够通过接收 应用程序/用户 的命令，去调用操作系统内核，从而完成程序指令。Shell是用户操作Linux系统的指令，同时，Shell还是一个功能相当强大的编程语言，具有易编写，易调试，灵活
2021-07-07 16:00:32
170
原创 Hadoop全集1-Hadoop简介
# 系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参
2021-07-05 18:49:16
124
1
原创 HarmoneyOS鸿蒙系统零代码编程入门
这里写自定义目录标题HarmoneyOS鸿蒙系统编程入门学习资源网址工具以及基本环境准备搭建HarmonyOS项目申请成为华为开发者插入链接与图片HarmoneyOS鸿蒙系统编程入门 2021年6月3日，华为终于推出了HarmoneyOS,即鸿蒙操作系统公测，着实振奋人心！！！分布式操作系统，一套系统移植多端智能设备，数据同步打破硬件限制，1+8+N实现万物互联等等，这款自诞生便引动千万人关注的操作系统，用行动告诉我们，鸿
2021-06-04 23:34:33
7321
1
原创 代理对象地址值问题新思考
代理对象地址值问题新思考问题回顾：为userService找的代理对象proxy，打印的地址值与userService一样！！！UserService类：ProxyFactoryByJDK代理类：UserTest测试类：控制台打印：动态代理对象时运行时期动态创建的代理对象，和目标对象那不是用一个对象。对于这一点，== 与 equals 都为fasle已经给出了证据。那么为什么直接打印，目标对象和proxy对象内容完全相等呢？首先，直接打印一个对象，实际上是调用对象的toString方
2020-10-27 22:35:27
273
原创 JDK动态代理对象与被代理对象地址值问题
JDK动态代理对象与被代理对象地址值问题1.UserService接口2.UserServiceImpl接口实现类3.ProxyFactoryByJDK代理工厂类4.UserTest测试类5.结果问题：打印userService和proxy地址值，结果proxy地址值与userService一致！！！这样的结果超出我的预料，于是使用 == 和 equals 比较两个对象，发现两者均为false！！！s 比较两个对象，发现两者均为false！！！困惑中。。。...
2020-10-22 23:57:16
518
2
原创 Redis持久化策略
Redis持久化策略：RDB与AOFNOsql 即Not Only Sql 不仅仅是sql, 泛指非关系型数据库非关系型数据库， 因为里面存储的数据没有任何关系。其中有一个很重要类型数据库： 缓存数据库。Redis作为缓存的应用时：关系型和非关系型都使用。Redis优点很突出：内存操作，速度快，适合解决高并发海量的请求。这里有一个问题，Redis作为缓存的应用时，如果服务器关闭(奔溃等)，岂不是所有数据都丢失了吗？答案是不会，原来 redis有持久化机制, 可以在符合条件的时候将内存中的数据持久
2020-10-17 23:45:34
131
1
原创 jsp九大隐式对象
jsp九大隐式对象 【request，response，session，application，out，pageContext，config，page，exception】1.request request对象的类是HttpServletRequest，他可以获取所有的请求数据，请求行、请求头、请求体。request对象也是一个请求域对象，在一次请求内有效，可以实现转发和跳转，还可以存储数据。存储数据是Key:Value的，是一个map类型的结构，Key是String类型，Value是一个ob
2020-10-17 21:43:08
151
原创 Cookie与Session的异同
Cookie与Session的异同 Cookie和Session都是会话域对象，Cookie是保存在客户端的会话对象，而Session是保存在服务器端的会话对象。Cookie和Session存储数据是不一样的。Cookie Cookie它是以键值对的方式来存储数据的，键值对的数据类型都是字符串类型。保存在浏览器，但浏览器对Cookie是有要求的，比如说每个Cookie的Value只能存储不能超过4KB，不同的浏览器不一样，一般是4KB左右。浏览器对每个服务器域名Cookie存储总量也有限制，比
2020-10-17 21:39:04
626
原创 == 和 equals() 的区别
equals() 与 == 的区别 首先，== 既可以用于比较基本数据类型（boolean,char, int,float, double等），又可以在对象之间进行比较。equals方法则只能用于对象之间的比较，不能对操作符进行重载但是可以对方法进行重载。 所以在对对象进行比较时，== 只能用于判断两个比较对象是否属于同一个引用，如果属于同一个引用(内存中的地址值)则返回true，如果不是则返回false，而在equals方法中除了可以判断两个比较对象是否属于同一个引用之外还可以对equal
2020-10-17 21:31:18
101
2
原创 动态代理
关于jdk提供的接口动态代理问题自己测试时，打印了被代理对象和代理对象地址值，发现两者居然一摸一样！！！难道jdk接口实现类的动态代理Proxy对象和被代理的对象是同一个对象吗？？？如果不是，请问地址值相同怎么理解？这里没有一个好的理由说服自己，各位大神有何高见…TargetInterface接口：public interface TargetInterface { void save();}Target接口实现类：public class Target implements
2020-10-16 23:05:02
69
原创 装饰模式
装饰模式 装饰，在现实生活中，就是在一个事物的基础上，对它进行添加更强的功能。同样的，java中的装饰模式，指的是在不改变原类的基础上, 动态地扩展一个类的功能。 装饰模式是常见的一种设计模式，它的核心思想就是创建一个新类，包装原始类，从而在新类中提升原来类的功能。 装饰模式在java中有广泛的应用，举个例子，jdk中io包下的FileInputStream 和FileOutputStream。作为最原始的io流，FileInputStream 和FileOutputStream的性能并不
2020-09-28 23:20:40
72
原创 Mybatis并发下的缓存机制
Mybatis并发下的缓存机制Mybatis的一级和二级缓存一级缓存：默认是开启的，一次会话中的多次相同操作，只有第一次会去数据库查询，后续直接去缓存中拿数据！1. 第1次查询记录，将查询到的数据写入到缓存中2. 第2次查询的时候，首先从缓存中去读取数据，如果缓存中有数据，直接返回，而不去访问数据库了。3. 如果这个会话执行了添加，修改，删除，提交，关闭清空当前会话的1级缓存。二级缓存：默认是关闭的。1.开启二级缓存配置：再核心配置文件mybatis-config.xml2...
2020-09-18 19:29:43
909
原创 jdk7和jdk8中HashMap的底层数据结构
jdk7和jdk8中HashMap的底层数据结构对于HashMap的底层数据结构在Java7和Java8中的实现是不同的，在Java7中是采用数组+链表的数据结构进行实现，而在Java8中是采用数组+链表+红黑树的数据结构实现的。说时迟那时快，刚话说完，从兜里拿出笔和纸，啪地一声放在桌子上画了起来，许久之后，出现了两幅jdk7和jdk8的HashMap的内部结构图：上图是jdk7内部结构图，以Entry<K,V>[]数组作为哈希桶，每个哈希桶的后面又可以连着一条单向链表，在链表中以k，v
2020-09-07 22:46:18
755
原创 类的初始化详解
类的成分包括成员变量，方法，构造器，代码块，内部类。除此之外，类还可以继承一个父类，这就让类的成分显得十分丰富。这么丰富的成分，如果在类加载的过程中初始化顺序没有严格的规定，就极有可能出现相同类每次初始化值不相等的情况。所以类的初始化一定是有顺序的，那么在类初始化过程中，它们的初始化顺序是怎么样的呢？ 先看下面代码：/* 父类 */class SuperClass { /* 静态变量 */ public static String supStaticVariable = "
2020-08-29 21:45:17
4288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人