weixin_50405727的博客

文章目录1. ClickHouse 概述2. ClickHouse 入门2.1. 数据类型2.1.1. 整形2.1.2. 浮点型2.1.3. Decimal 型2.1.4. 字符串2.1.5. 枚举类型2.1.6. 时间类型2.2. SQL操作2.2.1. 特殊函数2.2.2. 修改表结构2.2.3. 导出数据3. 表引擎3.1. TinyLog3.2. Memory3.3. MergeTree3.3.1. partition by 分区(可选)3.3.2. primary key 主键(可选)3.3.3

文章目录1. Flink 概述1.1. Flink 特点1.2. Flink 和 Spark Streaming 对比2. Filnk 运行架构2.1. Yarn 任务运行流程2.2. Flink 线上部署2.3. Flink 运行组件2.3.1. Flink Client 客户端2.3.2. JobManager 作业管理器2.3.3. ResourceManager 资源管理器2.3.4. TaskManager 任务管理器2.3.5. Dispatcher 分发器3. Flink API3.1. T

文章目录1. 概述1.1. Spark 和 Hadoop 组成1.2. Spark 和 Hadoop 区别2. Spark 运行架构2.1. 基础架构2.2. Master & Worker(Standalone模式)2.3. ApplicationMaster3. Spark 编程3.1. 数据结构3.2. RDD算子类型3.2.1. RDD转换算子3.2.2. RDD行动算子3.2.3. RDD控制算子3.3. RDD作业的划分3.4. Job的调度模式3.5. RDD阶段划分3.6. RDD依

文章目录1. Hive 概述2.1. Hive 优缺点2.2. Hive 基础架构2. HQL 转化为 MR 过程3. Hive和RDBMS有什么异同4. Hive 元数据保存方式5. 内部表 和 外部表6. Hive 如何进行权限控制7. 文件存储格式7.1. 列式存储和行式存储7.2 TextFile，SequenceFile，ORCFile 及 ParquetFile 存储格式8. Hive 自定义函数8.1. Hive 函数类型8.2. 自定义函数9. Hive 多表Join9.1. Join 类型

文章目录1. Kafka 概述1.1. Kafka 特点2. Kafka 架构2.1. Kafka 文件存储机制2.2. Kafka 生产者2.2.1. 分区策略2.2.2. 生产数据可靠性保证2.2.4. Exactly Once 生产2.3. Kafka 消费者2.3.1. 消费方式2.3.2. 分区分配策略2.3.3. offset 的维护2.3.4. 消息消费可靠性保证3. Kafka 事务3.1. Producer 事务3.2. Consumer 事务4. Zookeeper 作用Kafka 知识

文章目录1. Flume 概述2. Flume 基础架构3. Flume 拓扑结构3.1. 简单串联3.2. 复制和多路复用3.3. 负载均衡和故障转移3.4. 聚合4. Flume 项目应用4.1. 采集Flume4.2. 聚合 Flume6. Flume 事务6.1. Put 事务(推送事件：Source -> Channel)6.2. Take 事务(拉取事件：Channel -> Sink)7. Flume 监控8. Flume 采集数据会丢失吗？1. Flume 概述​Flu

文章目录1. 概述1.1. Hbase 特点1.2. Hbase 和 Hive2. Hbase 数据模型2.1. 逻辑结构2.2. 物理存储结构3. Hbase 设计架构3.1. Hbase基本架构3.2. RegionServer 架构4. Hbase读写流程4.1. Hbase 写流程4.2. Hbase 读流程4.3. StoreFile Compaction4.3. Region Split5. Hbase 优化5.1. 减少调整5.2. 写数据优化5.3. 读数据优化5.4. Row Key 和

文章目录1. ZK 概述1.1. ZK 数据结构1.2. ZK 特点1.3. ZK 应用场景1.3.1. 统一命名服务1.3.2. 统一配置管理1.3.3. 统一的集群管理1.3.4. 服务器动态上下线1.3.4. 软负载均衡2. ZK 组成2.1. ZK 服务节点2.2. ZK 客户端2.3. ZK Znode节点2.4. 监听器2.4.1. Watch 监听点2.4.2. 监听机制2.4.3. 监听注意事项2.5. ZK 端口3. ZK 选举机制3.1. 首次启动3.2. 非首次启动4. ZK 同步机制

文章目录1. MapReduce 概述2. MapReduce的优缺点2.1. 优点2.2. 缺点3. MapReduce 核心思想3.1. MapReduce 计算流程3.2. MapReduce 编程规范4. MapReduce [反]序列化5. MapReduce 框架原理5.1. 切片与 MapTask 并行度决定机制5.2. ReduceTask 并行度决定机制5.3. Job提交流程源码解析5.4. FileInputFormat 切片源码解析6. MapReduce 切片机制6.1. File

文章目录1. HDFS 概述2. HDFS 优缺点2.1. 优点2.2. 缺点3. HDFS 组成架构3.1. NameNode3.2. DataNode3.3. Client3.4. Secondary NameNode4. HDFS 读写流程4.1 HDFS 写数据流程4.2 HDFS 读数据流程5. NameNode 高可用5.1 SecondName 方案5.2 HDFS HA 方案5.2.1. HDFS HA 工作要点5.2.2. HDFS-HA 自动故障转移工作机制5.3 单点故障 与 脑裂6.

java基本数据类型和引用数据类型创建位置

文章目录前言一、conda 是什么？二、安装 Miniconda三、conda 常用命令前言  目前python越发流行，越来越多的工具使用python进行开发。由于 python2.x 和 python3.x 都有一定的应用市场，同台机器同时需要 python2.x 和 python3.x 环境的情况就并不少见了。为了让机器同时兼容 python 的各个版本，可以考虑使用pyhthon环境管理器 conda  一、conda 是什么？   conda是一个 开源的包、环境管理器，可

文章目录前言一、Azkaban是什么？二、Azkaban与其他的工作流调度系统1.简单的任务调度系统2.复杂的任务调度三、Azkaban架构四、Azkaban配置basic.flow 基础配置basic.flow条件工作流前言  随着数据分析系统的逐渐完善，现今一套成熟的数据分析系统都是大量 任务单元 组成，且各个任务单元之间存在 时间或者依赖关系，为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。Azkaban作为一套成熟，轻量且功能完善的任务调度系统，可以胜任的充当任务调度的

问题  为什么 1 字节表示的数值范围是 127 ～ -128?一、基本单位  bit (比特):  表示二进制位，位是计算机内部数据储存的最小单位。一个二进制位可以表  示0, 1两种状态，两个二进制位可以表示00, 01, 10, 11四种状态 …  byte (B, 字节):  八个二进制位(bit)为一子节(byte)，字节是计算机中数据处理的基本单位。  一个字节数通常有三种表示，即原码, 反码和补码。  kilobyte (KB):  十进制中，通常将原单位的1000倍作

Shell脚本基础文章目录Shell脚本基础一、Shell是什么二、Shell基本语法1.变量2.流程控制  条件判断  if判断  case判断   for循环   while循环3.函数   系统函数   自定义函数4.shell工具总结一、Shell是什么   Shell是一个命令行解释器，它能够通过接收 应用程序/用户 的命令，去调用操作系统内核，从而完成程序指令。Shell是用户操作Linux系统的指令，同时，Shell还是一个功能相当强大的编程语言，具有易编写，易调试，灵活

# 系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参

这里写自定义目录标题HarmoneyOS鸿蒙系统编程入门学习资源网址工具以及基本环境准备搭建HarmonyOS项目申请成为华为开发者插入链接与图片HarmoneyOS鸿蒙系统编程入门       2021年6月3日，华为终于推出了HarmoneyOS,即鸿蒙操作系统公测，着实振奋人心！！！分布式操作系统，一套系统移植多端智能设备，数据同步打破硬件限制，1+8+N实现万物互联等等，这款自诞生便引动千万人关注的操作系统，用行动告诉我们，鸿

代理对象地址值问题新思考问题回顾：为userService找的代理对象proxy，打印的地址值与userService一样！！！UserService类：ProxyFactoryByJDK代理类：UserTest测试类：控制台打印：动态代理对象时运行时期动态创建的代理对象，和目标对象那不是用一个对象。对于这一点，== 与 equals 都为fasle已经给出了证据。那么为什么直接打印，目标对象和proxy对象内容完全相等呢？首先，直接打印一个对象，实际上是调用对象的toString方

JDK动态代理对象与被代理对象地址值问题1.UserService接口2.UserServiceImpl接口实现类3.ProxyFactoryByJDK代理工厂类4.UserTest测试类5.结果问题：打印userService和proxy地址值，结果proxy地址值与userService一致！！！这样的结果超出我的预料，于是使用 == 和 equals 比较两个对象，发现两者均为false！！！s 比较两个对象，发现两者均为false！！！困惑中。。。...

Redis持久化策略：RDB与AOFNOsql 即Not Only Sql 不仅仅是sql, 泛指非关系型数据库非关系型数据库， 因为里面存储的数据没有任何关系。其中有一个很重要类型数据库： 缓存数据库。Redis作为缓存的应用时：关系型和非关系型都使用。Redis优点很突出：内存操作，速度快，适合解决高并发海量的请求。这里有一个问题，Redis作为缓存的应用时，如果服务器关闭(奔溃等)，岂不是所有数据都丢失了吗？答案是不会，原来 redis有持久化机制, 可以在符合条件的时候将内存中的数据持久