- 博客(45)
- 收藏
- 关注
RSS订阅原创 Docker快速上手
本篇文章不再赘述Docker的出身、优缺点、理念等一些概念，想要了解的可以去网上自行查阅资料，几乎每篇相关文章都会有的 - -#
2024-08-24 20:37:27
431
原创 Yarn调度流程
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。先进先出不能体现任务的优先级，一些需要立即执行的任务仍需要等待前边的任务执行完才能执行。FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。Capacity Scheduler是Yahoo开发的多用户调度器。容器调度器资源分配算法。
2024-07-08 22:16:52
660
原创 PostgreSql-Install
PostgreSQL是一个强大的，它使用并扩展了SQL语言，并结合了许多功能，可以安全地存储和扩展最复杂的数据工作负载。
2024-04-20 00:00:54
888
原创 Apache-Doris基础概念
在AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。对于 VARCHAR 和 STRING 类型的长度，遵循 够用即可。所有列的总字节长度（包括 Key 和 Value）不能超过 100KB。
2024-03-17 14:49:25
1696
原创 Java常用集合
Java 集合可分为 Collection 和 Map 两大体系：Collection接口的继承树:Map接口的继承树:JDK 不提供此接口的任何直接实现，而是提供更具体的子接口（如：Set 和 List）去实现。Collection 接口是 List 和 Set 接口的父接口，该接口里定义的方法既可用于操作 Set 集合，也可用于操作 List 集合。List 集合类中元素有序、且可重复，集合中的每个元素都有其对应的顺序索引。List 集合存储数据，就像银行门口客服，给每一个来办理业务的客户分配序号：
2024-02-29 21:13:52
1322
原创 从笛卡尔积开始认识多表查询
左连接和右连接一样，其中的区别只在于基表所处的位置，left join的基表在左，right join的基表在右，因此不再重复赘述右连接(right join)。在关系型数据库中，笛卡尔积（Cartesian product）是指将两个表的所有行进行组合，生成一个新的结果集，其中每一行都包含了两个表的所有可能组合。，执行两个表的笛卡尔积操作将生成一个结果集，其中包含了表 A 的每一行与表 B 的每一行的组合。行子查询得到的记录为一行多字段，其中子查询获取的字段需要和where中的字段逐一比较。
2024-01-27 16:03:40
1347
原创 大数据分析组件Hive-集合数据结构
Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。它提供了一个类似于SQL的查询语言（称为HiveQL），允许用户以类似于关系型数据库的方式查询和分析存储在Hadoop集群中的数据。Hive常作为离线数仓的分析工具，当面临Json数据时，Hive需要用到其数据结构构建出一张Json表才得以操作Json数据；(Hive4.0推出了Json解析)
2024-01-24 16:33:23
1334
原创 离线数据仓库-关于增量和全量
应用系统所产生的业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中，之后再对数据进行分析统计。为了方便上层指标的统计，数据的同步策略有全量同步和增量同步。同步方式是针对对应的表而言的！
2024-01-16 22:04:41
1744
1
原创 FlinkSql概述
Table API和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用Table API或者SQL来实现；这两种API对于一张表执行相同的查询操作，得到的结果是完全一样的。
2023-06-19 16:45:08
10035
原创 Flink-状态管理
这样，并行度缩放之后的并行子任务就获取到了联合后完整的“大列表”，可以自行选择要使用的状态项和要丢弃的状态项。这种“均匀分配”的具体方法就是“轮询”（round-robin），与之前介绍的rebanlance数据传输方式类似，是通过逐一“发牌”的方式将状态项平均分配的。与Keyed State中的列表状态的区别是：在算子状态的上下文中，不会按键（key）分别处理状态，所以每一个并行子任务上只会保留一个“列表”（list），也就是当前并行子任务上所有状态项的集合。在这种情况下，状态的访问方式又会有所不同。
2023-06-13 19:19:30
298
原创 Flink时间窗口和水位线
当一个窗口被触发计算完成后，窗口中的元素会被清除，并且该窗口的状态也会被清除。窗口的触发计算和窗口关闭是两个不同的操作，使用allowedLatenessAIP设置窗口的推迟关闭，即使水位线触发了关窗，因为设置的推迟关窗，窗口只会触发计算，之后属于该窗口的迟到数据到来后仍会触发计算，只有水位线到达延迟关窗时间后窗口才会真正关闭。时间窗口的水位线是参考所有上游任务发送的最小的水位线的，如果存在一个上游任务一直没有数据发送，那么该上游任务的水位线为Long的最小值，窗口将无法触发，所以设置空闲等待时间；
2023-06-11 18:12:33
1440
原创 Flink基础概念及算子
无界数据流例如从Kafka这样的消息组件中读取的数据一般，没有数据流结束的定义，即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储，能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活（窗口必须是批次的整数倍）状态有没有流式SQL有没有Flink分层API//todo Watersensor Pojo对象。
2023-06-08 21:14:30
3017
原创 OLAP数据库-ElasticSearch
（1）为用户提供按关键字查询的全文搜索功能。(JavaEE中使用较广泛)（2）实现企业海量数据的处理分析的解决方案。大数据领域的重要一份子，如著名的ELK 框架(ElasticSearch(存储分析),Logstash(采集),Kibana(可视化))。（3）作为 OLAP (联机分析处理)数据库，对数据进行统计分析。
2023-05-29 19:45:42
742
原创 Scala-集合
1）Scala 的集合有三大类：序列 Seq、集 Set、映射 Map，所有的集合都扩展自 Iterable特质。2）对于几乎所有的集合类，Scala 都同时提供了可变和不可变的版本，分别位于以下两个包不可变集合：scala.collection.immutable可变集合： scala.collection.mutable3）Scala 不可变集合，就是指该集合对象不可修改，每次修改就会返回一个新对象，而不会对原对象进行修改。类似于 java 中的 String 对象。
2023-05-03 13:24:21
181
原创 Scala-面向对象编程
类的定义:基本语法 [修饰符] class 类名 { 类体 }（1）Scala 语法中，类并不声明为 public，所有这些类都具有公有可见性（即默认就是public）（2）一个 Scala 源文件可以包含多个类属性的定义:[修饰符] var|val 属性名称 [：类型] = 属性值注：对属性添加Bean 属性（@BeanPropetry）注解，可以自动生成规范的 setXxx/getXxx 方法，val 修饰的属性不能赋默认值，必须显示指定。
2023-05-02 10:36:35
254
2
原创 Scala-函数式编程
没有名字的函数就是匿名函数。(x:Int)=>{函数体}x：表示输入参数类型；Int：表示输入参数类型；函数体：表示具体代码逻辑传递匿名函数至简原则：（1）参数的类型可以省略，会根据形参进行自动的推导（2）类型省略之后，发现只有一个参数，则圆括号可以省略；其他情况：没有参数和参数超过 1 的永远不能省略圆括号。（3）匿名函数如果只有一行，则大括号也可以省略（4）如果参数只出现一次，则参数省略且后面参数可以用_代替需求 1：传递的函数有一个参数。
2023-05-01 10:51:42
152
1
原创 Scala基本数据类型
是参考了Java的设计思想，可以说Scala是源于Java，同时马丁·奥德斯基也加入了自己的思想，将函数式编程语言的特点融合到JAVA中, 因此，对于学习过Java的同学，只要在学习Scala的过程中，搞清楚Scala和Java相同点和不同点，就可以快速的掌握Scala这门语言。（3）Nothing，可以作为没有正常返回值的方法的返回类型，非常直观的告诉你这个方法不会正常返回，而且由于 Nothing 是其他任意类型的子类，他还能跟要求返回值的方法兼容。（多范式，就是多种编程方法的意思。
2023-04-30 13:41:16
280
2
原创 Java-反射机制
Reflection（反射）是被视为动态语言的关键，反射机制允许程序在运行期间借助于 Reflection API 取得任何类的内部信息，并能直接操作任意对象的内部属性及方法。加载完类之后，在堆内存的方法区中就产生了一个 Class 类型的对象（一个类只有一个 Class 对象），这个对象就包含了完整的类的结构信息。我们可以通过这个对象看到类的结构。反射。Java 反射机制提供的功能：• 在运行时判断任意一个对象所属的类• 在运行时构造任意一个类的对象。
2023-04-28 16:58:40
250
原创 Mysql-主从复制
首先我们将多个节点共同组成一个复制组，在 执行读写（RW）事务 的时候，需要通过一致性协议层（Consensus 层）的同意，也就是读写事务想要进行提交，必须要经过组里“大多数人”（对应 Node 节点）的同意，大多数指的是同意的节点数量需要大于 （N/2+1），这样才可以进行提交，而不是原发起方一个说了算。如果操作的数据存储在同一个数据库中，那么对数据进行更新的时候，可以对记录加写锁，这样在读取的时候就不会发生数据不一致的情况。MySQL复制是异步的且串行化的，而且重启后从 接入点 开始复制。
2023-04-27 14:53:24
238
原创 Mysql-多版本并发控制(MVCC)
MVCC （Multiversion Concurrency Control），多版本并发控制。顾名思义，MVCC 是通过数据行的多个版本管理来实现数据库的 并发控制。这项技术使得在InnoDB的事务隔离级别下执行 一致性读 操作有了保证。换言之，就是为了查询一些正在被另一个事务更新的行，并且可以看到它们被更新之前的值，这样在做查询的时候就不用等待另一个事务释放锁。
2023-04-26 20:23:39
310
原创 Mysql-锁机制
在数据库中，除传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。为保证数据的一致性，需要对 并发操作进行控制 ，因此产生了 锁。同时 锁机制 也为实现MySQL的各个隔离级别提供了保证。锁冲突 也是影响数据库 并发访问性能 的一个重要因素。所以锁对数据库而言显得尤其重要，也更加复杂。
2023-04-25 18:18:10
362
原创 Hadoop高可用
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用。
2023-04-08 11:09:49
277
原创 一篇文章学会Kafka
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka最新定义： Kafka是 一个开源的分布式事件流平台 （Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息Kafka作为一个分布式的事件流哦平台,能够将存储其中的数据分成不同的类别,
2023-03-22 16:55:52
320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人