- 博客(18)
- 收藏
- 关注
RSS订阅原创 kafka知识点
1、kafka架构组成1.1 Producer消息生产者，就是向 kafka broker 发消息的客户端1.2 Consumer消息消费者，向 kafka broker 取消息的客户端1.3 Topic可以理解为一个队列、主题，存放单独主题的数据1.4 Consumer Group （CG）消费者组，是kafka实现广播和单播的手段。一个topic可以有可以有很多个消费者组，每个消费者组内的数据都是相同的，可以理解成topic内的数据复制到各个消费者组内，供不同应用程序去消费而互相不受影
2022-03-30 12:12:30
2534
原创 redis
Redis的内存淘汰策略Redis的内存淘汰策略是指在Redis的用于缓存的内存不足时，怎么处理需要新写入且需要申请额外空间的数据。noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key。allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个key。volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key。v
2022-03-09 13:37:35
618
原创 clickhouse 技术
clickhouse olap分析利器设计思路1、内存 + 磁盘：保证处理效率，也保证数据安全2、内存：必须经过设计，具备优秀的数据结构，保证基本的读写高效，甚至为了不同的需求，可以让读写效率倾斜。3、磁盘：数据必须存放在磁盘，保证数据安全。磁盘数据文件必须经过精心设计，保证扫描磁盘数据文件的高效率4、数据排序：在海量数据中要想保证低延时的随机读写操作，数据最好是排序的5、范围分区：当数据排序之后，可以进行范围分区，来平摊负载，让多台服务器联合起来对外提供服务6、跳表：基于数据排序+范围分
2022-01-18 17:53:53
1459
原创 DolphinScheduler告警模块源码分析
DolphinScheduler 版本1.3.5版本，现在时间为2021年8月10 日。此时为次新版本DolphinScheduler 服务MasterServer ----- master服务WorkerServer ----- worker服务LoggerServer ----- logger服务ApiApplicationServer ----- api服务AlertServer ----- alert服务...
2021-08-10 14:13:38
1334
原创 elasticsearch 7.8.1集群安装教程
elasticsearch 7.8.1下载方式一linux执行以下命令wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz方式二在windows上登录网站下载linux版本，在上传至服务器（相对耗时）登录网站https://www.elastic.co/cn/downloads/elasticsearch点击历史版本知道对应版本，开始下载linux jdk环境安装1、执行下载命
2020-08-29 11:40:19
837
原创 Java基础知识总结
java知识点总结1. static关键字 最主要作用：方便在没有创建对象的情况下来进行调用（方法/变量）。 被static关键字修饰的方法或者变量不需要依赖于对象来进行访问，只要类被加载了，就可以通过类名去进行访问。2. 权限：静态方法中不能访问非静态成员方法和非静态成员变量，但是在非静态成员方法中是可以访问静态成员方法和静态成员变量。3. static变量也称为静态变量，静态变量和非静态变量的区别： 静态变量被所有对象共享，在内存中只有一个副本，在类初次加载的时候才会初始化 非静态变量是对
2020-08-04 15:20:02
105
原创 hiveUDF函数开发
maven配置<!-- 添加依赖组件，版本与cdh集群版本相同即可 --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-assemblies</artifactId> <version>2.5.1</version> </dependency&g
2020-05-12 18:19:31
301
原创 CentOS系统在虚拟机中安装
但在安装完成后，会发现存在两个普遍的问题：一是时间7a64e4b893e5b19e31333361306266与时钟不同步问题。这样会造成开发中很多问题，例如 Makefile 文件会造成一些不必要的重复编译，甚至有些程序拒绝编译。二是虚拟机无法全屏，操作过程中也觉得不方便。具体方法则是需要在CentOS 系统中安装 vmware-tools，其步骤如下：1.启动CentOS(图形界...
2020-04-29 12:27:33
333
原创 impala
impala核心组件介绍impala daemonimpala的核心组件是各个节点上面的impalad这个守护进程（Impala Daemon），它负责读写数据文件，接收从impala-shell，hue，JDBC，ODBC等接口发送的查询语句，并行化查询语句和分发工作任务到impala集群的各个节点上，同时负责把本地计算好的查询结果发送给协调器节点（coordinator node）。I...
2020-04-24 10:53:19
239
原创 sql
EXISTSEXISTS(包括 NOT EXISTS )子句的返回值是一个BOOL值。 EXISTS内部有一个子查询语句(SELECT … FROM…)， 我将其称为EXIST的内查询语句。其内查询语句返回一个结果集。 EXISTS子句根据其内查询语句的结果集空或者非空，返回一个布尔值。...
2020-04-23 19:29:45
112
原创 hbase原理及优化 ----持续更新中
Hbase是什么？基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。为null的记录不会被存储.不占用空间表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本.是主从架构。hmaster作为主节点，hregionserver作为从节点。HBase 的特点是什么？大：一个表可以有数十亿行，上百万列；每行都有一个可排序的主键和任意
2020-03-29 14:06:23
972
原创 hive 技术总结-----持续更新
Hive中追加导入数据的方式从本地导入： load data local inpath ‘/home/1.txt’ (overwrite)into table student;从Hdfs导入： load data inpath ‘/user/hive/warehouse/1.txt’ (overwrite)into table student;查询导入： create table s...
2020-03-29 10:15:31
510
原创 SQL查询总结-----更新中
问题一 求第二高薪例如：三条数据，sql查出第二高薪 id ---> salary 1 ---> 10000 2 ---> 20000 3 ---> 30000思路一 ：1）取记录数据最大值 ----> 300002）再取一次数据最大值，但是过滤掉 salary =30000 的记录，此时最大值为第二高薪SELEC...
2020-02-28 11:27:08
105
原创 Kafka 技术原理---更新中
Kafka 分布式的情况下，如何保证消息的顺序? 同一个 Partition 用一个 write ahead log 组织，所以可以保证 FIFO 的顺序。 不同 Partition 之间不能保证顺序。但是绝大多数用户都可以通过 message key 来定义，因为同一个key 的 message 可以保证只发送到同一个 Partition。比如说 key 是 user id，t...
2020-02-27 13:58:34
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人