- 博客(61)
- 收藏
- 关注
原创 Greenplum基础
CREATE DATABASE 是 SQL 命令,用于创建一个新的数据库。name 是你要创建的数据库的名称。这个名称是必须的,并且在同一个数据库服务器上必须是唯一的。可选项,OWNER 指定了新数据库的所有者,如果未指定,新数据库的所有者默认是执行该命令的用户。dbowner 是数据库所有者的用户名。可选项,TEMPLATE 指定了用于创建新数据库的模板。在 PostgreSQL 和 GreenPlum 中,通常有一个名为 template1 的默认模板。如果不指定,就会使用这个默认模板。
2025-01-06 10:54:32
647
原创 PostgreSql零基础入门
PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS),在灵活的BSD许可证下发行。PostgreSQL 开发者把它念作 post-gress-Q-L。PostgreSQL 的 Slogan 是 “世界上最先进的开源关系型数据库”。PostgreSQL官网PostgreSQL中文社区全球数据库排行国产数据库排行‘’PostgreSQL学习目录Postgres遵守BSD许可证发行,使开发者们得以获取源代码并进一步开发系统。
2024-12-30 15:03:24
903
原创 ⾃动化运维利器 Ansible-最佳实战
对清单文件进行合并,如果存在与其他库存来源之间的变量冲突或组依赖关系,则控制库存来源的合并顺序可能很有用,因此通常在清单配置文件加上前缀保证合并顺序,确保变量的正确加载。在执⾏ ad-hoc 或者 playbook 的时候,在后⾯加上 -vvv 参数,就可以看到 Ansible 的详细执⾏过程,便于排错。默认 Ansible 的执⾏队列有⼀个,就是并⾏执⾏,假如控制节点的机器有多个 CPU,并且性能较好,可以打开多个执⾏队列,就是并发。通过组合⽬录下的多个清单来源和来源类型来创建清单。
2024-11-15 08:47:21
800
原创 ⾃动化运维利器 Ansible-Jinja2
目前Nginx的配置⽂件在所有的服务器上都是相同的,但我希望能根据每⼀台服务器的性能去定制服务的启动进程。同时定制每⼀台Nginx服务的响应头,以便于当某台服务出现问题时能快速定位到具体的服务器。要做这样的定制势必会导致⼀个问题,Nginx 在每台物理服务器上的配置⽂件都不⼀样,这样的配置⽂件如何管理呢?再使⽤copy 模块去做管理显然已经不合适。此时使⽤Ansible 提供的另⼀个模板(template) 功能,它可以帮助我们完美的解决问题。
2024-11-15 08:46:21
458
原创 ⾃动化运维利器AnsiblePlaybook的任务控制
在下⾯的PlayBook中,我们创建了 tomcat、www 和 mysql 三个用户。安装了Nginx 软件包、并同时更新了 Nginx 主配置⽂件和虚拟主机配置⽂件,最后让Nginx 服务处于启动状态。---tasks:Nginx启动逻辑⽋缺考虑。若Nginx的配置⽂件语法错误则会导致启动Nginx失败,以⾄于PlayBook执⾏失败。批量创建⽤户,通过指令的罗列过于死板。如果再创建若⼲个⽤户,将难以收场。
2024-11-15 08:46:09
561
原创 ⾃动化运维利器 Ansible-Playbook
Playbook 也通常被⼤家翻译成剧本。可以认为它是Ansible ⾃定义的⼀⻔语⾔(可以将 Playbook ⽐作Linux 中的 shell,而 Ansible 中的 Module 可以⽐作为 Linux 中的各种命令。PlayBook遵循YAML 的语法格式。因此在学习PlayBook之前,必须要先弄明⽩YAML 相关知识点。
2024-11-15 08:45:44
662
原创 ⾃动化运维利器Ansible-基础
上述提到的INI格式文件静态资产可以进行自定义,下⾯给出⼀个⾃定义的静态资产实例,然后再具体解释其含义。1.1.1.12.2.2.2ztmy.comAnsible 的资产⽂件中,可以以IP地址的形式或者主机名(如果使用主机名须配置hosts的映射)的形式存在。Ansible 的资产若连续,可以使⽤[stat:end] 的形式去表达。可以将服务器按照业务场景定义成组,⽐如dbdb_servers 和web_servers。
2024-11-15 08:45:05
1104
原创 关于sh脚本报错 syntax error: unexpected end of file
场景: 脚本执行时总是显示syntax error: unexpected end of file,并且经过仔细检查语法是没有问题的。
2024-10-16 15:42:09
663
原创 JQuery创建HTML公用模块进行引用
开发环境可能会遇到多个Html存在一个模块是相同的,因此在修改过程中逐一修改比较麻烦,因此把这个公用模块另外写就一个html,使用JQuery导入模块。
2024-10-16 13:32:50
546
原创 Ngin入门套餐
Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的。特点是占有内存少,并发能力强,事实上nginx的并发能力在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。在全球活跃的网站中有12.18%的使用比率,大约为2220万个网站。
2024-10-11 17:42:21
1189
原创 DockerFile
● Docker 镜像就是在编写了一个 Dockerfile 文件之后,使用 docker build 命令来产生一个镜像,当运行 Docker 镜像的时候会真正的提供服务。Docker底层采用的联合文件系统的多层构建提供了很大的操作空间,在构建项目的每一阶段只使用需要用到的资源,删除多余的资源,每一层都做到最小,达到镜像瘦身的目的。Docker采用联合文件系统,在Dockerfile中体现为每执行一个对应的指令就构建出了一个新的镜像,所有指令执行完成后就构建出了目标镜像。
2024-09-11 11:39:57
1141
转载 Regular Expression 正则表达式
本篇文章转载自知乎,想要了解具体文章内容可以前往原文链接👉→原文链接正则表达式是一组由字母和符号组成的特殊文本,它可以用来从文本中找出满足你想要的格式的句子。一个正则表达式是一种从左到右匹配主体字符串的模式。“Regular expression”比较拗口,常使用缩写的术语“regex”或“regexp”。正则表达式可以从一个基础字符串中根据一定的匹配模式替换文本中的字符串、验证表单、提取字符串等等。正则表达式在线测试工具。
2024-09-06 11:23:31
75
原创 Docker快速上手
本篇文章不再赘述Docker的出身、优缺点、理念等一些概念,想要了解的可以去网上自行查阅资料,几乎每篇相关文章都会有的 - -#
2024-08-24 20:37:27
1292
1
原创 Yarn调度流程
目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。先进先出不能体现任务的优先级,一些需要立即执行的任务仍需要等待前边的任务执行完才能执行。FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。Capacity Scheduler是Yahoo开发的多用户调度器。容器调度器资源分配算法。
2024-07-08 22:16:52
900
原创 PostgreSql-Install
PostgreSQL是一个强大的,它使用并扩展了SQL语言,并结合了许多功能,可以安全地存储和扩展最复杂的数据工作负载。
2024-04-20 00:00:54
979
原创 Apache-Doris基础概念
在AGGREGATE KEY 数据模型中,所有没有指定聚合方式(SUM、REPLACE、MAX、MIN)的列视为 Key 列。而其余则为 Value 列。Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则,遵循够用即可。对于 VARCHAR 和 STRING 类型的长度,遵循 够用即可。所有列的总字节长度(包括 Key 和 Value)不能超过 100KB。
2024-03-17 14:49:25
1826
原创 Java常用集合
Java 集合可分为 Collection 和 Map 两大体系:Collection接口的继承树:Map接口的继承树:JDK 不提供此接口的任何直接实现,而是提供更具体的子接口(如:Set 和 List)去实现。Collection 接口是 List 和 Set 接口的父接口,该接口里定义的方法既可用于操作 Set 集合,也可用于操作 List 集合。List 集合类中元素有序、且可重复,集合中的每个元素都有其对应的顺序索引。List 集合存储数据,就像银行门口客服,给每一个来办理业务的客户分配序号:
2024-02-29 21:13:52
1372
原创 从笛卡尔积开始认识多表查询
左连接和右连接一样,其中的区别只在于基表所处的位置,left join的基表在左,right join的基表在右,因此不再重复赘述右连接(right join)。在关系型数据库中,笛卡尔积(Cartesian product)是指将两个表的所有行进行组合,生成一个新的结果集,其中每一行都包含了两个表的所有可能组合。,执行两个表的笛卡尔积操作将生成一个结果集,其中包含了表 A 的每一行与表 B 的每一行的组合。行子查询得到的记录为一行多字段,其中子查询获取的字段需要和where中的字段逐一比较。
2024-01-27 16:03:40
1747
原创 大数据分析组件Hive-集合数据结构
Hive是一个基于Hadoop的数据仓库基础设施,用于处理大规模分布式数据集。它提供了一个类似于SQL的查询语言(称为HiveQL),允许用户以类似于关系型数据库的方式查询和分析存储在Hadoop集群中的数据。Hive常作为离线数仓的分析工具,当面临Json数据时,Hive需要用到其数据结构构建出一张Json表才得以操作Json数据;(Hive4.0推出了Json解析)
2024-01-24 16:33:23
1527
原创 离线数据仓库-关于增量和全量
应用系统所产生的业务数据是数据仓库的重要数据来源,我们需要每日定时从业务数据库中抽取数据,传输到数据仓库中,之后再对数据进行分析统计。为了方便上层指标的统计,数据的同步策略有全量同步和增量同步。同步方式是针对对应的表而言的!
2024-01-16 22:04:41
1951
2
原创 FlinkSql概述
Table API和SQL是最上层的API,在Flink中这两种API被集成在一起,SQL执行的对象也是Flink中的表(Table),所以我们一般会认为它们是一体的。Flink是批流统一的处理框架,无论是批处理(DataSet API)还是流处理(DataStream API),在上层应用中都可以直接使用Table API或者SQL来实现;这两种API对于一张表执行相同的查询操作,得到的结果是完全一样的。
2023-06-19 16:45:08
11439
原创 Flink-状态管理
这样,并行度缩放之后的并行子任务就获取到了联合后完整的“大列表”,可以自行选择要使用的状态项和要丢弃的状态项。这种“均匀分配”的具体方法就是“轮询”(round-robin),与之前介绍的rebanlance数据传输方式类似,是通过逐一“发牌”的方式将状态项平均分配的。与Keyed State中的列表状态的区别是:在算子状态的上下文中,不会按键(key)分别处理状态,所以每一个并行子任务上只会保留一个“列表”(list),也就是当前并行子任务上所有状态项的集合。在这种情况下,状态的访问方式又会有所不同。
2023-06-13 19:19:30
384
原创 Flink时间窗口和水位线
当一个窗口被触发计算完成后,窗口中的元素会被清除,并且该窗口的状态也会被清除。窗口的触发计算和窗口关闭是两个不同的操作,使用allowedLatenessAIP设置窗口的推迟关闭,即使水位线触发了关窗,因为设置的推迟关窗,窗口只会触发计算,之后属于该窗口的迟到数据到来后仍会触发计算,只有水位线到达延迟关窗时间后窗口才会真正关闭。时间窗口的水位线是参考所有上游任务发送的最小的水位线的,如果存在一个上游任务一直没有数据发送,那么该上游任务的水位线为Long的最小值,窗口将无法触发,所以设置空闲等待时间;
2023-06-11 18:12:33
1818
原创 Flink基础概念及算子
无界数据流例如从Kafka这样的消息组件中读取的数据一般,没有数据流结束的定义,即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储,能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活(窗口必须是批次的整数倍)状态有没有流式SQL有没有Flink分层API//todo Watersensor Pojo对象。
2023-06-08 21:14:30
3773
原创 OLAP数据库-ElasticSearch
(1)为用户提供按关键字查询的全文搜索功能。(JavaEE中使用较广泛)(2)实现企业海量数据的处理分析的解决方案。大数据领域的重要一份子,如著名的ELK 框架(ElasticSearch(存储分析),Logstash(采集),Kibana(可视化))。(3)作为 OLAP (联机分析处理)数据库,对数据进行统计分析。
2023-05-29 19:45:42
945
原创 Scala-集合
1)Scala 的集合有三大类:序列 Seq、集 Set、映射 Map,所有的集合都扩展自 Iterable特质。2)对于几乎所有的集合类,Scala 都同时提供了可变和不可变的版本,分别位于以下两个包不可变集合:scala.collection.immutable可变集合: scala.collection.mutable3)Scala 不可变集合,就是指该集合对象不可修改,每次修改就会返回一个新对象,而不会对原对象进行修改。类似于 java 中的 String 对象。
2023-05-03 13:24:21
214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人