数据库
文章平均质量分 63
记录一些数据库的学习过程
coder_szc
倚天照海花无数,流水高山心自知。
展开
-
MySQL5.7数据目录结构
本文记录了CentOS7下,MySQL5.7的数据目录结构。原创 2023-08-20 09:03:34 · 1143 阅读 · 0 评论 -
MySQL学习笔记之MySQL5.7用户管理
本文记录了MySQL5.7的用户管理使用过程,包括用户创建、用户修改、用户删除和权限管理原创 2023-08-13 11:11:48 · 535 阅读 · 0 评论 -
MySQL学习笔记之SQL语句执行过程查看
本文记录了用profile语句查看SQL语句执行过程的方法,包括查看性能数据原创 2023-07-29 09:41:25 · 2178 阅读 · 0 评论 -
MySQL5.7索引的使用
本文记录了索引创建、删除的方式,以及适合与不适合创建索引的几种情况。原创 2023-07-22 11:17:32 · 358 阅读 · 0 评论 -
MySQL学习笔记之分析查询语句explain
本文记录了MySQL中explain语句的学习过程,结合实例展示了explain中的常用字段的含义。原创 2023-07-15 11:00:42 · 402 阅读 · 0 评论 -
MySQL学习笔记之监控分析视图-sys.schema
类型开头描述主机相关主要汇总了IO延迟信息InnoDB相关innodb汇总了InnoDB的缓存信息和事务等待InnoDB锁的信息IO相关io汇总了等待IO、IO使用量情况内存使用情况memory从主机、线程、事件等角度展示内存的使用情况连接语会话信息processlist和session相关视图总结了会话相关信息表相关展示了表的统计信息索引信息统计了索引的使用情况,包含冗余索引和未使用的索引语句相关statement包含执行全表扫描、临时表、排序等语句信息。原创 2023-07-09 11:04:26 · 373 阅读 · 0 评论 -
MySQL学习笔记之数据提交与回滚、DDL和DML
DML默认情况下也是执行后不可回滚,但如果在执行之前执行了set autocommit = false,则可以回滚。DDL:数据定义语言,包括建库、建表、设置约束、加列、删列、删库、删表;DML:数据操作语言,表内容数据级别的增删改查,和存储过程或函数调用。DDL的操作一旦执行,而且执行后肯定会执行一次数据提交,不可回滚;: 删除表内容,数据范围可定义,可以回滚。: 清空全部表内容,不可回滚;原创 2023-06-18 09:01:22 · 489 阅读 · 0 评论 -
MySQL学习笔记之变量、流程控制和游标
本文介绍了MySQL中变量(系统变量、局部变量)、流程控制(判断和循环),以及游标的使用方法原创 2023-06-03 11:01:40 · 258 阅读 · 0 评论 -
MySQL学习笔记之触发器
触发器是由事件触发的某个操作,事件包括增删改事件,操作就是我们定义的触发器操作。本文结合使用案例,介绍了触发器的创建、触发、删除、查看等生命周期,最后说明了触发器的优缺点和注意事项。原创 2023-05-13 09:57:34 · 384 阅读 · 1 评论 -
MySQL学习笔记之存储过程与存储函数
本文记录了MySQL中存储过程和存储函数的学习过程,包括创建、调用、传参、返回值的使用方法,以及存储过程和存储函数本身的修改、查看和删除,最后对比了存储函数和存储过程的区别,和优缺点。原创 2023-04-22 13:24:59 · 530 阅读 · 0 评论 -
MySQL学习笔记之多表连接
多表连接,就是从多张表中查找符合条件的数据交集,包括自连接、内连接、外连接(左外连接、右外连接),顺便介绍下union关键字。原创 2023-04-05 10:47:14 · 156 阅读 · 0 评论 -
MySQL学习笔记之分组与having
本文记录了MySQL中分组和having语句相关的知识,以及MySQL和完整结构和执行顺序原创 2023-03-25 10:02:00 · 261 阅读 · 0 评论 -
MySQL学习笔记之常用辅助函数
本文记录了MySQL中一些常用的辅助函数,如加密函数、信息函数(查看版本、连接ID、schema、字符集等),以及进制转换、四舍五入、IP地址和数字的转换等原创 2023-03-11 10:50:27 · 115 阅读 · 0 评论 -
MySQL学习笔记之子查询
本文记录了MySQL学习笔记中关于子查询的知识,包括自连接方式、子查询案例、exists和not exists关键字原创 2023-03-05 11:51:25 · 436 阅读 · 0 评论 -
MySQL学习笔记之随机整数和随机字符串的生成
本文记录了MySQL中随机字符串和随机整数的生成方式原创 2023-02-25 11:41:17 · 263 阅读 · 0 评论 -
ClickHouse学习笔记之备份和恢复
ClickHouse允许使用查询已创建表分区的本地副本,这是利用硬链接到目录中实现的,所以它通常不会因为旧数据而占用额外的磁盘空间。创建的文件副本不由ClickHouse服务器处理,所以不需要任何的外部系统就可以有一个简单的备份。为了防止硬件问题,最好将这些备份复制到另一台主机上,再删除本地副本。原创 2022-11-19 10:45:34 · 2511 阅读 · 0 评论 -
ClickHouse学习笔记之MaterializeMySQL引擎
MySQL用户群体很大,为了增强数据的实时性,很多解决方案会利用binlog将数据写入到ClickHouse。为了能够监听binlog事件,我们需要利用类似canal这样的中间件,但这样会增加系统的复杂度。ClickHouse20.8.2.3版本新增了MaterializeMySQL这一数据库引擎,该引擎能够把ClickHouse中某个数据库映射到MySQL中的某个数据库,并自动在ClickHouse中创建对应的`ReplacingMergeTree`。ClickHouse以此作为MySQL的副本,读取B原创 2022-11-05 17:36:24 · 523 阅读 · 0 评论 -
ClickHouse学习笔记之数据一致性
ClickHouse中,即使是对数据一致性支持最好的合并树引擎,也只能保证最终一致性。例如,对数据的去重只会在数据合并期间进行,合并会在后台一个不确定的时间进行,因此我们不能与先做出计划,从而有一些数据在被读取时可能仍未被处理。尽管我们可以通过optimize语句发起计划外的合并,但那会引发大量的数据IO,因此不要依靠该语句。所以,适用于后台清除重复数据以节省空间,但不能保证没有重复的数据出现。我们在使用、这类表引擎时,会出现短暂的数据不一致的情况。原创 2022-10-22 11:39:36 · 1047 阅读 · 0 评论 -
ClickHouse学习笔记之副本
如果需要保障数据的高可用性,那么需要为数据表创建副本,并通过ZooKeeper进行副本管理、同步和协调。原创 2022-09-17 11:25:09 · 794 阅读 · 0 评论 -
ClickHouse学习笔记之SQL语句
ClickHouse支持传统的MySQL中的结构化查询语言SQL,因此此处不会从头学SQL,而是记录ClickHouse中对SQL扩展的新特性。原创 2022-09-10 17:48:58 · 1972 阅读 · 0 评论 -
ClickHouse学习笔记之表引擎
表引擎是ClickHouse一大特色,决定了表数据的存储方式。表引擎使用时必须显式在创建表时定义该表使用的引擎,以及引擎参数,注意引擎名大小写敏感原创 2022-09-03 12:18:23 · 505 阅读 · 0 评论 -
ClickHouse学习笔记之安装配置
ClickHouse是俄罗斯公司Yandex推出的列式存储数据库,不依赖于Hadoop生态,用于在线分析处理查询,通过SQL查询实时生成分析数据报告。本笔记记载CentOS7下ClickHouse21.11的学习过程。原创 2022-08-20 12:42:29 · 764 阅读 · 0 评论 -
Doris学习笔记之介绍、编译安装与部署
Apache Doris是一个现代化的MPP(Massively Parallel Processing,即大规模并行处理)分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集...原创 2022-06-25 20:05:47 · 1219 阅读 · 0 评论 -
win10查看my.ini路径
my.ini是MySQL的全局配置文件,可通过修改它来对MySQL进行配置,如时区、binlog等。在CentOS7中,其路径是固定的:/etc/my.cnf,但在win10中,就比较隐蔽。原创 2022-06-18 10:42:12 · 1086 阅读 · 0 评论 -
数据库CDC中间件学习之Maxwell
文章目录介绍工作原理Maxwell与Canal的对比安装及配置前提条件在MySQL中打开binlog创建maxwell数据库操作Maxwell命令行测试插入数据更新数据删除数据Maxwell连接Kafka普通测试topic分区数据过滤数据表的全量输出介绍Maxwell是Zendesk开源的用java编写的MySQL实时抓取(CDC,Change Data Capture,变更数据读取)软件,通过实时读取MySQL的二进制日志Binlog生成json信息,再作为生产者将信息发给Kafka、控制台、redi原创 2022-03-26 20:50:55 · 3337 阅读 · 0 评论 -
CentOS7下MongoDB的安装和使用
目录背景安装客户端命令数据库命令集合命令数据类型及数据操作数据类型数据操作删除某个集合的记录数据库备份数据库恢复聚合分组$group投影$project过滤$match索引建立索引删除索引创建唯一索引建立复合索引结语背景总结下初夏学习MongoDB的笔记,这是一个可以存储大数据量的NoSQL数据库,支持分布式,存储基本格式就是json键值对安装1、修改yum文件,添加源[root@localh.原创 2020-09-08 11:10:08 · 634 阅读 · 0 评论 -
spark-streaming连接hive+HBase
背景记录一下前一阵spark连接hive和HBase的过程,主要得保证主机和虚拟机的主机名映射是一致的步骤1、首先保证windows的hosts文件、CentOS的hosts文件、CentOS的hostname文件中的待连接ip对应的主机名是一致的比如我要连接的ip是192.168.57.141,那我的windows下的C:\Windows\System32\drivers\etc\hosts文件中相应内容为192.168.57.141 scentos虚拟机中/etc/hosts中原创 2020-08-09 16:28:26 · 638 阅读 · 0 评论 -
CentOS7下Hive的安装使用
目录背景安装配置运行命令插入数据表分桶正则serde存储格式排序和聚集子查询视图自定义函数写UDF写UDAF聚集函数表生成函数UDTF通用版表分区删除列动态分区导出表到文件系统查询复合结构中的元素内置函数case...when...then.else语句嵌套select语句浮点数比较like和rlikegroup by分组优化选项本地模式并行执行严格模式压缩解压缩分区宏命令RCFi原创 2020-07-12 21:56:28 · 1578 阅读 · 0 评论 -
CentOS7下安装使用HBase
目录背景数据结构安装启动hadoop、kafka、ZooKeeper解压hbase压缩包配置HBase启动hbase关闭hbase进入hbase命令行命令创建表,指定列族插入数据,指定行键、列族限定符和值扫描表获取单行数据删除数据(单元格)禁用并删除表让表支持多版本数据与hive集成与pig集成行键设计原则长度原则唯一原则散列原则协处理器的使用结语背景记录下HBase在CentOS7下的安装过程,请事原创 2020-07-12 20:27:12 · 921 阅读 · 0 评论 -
解决python查询neo4j时报错'Graph' object has no attribute 'data'
背景今天运行前些日子可以正常运行的demo时,报错'Graph' object has no attribute 'data'忘了以前的py2neo是什么版本,于是直接适配了最新的4.3.0解决方法把原来的查询语句ret = self.graph.data("查询语句")改成ret = self.graph.run(cypher="查询语句").data()...原创 2019-08-26 15:35:26 · 4503 阅读 · 3 评论 -
win10下使用hive时遇到的错误集锦
背景老子不知道hive在win10下怎么就这么多错.....不想用虚拟机,想换成mac,但是mac上没有实况19...真的是,我去年买了个表。hive建表报错Column length too big for column 'PARAM_VALUE' (max = 21845); use BLOB or TEXT instead 解决方法:用navicat创建hive数据库,...原创 2019-06-14 20:13:13 · 6654 阅读 · 1 评论