- 博客(65)
- 收藏
- 关注
RSS订阅原创 运维-主从复制
1.介绍主从复制是指将主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。2.优点主库出现问题，可以快速切换到从库提供服务；实现读写分离，降低主库的访问压力；可以在从库中执行备份，以避免备份期间影响主库服务。
2023-12-07 15:58:41
108
原创 运维-日志
记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit 的所有的SQL语句的日志，默认未开启。该日志是默认开启的，默认存放目录 /var/log/，默认的日志文件名为 mysqld.log。默认情况下，不会记录管理语句，也不会记录不使用索引进行查找的查询。若需要配置二进制日志的格式，只需要在 /etc/my.cnf 中配置 binlog_format 参数。记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。
2023-12-07 15:12:57
141
原创 MySQL管理
语法 ： mysqldump [options] db_name [tables] mysqldump [options] --database/-B db1 [db2 db3...] mysqldump [options] --all-databases/-A。--start-datatime=date1 --stop-datetime=date2 指定日期间隔内的所有日志。--start-position=pos1 --stop-position=pos2 指定位置间隔内的所有日志。
2023-12-07 13:49:14
102
原创 MySQL-InnoDB引擎
一、逻辑存储结构1.表空间InnoDB存储引擎逻辑结构的最高层， 如果用户启用了参数 innodb_file_per_table(在 8.0版本中默认开启) ，则每张表都会有一个表空间（xxx.ibd），一个mysql实例可以对应多个表空 间，用于存储记录、索引等数据。2.段主要分为数据段（Leaf node segment）、索引段（Non-leaf node segment）、回滚段 （Rollback segment），InnoDB是索引组织表，数据段就是B+树的叶子节点， 索引段
2023-12-07 10:39:46
65
原创 MySQL-锁
锁是计算机协调多个进程或线程并发访问某一资源的机制。（1）定义：全局锁就是对整个数据库实例加锁，加锁后整个实例就处于只读状态，后续的DML的写语句，DDL语句，已经更新操作的事务提交语句都将被阻塞。（2）使用场景：做全库的逻辑备份，对所有的表进行锁定，从而获取一致性视图，保证数据的完整性。（1）定义：表级锁，每次操作锁住整张表。锁定粒度大，发生锁冲突的概率最高，并发度最低。应用在MyISAM、 InnoDB、BDB等存储引擎中。（2）分类：表锁、元数据锁（meta data lock，MDL）、意向锁。
2023-12-04 20:26:47
43
原创 视图/存储过程/触发器
（1）存储过程是事先经过编译并存储在数据库中的一段 SQL 语句的集合；（2）特点封装，复用 ：可以把某一业务SQL封装在存储过程中，需要时直接调用即可。可以接收参数，也可以返回数据：再存储过程中，可以传递参数，也可以接收返回值。减少网络交互，效率提升：如果涉及到多条SQL，每执行一次都是一次网络传输。而如果封装在存储过程中，我们只需要网络交互一次可能就可以了。（1）定义用户定义变量：用户根据需要自己定义的变量，用户变量不用提前声明，使用时直接用 "@变量 名" ，其作用域为当前连接。
2023-12-03 19:03:37
46
原创 SQL优化
（1）Using filesort : 通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。1.InnoDB的行锁是针对索引加的锁，不是针对记录加的锁 ,并且该索引不能失效，否则会从行锁 升级为表锁，也就是说必须使用索引字段进行更新，否则会出现行锁升级为表锁、（1）根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。（1）满足业务需求的情况下，尽量降低主键的长度。
2023-11-26 22:06:41
40
原创 MYSQL-索引
来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值， 索引选择性越高则查询效率越高， 唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。（2）联合索引：一个索引包含了多个列，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引， 而非单列索引。6. 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增 删改的效率。（4）用or分割开的条件，如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。
2023-11-26 20:13:10
47
原创 MYSQL-存储引擎
如果应用对事务的完整性有比较高的要 求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包含很多的更新、删除操 作，那么InnoDB存储引擎是比较合适的选择。（1）介绍：一种兼顾高可靠性和高性能的通用存储引擎，在 MySQL 5.5 之后，InnoDB是默认的 MySQL 存储引擎。MEMORY的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，而且无法保障数据的安全性。（1）介绍：的表数据时存储在内存中的，由于受到硬件问题、或断电问题的影响，只能将这些表作为。
2023-11-25 14:55:52
37
原创 MYSQL-事务
1.查看/设置事务提交方式2.提交事务COMMIT;3.回滚事务ROLLBACK;4.注意：这种方式，我们是修改了事务的自动提交行为, 把默认的自动提交修改为了手动提 交, 此时我们执行的DML语句都不会提交,的执行commit进行提交。
2023-11-25 11:09:55
44
原创 SQL-多表查询概述
1.内连接：相当于查询A、B交集部分数据；（1）隐式内连接（2）显式内连接2.外连接（1）左外连接：查询左表所有数据，以及两张表交集部分数据；（2）右外连接：查询右表所有数据，以及两张表交集部分数据；（3）自连接：当前表与自身的连接查询，自连接必须使用表别名。
2023-11-25 10:49:32
41
原创 SQL-DCL
1.查询用户2.创建用户3.修改用户密码4.删除用户5.注意事项（1）主机名可以使用 % 通配；（2）在MySQL中需要通过用户名@主机名的方式，来唯一标识一个用户。
2023-11-24 20:50:31
35
原创 SQL-DQl
（1）执行时机不同：where是分组之前进行过滤，不满足where条件，不参与分组；而having是分组 之后对结果进行过滤；（1）起始索引从0开始，起始索引 = （查询页码 - 1）* 每页显示记录数。（2）判断条件不同：where不能对聚合函数进行判断，而having可以。1.介绍：将一列数据作为一个整体进行纵向计算（2.where与having的区别。（1）ASC：升序（默认值）；2.常用的比较运算符。3.常用的逻辑运算符。（2）DESC：降序。
2023-11-24 20:40:46
32
原创 Hive安装与配置
到该目录下，并将解压的文件重命名为。配置hive-site.xml。MySQL为HIve做的配置。2.Mysql的安装和配置。配置hive-env.sh。，在末尾添加以下两行代码。查看hive是否安装成功。下载mysql驱动并解压。1.Hive的基本安装。
2023-11-16 20:08:11
75
原创 Spark数据抽取
读取 MySQL 中表内的所有数据，将其全量抽取到 Hive 中的对应yearString2022。账号：root123123127.0.0.1。
2023-11-16 19:14:22
287
1
原创 NBA数据可视化
编程要求读取 MySQL 中表内，用来绘制 NBA 国籍分布图，最终将绘制的图片保存到指定路径中。具体要求如下：设置饼图的figsize为(15, 10)；标签名称为读取的国籍名；主标题设置为：NBA 国籍分布图；0.2，其余的设为0.7；20.52%；文件保存路径为。账号：root123123127.0.0.1。
2023-11-16 18:10:59
300
原创 NBA数据清洗与存储
进行读取，完成清洗。升序排列，存储到 MySQL 中。结果保留两位小数，并加上单位。结果保留两位小数，并加上单位。最终将清洗完成的数据根据字段。中所有的空值补充上字符串。或空值数据替换为：数字。1英寸=2.54厘米。或空值替换为：字符串。
2023-11-16 10:39:37
130
原创 网约车大数据综合项目——数据分析Hive
在 hive 中创建数据库在中创建表，将撤销订单清洗后的数据集导入表中。，数据集文件字段之间以在中创建表，将成功订单清洗后的数据集导入表中。，数据集文件字段之间以\t。
2023-11-15 20:37:01
2563
原创 网约车大数据综合项目——数据可视化Flask+Echarts
root123123trafficdb列名类型介绍idint主键district地区numint成功订单数量root123123trafficdborderline列名类型介绍idint主键departure出发地出发地经度出发地纬度目的地目的地经度目的地纬度numint线路出行次数root123123127.0.0.1trafficdb列名类型介绍idint主键city城市numint成功订单数量root123123127.0.0.1。
2023-11-14 19:49:59
295
原创 网约车大数据综合项目——数据分析Spark
使用 Spark 统计撤销订单中撤销理由最多的前 10 种理由（因撤销理由为未知的数据过多，统计时不包含撤销理由值未知的数据）。，数据集文件字段之间以将统计结果存放在 MySQL 数据库mydb的表中（表已经提前创建）。
2023-11-14 15:17:43
719
原创 PythonWeb框架-使用Flask框架操作数据库
1.Flask操作数据库有两种方式，一种是使用模块实现，另一种是直接使用pymysql模块，通过编写sql语句操作数据库。2.文件结构（1）config.py：实现连接数据库功能；（使用SQL语句实现时不需要配置）（2）__init__.py：创建Flask实例，使config.py文件生效；（3）models.py：数据库表模型，实训关系对象映射；（4）test.py：设置路由以及编写查询语句等操作文件。
2023-11-14 10:18:02
1623
原创 操作请求数据
1.请求类型（1）GET 请求：访问时会在地址栏直接显示，参数不安全，且参数大小比较小；（2）POST 请求：参数不显示在地址栏，一般用户注册、登录都通过 POST 请求完成。
2023-11-14 09:42:06
442
原创 ORM框架
表示，在准备把对象写入数据库之前，先要将其添加到会话中。要求实现将文本文件中的数据插入到数据库相应的表格中，在。1.在 Flask-SQLAlchemy 中，会话由。要求实现在数据库中创建相应的表。要求实现在数据库中修改相应的表中的数据，请在。要求实现数据库查询的功能。所有对象都会还原到它们在数据库时的状态。
2023-11-13 22:11:41
63
原创 Flask-模板渲染
1.Flask整合jinja2完成变量输出案例步骤搭建一个基本的Flask骨架，目录结果如下：static 目录：存放静态资源文件，例如：CSS、JS、图片、map3....等等；templates目录：存放 jinja2 模板页面，也就是 HTML；app.py：Flask 启动程序在templates目录下创建一个index.html；在app.py编写Flask应用代码；修改templates目录下index.html的内容；运行app.py，然后打开浏览器，输入网站地址查看效果。
2023-11-13 21:15:25
338
原创 Hive表DML操作
student本地文件的内容为：创建数据库test1；切换到test1数据库；在test1中创建相应格式的表student（未分区），表结构如上所示，分隔符根据的内容设置；将的数据导入到表student中。
2023-11-13 08:47:59
247
原创 HBase高级特性：过滤器（二）
1.过滤器执行步骤step1：客户端创建Scan过滤器；step2：发送过滤器数据的序列化Scan；使用过滤器对Scan进行序列化，并同时使用Scan和内部扫描。
2023-11-12 20:17:31
848
原创 HBase高级特性：过滤器（一）
1.使用过滤器的步骤：（1）创建过滤器：RowFilter(CompareOperator op,ByteArrayComparable rowComparator)，第一个参数接收的是比较操作对象，第二个参数接收的是条件。（2）设置过滤器。
2023-11-12 17:19:04
2449
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人