数据库
文章平均质量分 92
Data_IT_Farmer
BJUT 2014级 计算机学院小硕一枚,现为某上市金融公司--高级大数据开发工程师一枚。自20170701开始记录自己的技术工作生涯!广结天下技术之友,笑对未来技术之难题!
展开
-
windows10上安装mysql 5.7.37
windows10上安装mysql 5.7.37,及可视化客户端Navicat安装转载 2023-03-06 15:12:25 · 772 阅读 · 0 评论 -
MySQL 存储过程及创建时间维度表
一、概述存储过程MySQL 5.0 版本开始支持存储过程。存储过程(Stored Procedure)是一种在数据库中存储复杂程序,以便外部程序调用的一种数据库对象。# SQL语句:先编译后执行存储过程是为了完成特定功能的SQL语句集,经编译创建并保存在数据库中,用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。存储过程思想上很简单,就是数据库 SQL 语言层面的代码封装与重用。1.1、优点存储过程可封装,并隐藏复杂的商业逻辑。 存储过程可以回传值,并可以接受参数。转载 2021-04-15 20:35:34 · 743 阅读 · 0 评论 -
MySQL用户授权(GRANT)语法介绍和示例
1、MySQL用户授权(GRANT)语法当成功创建用户账户后,还不能执行任何操作,需要为该用户分配适当的访问权限。可以使用 SHOW GRANT FOR 语句来查询用户的权限。注意:新创建的用户只有登录MySQL服务器的权限,没有任何其他权限,不能进行其他操作。USAGE ON*.* 表示该用户对任何数据库和任何表都没有权限。1.1、授予用户权限语法对于新建的 MySQL 用户,必须给它授权,可以用 GRANT 语句来实现对新建用户的授权。语法格式:GRANT<..转载 2020-10-20 20:25:11 · 53430 阅读 · 1 评论 -
MySQL中 group by 1, order by 1 语句是什么意思和group by+聚合函数用法小结
我的具体做法:step 1:修改core-site.xml,添加问题导读:1.如何配置hadoop回收站机制?2.删除hadoop文件后,被删文件被放到什么位置?3.如何恢复被删除文件?hadoop有垃圾回收机制,这里以hadoop2.2实验了一把,回收机制基本变化不大,hadoop2.4同样适用,但是并没有测试Hadoop回收站trash,默认是关闭的。转载 2016-08-01 18:56:30 · 4360 阅读 · 0 评论 -
Mysql 日期和时间加减及日期计算相差年、月、周、日数整理
Mysql 日期和时间加减及日期计算相差年、月、周、日数整理1、日期和时间加减select now()-- 获取当前具体的日期和时间 2019-11-13 16:38:20select curdate()-- 获取当前日期 2019-11-13select curtime()-- 获取当前时间 6:38:201.1、MySQL加减某个时间间隔设置当前...转载 2019-11-13 18:38:46 · 72105 阅读 · 2 评论 -
mysql中的几种join 及 full join,自然连接问题
【注意】:1)、Oracle数据库支持full join,mysql是不支持full join的,但仍然可以同过左外连接+ union+右外连接实现 2)、自然连接:通过MySql自己的判断完成连接过程,不需要指定连接条件。MySql会使用表内的,相同的字段,作为连接条件。自然连接分为内外之分。0、初始化SQL语句:/*join 建表语句*/drop...转载 2019-10-26 20:14:48 · 4913 阅读 · 1 评论 -
SQL语句执行顺序及书写建议
查询语句中select from where group by having order by的执行顺序1.查询中用到的关键词主要包含六个,并且他们的顺序依次为 select--from--where--group by--having--order by 其中select和from是必须的,其他关键词是可选的,这六个关键词的执行顺序 与sql语句的书写顺序并不是一样的,而是...转载 2018-12-03 23:29:51 · 1197 阅读 · 0 评论 -
MySQL中tinytext、text、mediumtext和longtext详解
一、字符串类型 类型 范围 说明 Char(N) [ binary] N=1~255 个字节 binary :分辨大小写 固定长度 std_name cahr(32) not null VarChar(N) [binary] N=1~255 个字节 binary :分辨大小写 ...转载 2018-11-05 23:52:25 · 40055 阅读 · 1 评论 -
MySQL数据类型DECIMAL用法
MySQL数据类型DECIMAL用法MySQL DECIMAL数据类型用于在数据库中存储精确的数值。我们经常将DECIMAL数据类型用于保留准确精确度的列,例如会计系统中的货币数据。要定义数据类型为DECIMAL的列,请使用以下语法: 1 column_name DECIMAL(P,D); 在上面的语法中:P是表示有效数字数的精度。 P范围...转载 2018-10-16 20:34:45 · 8925 阅读 · 0 评论 -
CASE WHEN 及 SELECT CASE WHEN的用法
CASE WHEN 及 SELECT CASE WHEN的用法(1)Case具有两种格式。简单Case函数和Case搜索函数。1)、简单Case函数CASE sexWHEN '1' THEN '男'WHEN '2' THEN '女'ELSE '其他' END2)、Case搜索函数 CASE WHEN sex = '1' THEN '男' WHEN sex = '...转载 2018-10-16 18:40:37 · 3499 阅读 · 0 评论 -
操作MySQL出错提示“BLOB/TEXT column used in key specification without a key length”解决办法
mysql出错提示“BLOB/TEXT column used in key specification without a key length”解决办法一、问题pandas对象将DataFrame数据保存到mysql中时,出现错误提示: BLOB/TEXT column used in key specification without a key length或者 ...转载 2018-10-11 20:46:15 · 94652 阅读 · 3 评论 -
DROP TABLE、TRUNCATE TABLE和DELETE的区别
相同点TRUNCATE TABLE和DELETE都可以删除整个数据库表的记录不同点 DELETE DML语言 可以回退 可以有条件的删除DELETE FROM 表名 WHERE 条件 TRUNCATE TABLE DDL语言 无法回退 默认所有的表内容都删除 删除速度比delete快TRUNCATE TABLE 表名 DROP TABLE 用于删除...转载 2018-09-16 21:08:27 · 3647 阅读 · 0 评论 -
MySQL:两表更新(用一个表更新另一个表)的SQL语句
用一个表中的字段去更新另外一个表中的字段, MySQL 中有相应的 update 语句来支持,不过这个 update 语法有些特殊。看一个例子就明白了。CREATE TABLE student( student_id int NOT NULL , student_name VARCHAR(30) NOT NULL , cit...转载 2018-08-31 20:24:18 · 17622 阅读 · 0 评论 -
python通过MYSQLdb或者pymysql访问数据库,参数传递及返回字典格式
python通过MYSQLdb或者pymysql访问数据库,参数传递及返回字典格式Python标准数据库接口为Python DB-API, Python DB-API为开发人员提供了数据库应用 编程接口。Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:GadFly mSQL MySQL PostgreSQL Microsoft SQL Server 2...转载 2018-08-13 00:03:48 · 7284 阅读 · 0 评论 -
大数据CAP原则(CAP定理)、BASE理论
一、讲述CAP.BASECAP原则(CAP定理)、BASE理论 CAP原则又称CAP定理,指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。 CAP原则是NOSQL数据库的基石。Consistency(一致性)。 Availability(可用性)。Partitio...转载 2018-07-28 00:22:20 · 5714 阅读 · 0 评论 -
【MySQL主从复制架构】slave have equal MySQL Server UUIDs原因及解决
slave equal MySQL Server UUIDs原因及解决最近在部署MySQL主从复制架构的时候,碰到了"Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be differe...转载 2020-09-20 16:31:53 · 1717 阅读 · 0 评论 -
关于数据库中使用业务主键和逻辑主键的思考
关于业务主键和逻辑主键的思考这几天对逻辑主键、业务主键和复合主键进行了一些思考,也在网上搜索了一下相关的讨论,相关讨论可以看最下面的参考链接。下面是自己基于 SQL Server 做的一些总结,其他数据库(Oracle、MySQL、DB2、......)应该也类似吧。这个只是自己一时的思考,如有不当请告知,重新思考后再修正。定义(部分定义来源于 SQL Server 联机丛书):主键(...转载 2018-07-26 19:34:19 · 6451 阅读 · 0 评论 -
关于Hive 在子查询中是否支持 IN 和 NOT IN 子句的测试
亲测有效,在hive-2.1.1版本,存储为hadoop-2.7.3下,hive支持 in或not in 中包含查询子句的语法,此外,在有些版本或hive thrift包不支持的话,也可能通过left join实现1、创建表假设有一个用户浏览商品表scan_info,和一个用户购买商品表buy_info。如下hive> create table scan_info (userI...原创 2018-12-15 15:31:37 · 6597 阅读 · 0 评论 -
mysql解析json字符串,字符串查找,子串截取和字段类型转换相关总结
mysql解析json字符串,字符串查找,子串截取和字段类型转换相关总结很多时候,我们需要在sql里面直接解析json字符串。这里针对mysql5.7版本的分水岭进行区分。1.对于mysql5.7以上版本 使用mysql的内置函数JSON_EXTRACT(column, '$.key'),这个函数有两个参数,第一个参数column代表json列的列名;第二个参数key代表json...转载 2019-01-21 21:00:01 · 54433 阅读 · 1 评论 -
MySQL binlog日志格式 binlog_format
MySQL binlog日志格式 binlog_formatMySQL 5.5 中对于二进制日志 (binlog) 有 3 种不同的格式可选:Mixed,Statement,Row,默认格式是 Statement。总结一下这三种格式日志的优缺点。MySQL Replication 复制可以是基于一条语句 (Statement Level) ,也可以是基于一条记录 (Row Level),可以...转载 2019-01-27 22:42:09 · 9753 阅读 · 0 评论 -
Python中: unsupported format character ''' (0x27)
Python中: unsupported format character ''' (0x27)1)MySQL DB使用%运算符将参数放入查询中,因此查询字符串中的任何单个%字符都被解释为参数说明符的开始。2)%在python中三个特殊的符号,如%s,%d分别代表了字符串占位符和数字占位符。例子一、今天写python程序,用pymysql从数据库查询数据,使用like模糊匹配报错:...转载 2019-07-19 11:32:47 · 20222 阅读 · 2 评论 -
关于MySQL 通用查询日志和慢查询日志分析
关于MySQL 通用查询日志和慢查询日志分析(1)通用查询日志一、通用查询日志设置二、通用查询日志查看(2)慢查询日志 一、慢查询日志的设置二:slow log的日志相关参数详解三:如何在线安全的清空慢查询日志四:慢日志分析工具 mysqldumpslow和mysqls...转载 2019-03-16 22:02:04 · 1358 阅读 · 0 评论 -
Mysql索引介绍及使用注意事项,limit分页查询,慢查询分析
Mysql索引介绍及使用注意事项,limit分页查询,慢查询分析本文将从以下十二个方面进行介绍:一、索引概念介绍二、索引类型FULLTEXT,HASH,BTREE,RTREE有什么功能和性能上的不同呢?三、各种索引类型的使用情况四、索引种类(普通索引,唯一索引,主键索引,组合索引,全文索引,索引合并,覆盖索引)五、索引操作:创建,删除,修改六、创建索引的时机七、命中索引八、...转载 2019-03-16 19:12:06 · 1730 阅读 · 0 评论 -
MySQL字段为varchar类型和int类型索引的使用技巧
MySQL索引使用:字段为varchar类型时,条件要使用' '包起来结论:当MySQL中字段为int类型时,搜索条件where num=‘111‘ 与where num=111都可以使用该字段的索引。当MySQL中字段为varchar类型时,搜索条件where num=‘111‘ 可以使用索引,where num=111 不可以使用索引验证过程: 建表语句:CREA...转载 2019-03-16 19:04:39 · 16223 阅读 · 3 评论 -
mysql普通索引以及联合索引介绍
mysql普通索引以及联合索引介绍命名规则:表名_字段名1、需要加索引的字段,要在where条件中2、数据量少的字段不需要加索引3、如果where条件中是OR关系,加索引不起作用4、符合最左原则https://segmentfault.com/q/1010000003984016/a-1020000003984281联合索引又叫复合索引。对于复合索引:Mysql从左到右的使用索...转载 2019-03-16 17:57:45 · 4395 阅读 · 0 评论 -
MySQL两种存储引擎: MyISAM和InnoDB 的区别和优缺点
MySQL两种存储引擎: MyISAM和InnoDB 简单总结Mysql 数据库主要有以下几种引擎,介绍如下,本文将主要介绍MyISAM和InnoDB这两个引擎。1.1 MyISAM和InnoDB简介 MyISAM是MySQL的默认数据库引擎(5.5版之前),由早期的 ISAM (Indexed Sequential Access Method:有索引的顺序访问方法)...转载 2019-03-16 16:54:36 · 14560 阅读 · 2 评论 -
查看mysql数据库 数据量大小和索引数据大小以及行数的方法
查看mysql数据库 数据量大小和索引数据大小以及行数的方法查看一个数据中所有表的相关信息:(1)可以在命令下使用show table status \G命令查看:(2)如果想知道MySQL数据库中每个表占用的空间、表记录的行数的话,可以打开MySQL的 information_schema 数据库。在该库中有一个 TABLES 表,这个表主要字段分别是:TABLE_SCHEMA...转载 2019-03-16 16:28:52 · 36581 阅读 · 1 评论 -
数据仓库DW、ODS、DM概念及其区别
数据仓库DW、ODS、DM概念及其区别一、整体结构在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向数据中心整体架构DB 是现有的数据来源(也称各个系统的元数据),可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标...转载 2019-03-16 15:32:38 · 35870 阅读 · 4 评论 -
数据仓库ODS、DW和DM概念区分
数据仓库ODS、DW和DM概念区分今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构数据中心整体架构数据仓库的整理架构,各个系统的元数据(包括MySQL等DB数据库,hdfs日志,原始文件等类型)通过ETL同步到操作性数据仓库ODS中,对ODS数...转载 2019-03-16 15:06:51 · 4668 阅读 · 0 评论 -
数据脱敏和数据加密的区别以及MySQL相关的加密函数示例介绍
一、数据脱敏和数据加密的区别数据脱敏和数据加密是两种截然不同的技术,适用于不同目的。脱敏技术主要是为了兼顾数据安全与数据使用,采用的是专业的数据脱敏算法;而加密则是通过对数据进行编码来保护数据,检索原始值的唯一方法是使用解密密钥解码数据。脱敏数据仍然便于使用,但加密数据不是。加密的主要优点在于它的可逆性,但是解密密钥存储位置、如何存储以及确定谁具有访问权限等工作都会给整个安全工作增...转载 2019-03-12 10:35:30 · 2531 阅读 · 0 评论 -
MySQL UNION 和 UNION all 操作符将两个结果集合并一个表
MySQL UNION 和 UNION all 操作符将两个结果集合并一个表比如第一个查询有100条两列,第二个查询结果也为160条两列,故使用union all之后,可以将这两个结果合并成一个,变成260行两列。描述MySQL UNION 操作符用于连接两个以上的 SELECT 语句的结果组合到一个结果集合中。多个 SELECT 语句会删除重复的数据。语法MySQL UNIO...转载 2019-03-16 14:53:44 · 59663 阅读 · 3 评论 -
【MySQL系列】单机热备(主从结构)和双机热备介绍和使用
Mysql数据库没有增量备份的机制,当数据量太大的时候备份是一个很大的问题。还好mysql数据库提供了一种主从备份的机制,其实就是把主数据库的所有的数据同时写到备份的数据库中。实现mysql数据库的热备份。 要想实现双机的热备,首先要了解主从数据库服务器的版本的需求。要实现热备mysql的版本都高于3.2。还有一个基本的原则就是作为从数据库的数据版本可以高于主服务器数据库的版本,但是不可以低于...原创 2018-07-28 16:45:19 · 3526 阅读 · 0 评论 -
【MySQL】相关技术文章汇总
目录:一、MySQL高可用架构之MHA(Master High Availability)介绍二、MySQL分支的选择:Percona还是MariaDB三、超越MySQL:三个流行MySQL分支(Percona\MariaDB) 的对比 一、MySQL高可用架构之MHA(Master High Availability介绍)参考:https://www.cnblogs.co...转载 2018-07-25 11:52:40 · 1315 阅读 · 0 评论 -
DAO(Data Access Objects)数据访问层介绍
DAO(Data Access Objects)数据访问层介绍介绍目录:(1)DAO设计模式简介(2)一般企业分层架构(3)DAO设计模式(5)DAO层实现例子什么是dao模式,dao模式的实现方法(1)DAO设计模式简介1)、DAO全称是(Data Access Objects) ,数据库访问对象,主要的功能就是用于进行数据操作的,在程序的标准开发架构中属于数据访问层的操作。2)、DAO层一般有...转载 2018-07-04 18:32:38 · 15470 阅读 · 0 评论 -
MySQL存储引擎--MyISAM与InnoDB区别
MYSQL存储引擎--MYISAM与INNODB区别从 存储结构 、存储空间、事务支持、CURD操作 和 外键是否支持 这五个方面计算介绍MySQ存储引擎—MyISAM和InnoDB的区别转载 2017-09-28 16:14:55 · 399 阅读 · 0 评论 -
MySQL 的CASE WHEN 语句使用说明
介绍mysql数据库中case when语句的用法,首先介绍case when语句的基础知识,然后提供了相关例子。(1)mysql数据库中CASE WHEN语句。case when语句,用于计算条件列表并返回多个可能结果表达式之一。CASE 具有两种格式:简单 CASE 函数将某个表达式与一组简单表达式进行比较以确定结果。CASE 搜索函数计算一组布尔表达式以确定结果。两种格式都支持...原创 2017-09-28 15:30:46 · 284893 阅读 · 7 评论 -
mysql出现ERROR : (2006, 'MySQL server has gone away') 原因和解决方案
mysql出现ERROR : (2006, 'MySQL server has gone away') 原因和解决方案这种情况可以通过修改max_allowed_packed的配置参数来避免,也可以在程序中将数据分批插入(使用mysql limit进行分页,循环分批处理数据)原创 2017-09-27 20:28:45 · 87141 阅读 · 3 评论 -
超详细mysql left join,right join,inner join用法分析
超详细mysql left join,right join,inner join用法分析原创 2017-09-27 19:34:34 · 4242 阅读 · 0 评论 -
Mysql 分页语句 Limit原理
在我们使用查询语句的时候,经常要返回前几条或者中间某几行数据,这个时候怎么办呢?不用担心,mysql已经为我们提供了这样一个功能。MySql分页sql语句,如果和MSSQL的TOP语法相比,那么MySQL的LIMIT语法要显得优雅了许多。使用它来分页是再自然不过的事情了。Mysql的分页查询语句的性能优化原创 2017-09-26 20:48:30 · 26827 阅读 · 7 评论 -
MySql数据库备份与恢复——使用mysqldump 导入与导出方法总结
MySql数据库备份与恢复——使用mysqldump 导入与导出方法总结mysqldump客户端可用来转储数据库或搜集数据库进行备份或将数据转移到另一个sql服务器(不一定是一个mysql服务器)。转储包含创建表和/或装载表的sql语句。ps、如果在服务器上进行备份,并且表均为myisam表,应考虑使用mysqlhotcopy,因为可以更快地进行备份和恢复。本文从三部分介绍了mys...原创 2017-08-29 17:03:37 · 288454 阅读 · 14 评论