MySQL
文章平均质量分 60
基于MySQL的数据分析基础
MrMua
emmmm
展开
-
数据分析从MySQL开始(Python)(四、百万级数据匹配)
(接下来的操作都是在数据库表上了)目录一、源数据表结构二、处理说明及要求三、实操匹配语句思路一、源数据表结构下面给一个简单的表格示意:交易表(下面简称钱表) 交易日期 名 货id 件数 售价 成本 上架日期 y/y/d 文字 字母+数字 int int null y/y/d 货表 货id 成本 上架日期 字母+数字 int y/y/d ...原创 2021-03-17 15:45:44 · 592 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(三、navicat excel表格导入数据库)
一、导入数据库excel表原创 2021-03-17 14:03:59 · 287 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(二、python与sql操作)
(补充说明:慢慢的会经常接触到百万级数据的处理和优化,刚开始工作七八天了,这几篇算是回忆吧)目录一、基本SQL命令语句汇总(标准是用大写)二、PyCharm中连接数据库与数据库操作1、(需要用到pymysql库,建议给pycharm换源,网上很多)2、 代码段说明(按本地代码的顺序来的)三、sql_order源码一、基本SQL命令语句汇总(标准是用大写)INSERT INTO,UPDATE,CREATE,CREATE TEMPORARY TABLE,ALTER TABLE原创 2021-03-17 12:28:56 · 215 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(八、MySQL基操之建删毁)
(这里就连create,delete,drop一起说了)目录一、create+select二、delete、drop一、create+selectcreate主要是用来create table、create temporary table,更多的是用来新建临时表temporary table;CREATE TEMPORARY TABLE temp SELECT `货id`,SUM(`成本`) `总成本` //为求和加了别名FROM `钱表` GROUP BY `门店`;原创 2021-03-19 16:56:33 · 87 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(一、环境说明)
一、简单介绍:(刚开始工作实操的新手,技术还不成熟,有什么问题或者不合适的地方还请大佬指出) (一些基础的MySQL安装改密忘记密码以及配置文件的操作网上资料很多这里就不多提了,建议Ubuntu直接apt,毕竟最简单直接不容易出问题) (Ps:我云服务器使用的配置文件不是在常规的my.cnf,而是在/etc/mysql/mysql.conf.d/mysqld.cnf) (语言使用的是python,职业规划是...原创 2021-03-17 11:15:11 · 165 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十、MySQL分布式事务)
(在了解数据库事务的基础上)一、原理简介资源管理器(RM):向事务提供资源具有管理事务提交或回滚 (数据库)事务管理器(TM):与每个资源管理器通信,每个事务都是分布式事务中的分支事务第一阶段:所有的分支事务被准备。 第二阶段:事务管理器告知资源管理器需不需要提交或者回滚。一个分支出错全部回滚。只有一个分支时第二阶段会被省略。MySQL分布式事务分为两类:内部与外部 内部分布式事务:...原创 2021-03-23 17:57:54 · 183 阅读 · 1 评论 -
数据分析从MySQL开始(Python)(十四、爬虫四十天天气、MongoDB、Excel)
(由于工作要求需要爬虫四十天天气预报并保存到Excel,源网页:http://www.weather.com.cn/ 中国天气网,get 接口 js 提取)(插入两种数据库,mongoDB、mysql)第一部分:字典 插入 MongoDB(mysql)说明: 1、以天气预报作为参考,并不参与主要数据分析工作,因此采用原代码的方式插入mongoDB数据库(从网上找的源代码进行了关键字等修改) 2、然后需要从数据库中保存一份Excel做透视图就用到了mon...原创 2021-04-30 18:26:12 · 841 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十二、MySQL excel导入数据库)
(跟数据库查找导出的数据不同,导入的数据是按每天的数据进行导入;(xlwt虽然不能超过65535行,但是现在暂时每天的数据量并没有这么大;(如果是导入每月每年的xlwt就不够了,换成openpyxl的十万行也够呛,建议直接navicat百万级导入;(如果可以的话还是建议直接openpyxl导入,这里先xlwt的方式,后续会补充openyxl的导入)一、xlwt导入直接给代码了:注意库名和表名import datetimeimport pandas as pdfrom sq.原创 2021-03-28 15:11:17 · 139 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十一、MySQL百万级匹配优化view续)
(算是对第四篇的一个续)目录结合 temp 与 view第四篇在匹配优化的操作上还是有不足之处,主要用了临时表,update,select操作,可是我竟然忽视了视图view的应用,在更大级别的匹配上发现第四篇的优化仍然无法满足快速的要求;在部分匹配完成的情况下(例如在十万条匹配了九万九千条还剩一千条的情况下)用 update......'条件'=NULL AND '条件‘=’条件' 的方法工作量还是太大,而且将临时表的优势弱化了,如果使用视图筛选出列未修改仍为NULL的一千条数据行直...原创 2021-03-27 12:07:45 · 197 阅读 · 1 评论 -
数据分析从MySQL开始(Python)(十三、MySQL 数据库导出到excel)
(还是一样,有 xlwt 和 openpyxl 两种方式,openpyxl容量比xlwt更大;(建议 openpyxl 的方式导出,但是xlwt的代码我也会一起给出来)目录一、openpyxl导出二、xlwt导出一、openpyxl导出py代码如下:import datetimeimport sql_orderimport openpyxl# 初始化数据库连接operate_sql = sql_order.OperationMysql() # 连接原创 2021-03-28 15:13:58 · 187 阅读 · 0 评论 -
Navicat自动运行批处理作业并发送附件邮件
Navicat 设置定时自动运行批处理作业并于完成后自动发送邮件到指定邮箱的完整流程原创 2022-10-24 23:08:46 · 3591 阅读 · 9 评论 -
MySQL SELECT INTO OUTFILE,grant授权后仍被拒绝
使用环境:Navicat-MySQL 查询语句,mysql控制台也可以(可以在root权限下)1、、问提来了,grant授权之后还是被拒绝grant file on *.* to 'users'@'%' identified by 'password';2、再加一步更新用户表update `mysql`.`user` set File_priv='Y' where user='users';3、老规矩,刷新权限flush privileges;4、还是老规矩,.原创 2021-06-23 17:42:28 · 395 阅读 · 0 评论 -
Mysql添加外键 1215 - Cannot add foreign key constraint
问题: > 1215 - Cannot add foreign key constraint参考:mysql添加外键1215错误_MySQL添加外键时报错:1215 Cannot add the foreign key constraint的解决方法..._余雅琪的博客-CSDN博客MySQL外键创建失败原因汇总...原创 2023-03-03 14:10:07 · 422 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(五、MySQL基操之查)
(篇四直接就百万级处理跳的太快了,这里便于理解向后加四个基操的学习,都用小写,输入法方便了)目录一、基本select二、与创建临时表结合一、基本select(主要应用于临时表,重中之重临时表!!!)SQL语句需要注意之一:" " ' ' ` ` 的区别 双引 单引 重音符的区别:" " 包含字符串可以出现中文,' ' 不能出现中文其他一样,建议能用 " " 就别用 '' ,例:where name="张san" ,` ` 重音符用来包括中文列名或中文表名或中文数...原创 2021-03-17 18:24:13 · 83 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(七、MySQL基操之插)
(传统说明:感觉说增删改查的insert说时增不合适,我感觉单独说插入更合适)目录一、插入二、插入查找出的内容(insert+select)一、插入现在向货表中加了个新货,但是钱表里没有;insert into 表(列) ...... 最基本的这里就略了,这里重点介绍下面的。二、插入查找出的内容(insert+select)现在向货表中加了个新货,但是钱表里没有;现在要将货表里钱表没有的加到钱表里去(表二里有的,表一里没有的,添加到表一中);简化一下示意图...原创 2021-03-19 16:36:55 · 66 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(六、MySQL基操之修改)
(修改有两个层面的命令 alter和update,alter对表修改,表、表名、列、列名、列属性等;update对数据修改,修改id,姓名,性别数据之类;导表之后可能会出现需要这两种语句来处理问题)目录一、列类型未正确匹配二、修改列数据,匹配列数据一、列类型未正确匹配例:excel中日期在导表时默认匹配格式为字符串,(目前常用的)筛选处理日期时默认字符需要重新修改列类型为date; 售价部分会带小数,默认也是字符,我直接转float会报错,就先转int再转float,但是.原创 2021-03-19 15:31:17 · 86 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(九、MySQL事务问题基础)
区别可参考https://blog.csdn.net/weixin_42474537/article/details/113421872目录一、开启和关闭二、场景问题(自动提交开启状态)MySQL5.7默认是开启自动提交的,某些情况下会对性能有一些影响。如果用户插入十条数据,自动提交会提交十次,但关闭自动提交用代码提交只需要一次;如果基本上是在代码中对MySQL操作可以关闭自动提交,其他情况我建议开着,进入MySQL中写完SQL都需要commit一下感觉还是有点麻烦的,但是相对来说会原创 2021-03-23 16:23:13 · 129 阅读 · 0 评论