mysql数据库
文章平均质量分 53
工匠小能手
顺境时善待他人,逆境时善待自己
展开
-
【学习笔记】mysql 数据库备份与恢复体验
在与RDS互通的ECS上登陆数据库查看一个表的记录id 100,name xd1执行备份数据库命令mysqldump--skip-triggers -h数据库访问地址 --protocol=TCP -u数据库用户名 -p数据库密码 -P3306 --databases rds_test1_0 --tables xdtest_0 --log-error=/root/dbbak/mysqldump_error.log > /root/dbbak/bak.sql从...原创 2020-06-30 20:10:22 · 418 阅读 · 0 评论 -
【大数据学习笔记-4】电商数据从阿里云RDS数据库复制到华为云RDS数据库,部分表格复制失败
【问题背景】昨天用华为云CDM服务把阿里云上一个电商客户RDS mysql数据库复制到华为云上备份,提示有部分数据表复制失败了。【原因分析】通过华为云迁移服务CDM发现了哪些表格迁移失败,能看到是完成复制了多少行。进一步查看日志,发现有个字符是4字节的。根据经验,推测是移动APP的emoji表情。检查数据库的字符编码是utf-8,在数据库中占用3个字节,因此4字节的...原创 2019-03-06 20:51:38 · 486 阅读 · 0 评论 -
【mysql数据库】读写分离的常见方案
【学习背景】近期陆续接触到数据分析和数据可视化的项目,考虑到数据库的性能,涉及了读写分离,特地了解一下mysql读写分离的常见方案。做个学习笔记。主要参考文献:https://www.cnblogs.com/fyc119/p/7529902.htmlhttps://yq.aliyun.com/articles/241744【读写分离的目的】通过数据库中间件,可以对数据库进行水平扩展,由...原创 2019-03-08 21:45:56 · 7215 阅读 · 0 评论 -
【mysql数据库】数据库只读实例的同步延迟的场景和可能原因
【背景】近期在给一个客户做DEMO,需要把阿里云RDS for mysql数据库备份到其他云上去,考虑到可能会用只读实例作为复制的源端,就会涉及到只读实例和主库之间有延迟的场景。本文主要参考阿里云的帮助资料(https://help.aliyun.com/knowledge_detail/41767.html),本文做一个学习总结。1. 只读实例产生延迟的原因1.1 只读实例规格过小...原创 2019-03-03 18:34:52 · 629 阅读 · 0 评论 -
【大数据学习笔记-3】将阿里云上的mysql数据库实时自动化复制到华为云mysql数据库,分析行为数据
【学习背景】近期在给一个电商客户做用户行为分析的大数据平台,计划使用华为云的mapreduce服务中的spark和hive组件。当使用华为云数据迁移服务CDM迁移完在源端阿里云的数据库后,发现没有触发增量迁移的相关功能,那么问题来了:源端阿里云上的数据库发生更新后,华为云如何感知到数据变化,如何自动实时复制增量数据呢?分析用户行为数据(检测薅羊毛、预警店铺当日最大转账额度等)都需要实时数据分析...原创 2019-03-04 21:38:08 · 1634 阅读 · 0 评论 -
【mysql数据库语法学习】统计一个表中重复数据的数量并进行排序
【背景】有一个测试数据集是关于不同省份用户在电商网站的行为记录,包括浏览量和购买,需要统计一下每个省份的用户数量有多少。【SQL语句】SELECT Province,count(*) as count FROM user_action GROUP BY Province ORDER BY count DESC【可视化效果】...原创 2019-02-23 20:29:13 · 1838 阅读 · 0 评论 -
【mysql数据库】python 3.7 脚本执行SQL语句,关于字符串变量的注意事项
转载一篇网友介绍Python 数据库的Connection、Cursor两大对象,写的非常好。https://blog.csdn.net/guofeng93/article/details/53994112最新在使用python操作数据库,发现使用cursor.execute执行mysql数据时,字符串变量的规范用法,总结如下。1、字符串变量与SQL语句在同一个表达式中时,通配符使用 '%s...原创 2018-11-25 12:39:37 · 2284 阅读 · 0 评论 -
【mysql数据库】通过python 3.7 爬虫获取企查查公开的企业信息,并记录到数据库
1、爬虫的思路参考这篇博文https://mp.csdn.net/postedit/836285872、数据库保存截图如下3、python代码如下#!/usr/bin/python3#-*- coding: utf-8 -*-import urllib.requestimport reimport pymysql#记录公司信息的字典,类似C语言的结构体#字典中...原创 2018-11-26 01:08:19 · 8389 阅读 · 9 评论 -
【mysql数据库】通过python 3.7 爬虫获取重庆智博会上重庆本地的参会企业,并记录到mysql数据库中
1、爬虫思路参考这篇博文https://blog.csdn.net/qq_39295735/article/details/835398532、数据库保存结果如下(篇幅有限,仅部分截图)3、python代码如下#!/usr/bin/python3#-*- coding: utf-8 -*-import urllib.requestimport reimport pymy...原创 2018-11-25 17:50:49 · 293 阅读 · 0 评论 -
【mysql数据库】centos6.8上搭建mysql环境,设置字符集支持中文
1.下载并安装 mysql# yum -y install mysql mysql-server # service mysqld start2.重置mysql密码。默认密码为空,直接回车,输入新密码Huawei@123,然后一直yes确认。Mysql5.7默认密码规则要求包含大小字母、数字和特殊字符。#mysql_secure_installation3.登陆mysql,允许外部I...原创 2018-11-22 23:25:50 · 343 阅读 · 0 评论 -
【mysql数据库】通过python 3.7 连接mysql数据库
信息来源:http://www.runoob.com/python3/python3-mysql.htmlhttp://www.runoob.com/python3/python-mysql-connector.html (推荐用这个)在笔记本的命令行种安装PyMySQL插件或python -m pip install mysql-connector或pip3 instal...原创 2018-11-23 21:12:39 · 480 阅读 · 0 评论