python3.6与MySQL
文章平均质量分 66
不论如何未来很美好
这个作者很懒,什么都没留下…
展开
-
python3.6中MySQL表的创建和删除
python3.6中MySQL表的创建和删除原创 2017-04-23 16:26:15 · 10146 阅读 · 1 评论 -
完美解决mysql保存中文出现1366错误
最近在使用sqlalchemy将中文存放至mysql数据库的表中时出现:Warning Code :1366 Incorrect string value: '\xE5\x9C\xA8' for column 'content' at row 1这是因为我们存放的中文,而我们的表并不支持中文字符集,使用 show variables like 'character%'; 查看mysql当前...原创 2018-06-10 10:23:10 · 57893 阅读 · 3 评论 -
pandas利用sqlalchemy保存数据到数据库(to_sql)
当我们利用pandas处理完数据后,有时可能需要将处理好的数据保存到数据库中,这时需要利用sqlalchemy。SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。利用sqlalchemy,可以讲pandas类型的格式数据保存到数据库中,但是在使用过程中还是有很多坑的,下面简单介绍一下如何使用:1:import pandas as pdf...原创 2018-06-05 22:38:20 · 12024 阅读 · 4 评论 -
python3 scrapy实战:爬取猎聘网招聘数据至数据库(反爬虫)
首先注明:感谢拉勾网提供的权威、质量的数据,本人抱着学习的态度,不愿增加其服务器负担,与dos攻击。继前两篇爬取拉勾网、直聘网后的第三篇文章,同样是使用scrapy来获取网站的招聘信息,并且保存至MySQL数据库,与前两篇文章有所差异,下面进入正题:猎聘网的信息也比较权威、质量,由于吸取了前两次的教训,总结了经验后,在本次的scrapy爬取过程中并没有出现网站的制裁,只是猎聘网的数据信息有点不规范...原创 2018-06-05 17:27:16 · 12151 阅读 · 6 评论 -
python3 scrapy实战:爬取拉勾网招聘数据至数据库(反爬虫)
首先注明:感谢拉钩网提供的权威、质量的数据,本人抱着学习的态度,不愿增加其服务器负担,与dos攻击。由于后面准备做一个大一点的数据分析项目,所以前提需要获取大量的有质量和权威的信息,其中一个获取点便是拉钩网,进入正题:本片将介绍对拉钩网的招聘数据爬取,过程中包括了反爬虫post请求来获取数据文件。以及将所有的信息,保存到MySQL数据库中。首先我们来分析一下我们需要爬取信息的网页信息:https:...原创 2018-06-05 15:19:20 · 8396 阅读 · 7 评论 -
python3 scrapy实战:爬取直聘网招聘数据至数据库(反爬虫)
首先注明:感谢拉勾网提供的权威、质量的数据,本人抱着学习的态度,不愿增加其服务器负担,与dos攻击。继上一篇爬取拉勾网后的第二篇文章,同样是使用scrapy来获取网站的招聘信息,并且保存至MySQL数据库,与上一篇文章有所差异,下面进入正题:直聘网的信息也比较权威、质量,但是反爬虫的有点厉害,做了很多的措施,但时不时还是六字真言教你做人:本来比较简单的网页硬是用了两天才爬完,第一天就把IP给我封了...原创 2018-06-05 16:19:07 · 3036 阅读 · 16 评论 -
错误ModuleNotFoundError: No module named 'MySQLdb'
根据你自己的系统安装下面的库来解决问题:easy_install mysql-python (mix os)pip install mysql-python (mix os)apt-get install python-mysqldb (Linux Ubuntu)cd/usr/ports/databases/py-MySQLdb && make install clean (Fre...转载 2018-06-04 16:46:11 · 4585 阅读 · 0 评论 -
python3实战|python3爬取豆瓣top250备份到数据库
python3爬去豆瓣top250备份到数据库,由于这是一个经典的项目,学者所以打算练练手。备份到数据库是我感觉可以顺便练练MySQL开始写代码前首先我们应该有一个流程,也就是完成项目的步骤(我自己的体会):1:爬虫爬取豆瓣top250的网页,需要的信息返回2:返回的信息分类,数据应该至少包括(排名,影名,人物,评论,评分)这五项,并以文本的形式存入本地3 :创建数据库以及创建数据原创 2017-05-08 16:11:58 · 5116 阅读 · 7 评论 -
python3.6对MySQL数据恢复
上一篇博客讲了关于python3.6对数据库的备份,这一篇讲一下对数据库的简单数据恢复,备份请看上一篇。数据库的备份和数据恢复是一对相反的操作,如果你会了一种那么另一种自然就融会贯通了。 import ospath = "选择你的sql文件位置"#简单的恢复关键代码其实就下面这一行mysqldump换为mysql 用户名 密码 你要恢复到的数据库名 < sql文件os....原创 2017-04-25 19:54:00 · 1801 阅读 · 4 评论 -
python3实战scrapy获取数据保存至MySQL数据库
python3使用scrapy获取数据然后保存至MySQL数据库,我上一篇写了如何爬取数据保存为csv文件,这一篇将会写如何将数据保存至数据库。思路大都一样,我列一个思路:1:获取腾讯招聘网。2:筛选信息获取我们想要的。3:将获取的信息按照规律保存至本地的txt文件。4:读取txt文件的信息上传至MySQL数据库。(友情提示:如果有朋友不怎么看得懂路径导入,原创 2017-05-25 17:22:38 · 8003 阅读 · 2 评论 -
python3对MySQL的数据备份的详细介绍
python3对MySQL的数据备份的详细介绍 看了网上的一些对python备份MySQL的博客发现讲的都不是很详细,看了很多后自己准备写一篇博客关于python备份MySQL的详细简单的代码代码其实很简单,你只需要对MySQL的基本操作以及python中的mysqldump模块有所了解就ok!mysqldump是mysql用于转存储数据库的实用程序 接下来我会对下面这段简...原创 2017-04-24 13:26:02 · 6211 阅读 · 4 评论 -
python3.6连接MySQL
python3.6连接MySQL数据库原创 2017-04-23 10:46:16 · 6656 阅读 · 0 评论 -
python判断mysql中某张表是否存在
当向数据库添加表是,我们可能需要首先判断该表是否已经存在了,在继续后面的工作。import pymysqlimport redef table_exists(con,table_name):#这个函数用来判断表是否存在 sql = "show tables;" con.execute(sql) tables = [con.fetchall()]...原创 2018-06-10 10:59:11 · 24525 阅读 · 3 评论