【导语】:做爬虫的时候,难免会快速多次地访问某个网站,触发网站的反爬虫机制,就会“封IP”。解决方法之一就是用代理池,本文就向大家介绍使用Mysql维护一个代理池的方法。
1. 配置PyCharm
为了方便写SQL代码及实时关注数据库的信息,我们先配置一下PyCharm。
找到PyCharm右边栏的Database,点击它,然后它的界面会弹出来,点击+号,选择数据库。
如图示操作,找到我们的小鲸鱼MySQL,点击进入。
通过这个界面就可以配置MySQL了,这里有几个填写的我已经作了标注,简单介绍一下:
Name: 本次的配置的名字,这里我填的是spider,也可以使用默认名@localhost。
Host: 数据库的IP地址,因为我的MySQL在本地,所以这里我填的就是localhost。
User: 数据库的用户名。
Password: 数据库的密码。
Database: 数据库的名字,我这里提前建了一个名为spider的数据库。
URL: 这里我们在后面加上?serverTimezone=UTC,否则的话等会儿我们连接时会出现Server returns invalid timezone. Go to ‘Advanced’ tab and set‘serverTimezone’ property manually.错误,或者按照错误提示,去Advanced选项配置一下Advanced。
配置完后就点击Test Connection按钮,如果提示缺少驱动文件,直接在弹出的对话框点击下载即可,不出意外的话,就会在下面出现连接成功的信息。
插入数据后,按图示操作刷新一下,然后双击数据表,就可以看到数据表中的信息了,美滋滋ヾ(@▽@)ノ。
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,