python爬取学校学生信息网_Python Scrapy练习-爬取山东毕业生网站公开信息

参考文章

版本信息

PyCharm Community Edition 2017.2.3

C:\Users\long>conda -V

conda 4.3.30

C:\Users\long>python -V

Python 3.6.2 :: Anaconda, Inc.

C:\Users\long>conda list Scrapy

# packages in environment at C:\ProgramData\Anaconda3:

#

scrapy 1.4.0 py36h764da0a_1

C:\Users\long>conda list BeautifulSoup

# packages in environment at C:\ProgramData\Anaconda3:

#

beautifulsoup4 4.6.0 py36hd4cc5e8_1

准备工作

安装Scrapy

在cmd中执行：conda install Scrapy 没权限请用管理员

安装一个Python操作MySQL的包，来自MySQL官方的一个包：点我下载

下载完成后解压出来，从CMD进入该目录的绝对路径，然后 Python setup.py install ；即可完成安装

数据库信息

MySQL 5.5.4

user='root', password='root', host='127.0.0.1', database='sdbys'

表结构

-- ---------------------