安装开发需要的一些库
(1) 安装mysql 的驱动:在Windows上按win+r输入cmd打开命令行,输入命令pip install pymysql,回车即可。
(2) 安装自动化测试的驱动selenium:在命令行中输入pip install selenium回车。
(3) 安装标签解析库pyquery: 在命令行中输入pip install pyquery回车。
(4) Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,下载anaconda,安装后配置环境变量,在path中添加E:\Anaconda3\anaconda\Library\bin,重启电脑使环境变量生效,安装jieba库,在命令行中输入pip install jieba回车。
(5) 下载ChromeDriver,官方网址为:[http://chromedriver.storage.googleapis.com/](http://chromedriver.storage.googleapis.com/)
index.html,并将chromedriver.exe放在Python安装目录的Scripts文件夹下。
实现
- 爬取数据的实现主要是用到了Pyquery、seleniu