【爬虫】问题集-豆瓣电影

【爬虫】问题集-豆瓣电影

本文章用于豆瓣电影爬取信息过程中出现的问题
全部内容见笔者的github

问题1 pip install numpy命令行输入的时候报错 OSError: [WinError 87] 参数错误

1. 场景

   • 用conda创建一个虚拟的环境：conda create -n scrapy python=3

2. 问题

   • 运行爬虫代码时，出现 OSError: [WinError 87] The parameter is incorrect

3. 描述

   • python=3默认安装3.8，有些python库并不支持python3.8

4. 解决方案

   • conda create -n scrapy python=3.7

问题2 WebDriverException: Message: unknown error: bad inspector message

1. 场景

   • 用python，selenium构建爬虫获取网页信息，并用xpath进行页面内容解析