python
MachinePanda
这个作者很懒,什么都没留下…
展开
-
基于Scrapy框架的豆瓣影评及评分爬取
一、创建爬虫项目,明确爬取信息1.1创建Scrapy项目nz_comments1.1.1使用交互行创建Scrapy项目爬虫项目在Pycharm的工作目录下创建。首先复制Pycharm的工作目录。①命令行 cd C:\Users\Administrator\PycharmProjects②命令行 scrapy startproject nz_comments成功创建爬虫项目nz_comments.1.1.2Pycharm打开项目nz_comments该项目中,有Scrapy框架的各个核心组原创 2020-12-30 21:24:23 · 2751 阅读 · 7 评论 -
爬虫伪装随机浏览器
My_USER_AGENT = ['Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1464.0 Safari/537.36', 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36', .原创 2020-12-28 12:37:57 · 425 阅读 · 1 评论 -
pip无法安装browsercookie解决方案
1.将官网 https://pypi.org/project/browsercookie/#files 里下载的browsercookie-0.7.7.tar.gz 文件下载,然后把文件放到C:\Program Files\Python 目录下(与python.exe放在同一个包里),解压,会生成一个文件包browsercookie-0.7.7 ,目录在C:\Program Files\Python\browsercookie-0.7.72.命令行 cd C:\Program Files\Pyt..原创 2020-12-27 18:42:04 · 1886 阅读 · 2 评论 -
pip无法安装scrapy解决方案
用pip安装scrapy时会因为安装twisted失败而报错,实际上解决的是安装twisted的方法,安装成功后再pip安装scrapy即可。1.将官网 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 里下载的Twisted-20.3.0-cp39-cp39-win_amd64.whl 文件下载(可以在官网通过CTRL + f 搜索 twisted找到文件),然后把文件放到C:\Program Files\Python 目录下(与python.exe放在同一...原创 2020-12-22 18:16:58 · 452 阅读 · 0 评论 -
pip无法安装sklearn解决方案
1.将官网 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 里下载的scikit_learn-0.23.2-cp39-cp39-win_amd64.whl 文件下载(可以在官网通过CTRL + f 搜索 scikit找到文件),然后把文件放到C:\Program Files\Python 目录下(与python.exe放在同一个包里)2.命令行 cd C:\Program Files\Python (因为python.exe在这个文件夹里)3.命令...转载 2020-12-18 21:02:28 · 2191 阅读 · 5 评论