lonesome_zxq的博客

背景 看小甲鱼的视频时，看到这个scrapy框架。于是找更多的文章来阅读，在知乎上发现了一个较好的教程： Scrapy爬虫框架教程1–Scrapy入门 Scrapy爬虫框架教程2–爬取豆瓣电影TOP250 Scrapy爬虫框架教程3–调试（Debugging）Spiders Scrapy爬虫框架教程4–抓取AJAX异步加载项 一步一步跟着这个教程做，可以实现爬取豆瓣电影榜单的功能。但是其中有两个小...

背景 按照这篇文章学些Scrapy框架，爬取豆瓣电影Top250的信息，将信息导入到本地csv文件时，由于电影名称是中文，存储时出现了乱码。 解决办法 在setting文件中加入这样一行语句： FEED_EXPORT_ENCODING = ‘utf-8-sig’ 保存setting文件。 问题解决： ...

背景 运行scrapy crawl dmoz 时，报出了No module named 'win32api’错误。 解决办法 去这个下载链接下载相关的软件。 双击安装，选择合适的Python Directory。 ...

背景 在控制台中用pip 安装 scrapy 时失败。报“Microsoft Viusal C++ 14.0 is required. Get it……” 安装命令 报错为： 事实上错误中提到的文件已经有了： 解决办法 去这个网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载这个文件：Twisted‑18.9.0‑cp36‑cp36...