本文介绍了如何在PyCharm中利用Anaconda环境配置和运行Scrapy爬虫项目。首先，通过`scrapy startproject`创建项目结构，接着解决PyCharm中因缺少依赖导致的问题。然后，安装Anaconda并将其添加到环境变量，确保在Anaconda Prompt中能正常运行Scrapy命令。在PyCharm中，修改终端的shell path以调用Anaconda Prompt。文章还展示了如何发起HTTP请求、使用XPath和CSS选择器抓取网页元素，并创建Item类来存储数据。最后，讨论了爬虫遍历所有页面链接的实现方法，以及将爬取结果保存为JSON文件的技巧。
1.使用scrapy startproject 文件夹名 创建scrapy的文件结构
2.在pycharm中安装scrapy时，因为缺少依赖包如pywin32或lxml等，因此crawl指令无法使用
3.安装Anaconda，安装时点选将路径加入用户变量，在Anaconda中安装scrapt，将Anaconda中的解释器设置为项目的外部解释器
4.在Anaconda prompt使用scrapy指令，如
scrapy crawl names
or
scrapy runspider 文件名以进行爬取。执行时路径应为spiders的上一级目录
5.pycharm的terminal调用Anaconda prompt：
在pycharm的settings中找到terminal的shell path，内容有cmd.exe改为cmd.exe "/K" E:\Anaconda3\Scripts\activate.bat E:\Anaconda3 （从路径为Anaconda prompt的路径）
6.发起请求，如:
scrapy shell "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"用于在命令行中调试。
利用xpath获取元素，如：
response.xpath('//title/text()').get().split("|")[-2]
最低0.47元/天 解锁文章
430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
