基于Scrapy框架爬取厦门房价

本文的运行环境是Win10，IDE是Pycharm，Python版本是3.6。
请先保证自己安装好Pycharm和Scrapy。

1. 爬取的网站是国内著名的房天下网，网址：http://esf.xm.fang.com/，网站界面如下图所示。
   

   

   网站列表界面.png
   
   
   

   网站详情界面.png
   
   可以看出该网站信息较为全面。

2. 用Scrapy的Shell测试该网站是否能爬取。
   方法是在任意位置打开cmd或者PowerShell,输入命令scrapy shell "esf.xm.fang.com",
   一般来说不会出现错误，如果报错ImportError: DLL load failed: 操作系统无法运行 %1。，解决方法是把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可。
   确定命令正确后运行，结果如下图。
   

   

   测试能否爬取1.png
   
   在In[1]:后输入命令view(response)，确认命令正确后运行，会自动弹出浏览器窗口，如果出现如下图所示网站，则表示scrapy可以顺利从网站获取信息，即可以完成爬虫任务。
   
   

   测试能够爬取2.png
   
   从上图看出运行命令后打开的是本地的网站，即网站内容可以顺利从服务器缓存到本地。

3. 在你的工程文件中按住Shit，鼠标右击呼唤出下图所示菜单。
   选择下图所标识的在此处打开PowerShell窗口，cmd和PowerShell起到的效果相同。
   

   

   打开PowerShell.png
   
   在PoweShell中运行命令scrapy startproject XiamenHouse