基于Scrapy的网络爬虫和Sklearn的机器学习算法

本着对网络爬虫的兴趣，在闲来无事时做了一个有关网络爬虫的项目，本项目用的是Scrapy爬虫框架，同时为了有效利用这些数据，用入门的sklearn对这些数据进行预处理并训练除了一个预测模型，下面开始本项目的介绍。

1、数据准备与爬虫

本项目以房天下网站北京市租房信息为对象，首先确定爬取的房屋属性为：标题、出租方式、户型、建筑面积、朝向、楼层、装修程度等因素。首先我们获取要爬取内容的首页为http://zu.fang.com/，可以看到北京市有多个区，为了尽可能多的爬取租房数据，因此我们再每个区所在网页爬取100页。同时用xpath提取器来提取网页的内容，爬虫的代码如下：

import scrapy
from scrapy.http import Request
from zufang_scrapy.items import ZufangScrapyItem
import requests
from lxml import etree
class ZufangSpider(scrapy.Spider):
    name = 'zufang'
    headers = {'User_Agent':
                   'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36'}
    def start_requests(self):
        for i in range(1, 150):
            start_url = "http://zu.fang.com/house-a0" + str(i) + "/"
            for j in range(1, 100):
                url = start_url + "i3" + str(j) + "/"
                html=requests.get(url)
                xpath1=etree.HTML(html.text)
                href=xpath1.xpath(
                    '//p[@class="title"]/a/@href'
                )
                for link in href: