基于Scrapy的网络爬虫和Sklearn的机器学习算法

最新推荐文章于 2022-07-29 16:06:50 发布

闭上眼不见

最新推荐文章于 2022-07-29 16:06:50 发布

阅读量1.4k

点赞数

文章标签： Scrapy 网络爬虫 Sklearn 线性回归机器学习

本文链接：https://blog.csdn.net/lw_816/article/details/80555234

版权

本文介绍了使用Scrapy框架爬取房天下网站北京市租房信息，并运用Sklearn进行数据预处理及线性回归模型训练，以预测房价。数据包括标题、出租方式、户型、面积等，通过Numpy和Pandas处理后，用线性回归模型进行建模，并通过可视化和测试数据评估模型效果。

摘要由CSDN通过智能技术生成

本着对网络爬虫的兴趣，在闲来无事时做了一个有关网络爬虫的项目，本项目用的是Scrapy爬虫框架，同时为了有效利用这些数据，用入门的sklearn对这些数据进行预处理并训练除了一个预测模型，下面开始本项目的介绍。

1、数据准备与爬虫

本项目以房天下网站北京市租房信息为对象，首先确定爬取的房屋属性为：标题、出租方式、户型、建筑面积、朝向、楼层、装修程度等因素。首先我们获取要爬取内容的首页为http://zu.fang.com/，可以看到北京市有多个区，为了尽可能多的爬取租房数据，因此我们再每个区所在网页爬取100页。同时用xpath提取器来提取网页的内容，爬虫的代码如下：

import scrapy
from scrapy.http import Request
from zufang_scrapy.items import ZufangScrapyItem
import requests
from lxml import etree
class ZufangSpider(scrapy.Spider):
name = 'zufang'
headers = {'User_Agent':
'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36'}
def start_requests(self):
for i in range(1, 150):
start_url = "http://zu.fang.com/house-a0" + str(i) + "/"
for j in range(1, 100):
url = start_url + "i3" + str(j) + "/"
html=requests.get(url)
xpath1=etree.HTML(html.text)
href=xpath1.xpath(
'//p[@class="title"]/a/@href'
)
for link in href: