python二手房价格预测_Python爬取赶集网北京二手房数据&R对爬取的二手房房价做线性回归分析...

前言：本文主要分为两部分：Python爬取赶集网北京二手房数据&R对爬取的二手房房价做线性回归分析。文章思路清晰，代码详细，特别适合刚刚接触Python&R的同学学习参考。

Part1：Python爬取赶集网北京二手房数据

入门爬虫一个月，所以对每一个网站都使用Xpath、BeautifulSoup、正则三种方法分别爬取，用于练习巩固。数据来源如下：

本文使用BeautifulSoup讲解。

Xpath传送门：Xpath+requests爬取赶集网北京二手房数据

importrequestsimportrefromrequests.exceptionsimportRequestExceptionfrombs4importBeautifulSoupimportcsvimporttimeheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/55.0.2883.87Safari/537.36'}defget_one_page(url):try:response=requests.get(url,headers=headers)ifresponse.status_code==200:returnresponse.textreturnNoneexceptRequestException:returnNonedefparse_one_page(content):try:soup=BeautifulSoup(content,'html.parser')items=soup.find('div',class_=re.compile('js-tips-list'))fordivinitems.find_all('div',class_=re.compile('ershoufang-list')):yield{'Name':div.find('a',class_=re.compile('js-title')).text,'Type':div.find('dd',class_=re.compile('size')).contents[1].text,#tag的.contents属性可以将tag的子节点以列表的方式输出'Area':div.find('dd',class_=re.compile('size')).contents[5].text,'Towards':div.find('dd',class_=re.compile('size')).contents[9].text,'Floor':div.find('dd',class_=re.compile('size')).contents[13].text.replace('\n',''),'Decorate':div.find('dd',class_=re.compile('size')).contents[17].text,'Address':div.find('span',class_=re.compile('area')).text.strip().replace('','').replace('\n',''),'TotalPrice':div.find('span',class_=re.compile('js-price')).text+div.find('span',class_=re.co