批量爬取链家房源信息

最新推荐文章于 2021-12-26 14:02:41 发布
最新推荐文章于 2021-12-26 14:02:41 发布
阅读量915 收藏 2
点赞数 1
分类专栏： 笔记 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ALLENsakaru/article/details/83503761
版权

Python 爬虫get请求

http get请求：明文向服务器发起资源获取的请求
post：向服务器传递信息
get：向服务器获取信息
get请求常见使用方法:
　　urllib get
　　requests get

在爬虫方向
　　除了模拟登陆之外，大部分的请求是get
1、get请求常见使用方法
　　网站分类
　　网站分页
　　搜索关键字
　　瀑布流参数
2、get请求的格式：
　　Get请求以问号开始，以&符合为分割，参数以键等于值的形式进行传递
　　在这里插入图片描述
我们在爬虫面对get请求的时候，要分清get请求和路径请求，接下来我们通过一个例子来认识get请求．
爬取链家房产信息，分析链家网站租房页面特色，抓包分析，确定网页指定的包。
这里我们需要打开一个新的无痕窗口，并按F12进入开发者工具，查看各种包及源代码。
在这里插入图片描述
查看请求头部，获取我们可以使用的请求信息
在这里插入图片描述
进行网页功能点击试探
在这里插入图片描述
访问区域的时候，我们发现了新的链接请求
在这里插入图片描述
我们再访问第二页看看如何变化
在这里插入图片描述
接下来我们就可以对网页结构进行分析了
在这里插入图片描述
结构分析，除非要筛选的数据很多，否则知道大概，在代码编写的时候，按照xpath或者bs再次进行分析。
开始代码编写：
　　我们今天采用urllib模块，urllib在Python2的时候，被划分为了urllib、urllib2两个模块，但是由于这两个模块功能重复，比如都拥有urlopen方法，所以，在Python3将urllib和urllib2整合为新的模块，按照功能划分为5个子模块
　　Error 处理爬虫请求工程当中的错误
　　　　拥有try,except捕获，或者raise错误诱发
　　Parse 请求数据封装
　　Request 请求功能
　　Response 响应功能
　　Robotparser 机器人(爬虫)协定
在这里插入图片描述
接下来我们先完成当前页面的源码获取，代码如下：

#coding:utf-8

from urllib import request

#请求的地址和身份参数
url = "https://cd.lianjia.com/zufang/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
}
#封装请求，这里没有发起请求
req = request.Request(url = url,headers = headers)
#使用urllib自带的请求方法发起请求，urlopen可以像浏览器一样向服务网发起请求，但是不记录服务器下发的识别
respone = request.urlopen(req)
#urllib返回字符串对象，通常以文件的格式进行返回
result = respone.read().decode() #python3 版本，文件对象读返回的是字节
#输出结果
print(result)

效果如下：
在这里插入图片描述

完成源码当中数据筛选

上面的代码我们完成了数据的爬取，但是，除了我们想要的数据，还有大段的HTML
我们需要的数据有
Name 房屋名称
　　Address 房屋地址
　　Style 房屋样式
　　Size 房屋尺寸
　　Price 房屋价格
我们首先以房屋名称为例子写一下xpath

#! /usr/bin/env python3
# -*- coding : utf-8 -*-
# Author     : ALLEN
from urllib import request
from lxml import etree
#请求的地址和身份参数
url = "https://cd.lianjia.com/zufang/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
}
#封装请求，这里没有发起请求
req = request.Request(url = url,headers = headers)
#使用urllib自带的请求方法发起请求，urlopen可以像浏览器一样向服务网发起请求，但是不记录服务器下发的识别
respone = request.urlopen(req)
#urllib返回字符串对象，通常以文件的格式进行返回
result = respone.read().decode() #python3 版本，文件对象读返回的是字节
#输出结果
# print(result)
#构建HTML匹配对象
html = etree.HTML(result)
#进行xpath匹配
house_list = html.xpath('//ul[@id="house-lst"]/li/div[@class="info-panel"]/h2/a')

for house in house_list:
    name = house.text
    print(name)

效果如下：
在这里插入图片描述
但是在工作当中，由于web2.0构建出了相当多复杂的结构，我们需要知道，xpath匹配成功，放回的还是xpath对象，也就是还可以进行匹配，由于这个特性，我们的的xpath可以写成下面这样
我们对要筛选的数据按照HTML结构进行划分
在这里插入图片描述
我们将房屋名称进行单独匹配
将房屋样式、大小、和地址进行统一匹配
将价格单独匹配，匹配思路如下
首先匹配完整的一个里下面的信息块儿
在这里插入图片描述
其次通过对第一个子块儿匹配房屋名称
在这里插入图片描述
对第二个子块儿进行匹配，匹配房屋样式、大小、地址
在这里插入图片描述
第三个子块儿匹配价格
在这里插入图片描述
代码如下：

#! /usr/bin/env python3
# -*- coding : utf-8 -*-
# Author     : ALLEN
from urllib import request
from lxml import etree
#请求的地址和身份参数
url = "https://cd.lianjia.com/zufang/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
}
#封装请求，这里没有发起请求
req = request.Request(url = url,headers = headers)
#使用urllib自带的请求方法发起请求，urlopen可以像浏览器一样向服务网发起请求，但是不记录服务器下发的识别
respone = request.urlopen(req)
#urllib返回字符串对象，通常以文件的格式进行返回
result = respone.read().decode() #python3 版本，文件对象读返回的是字节
#输出结果
# print(result)
#构建HTML匹配对象
html = etree.HTML(result)
#进行xpath匹配
house_list = html.xpath('//ul[@id="house-lst"]/li/div[@class="info-panel"]')

for house in house_list:
    #当前的house就是一个xpath对象
    house_name = house.xpath('h2/a')[0] #注意，xpath匹配哪怕一个返回的也是列表
    name = house_name.text

    #然后进行样式、大小、和地址的匹配，我们称这个匹配为房屋的描述
    house_description = house.xpath('div[@class="col-1"]')[0]
    house_style = house_description.xpath('div[@class="where"]/span[@class="zone"]/span')[0]
    style = house_style.text.strip()

    house_size = house_description.xpath('div[@class="where"]/span[@class="meters"]')[0]
    size = house_size.text

    house_address = house_description.xpath('div[@class="other"]/div[@class="con"]/a')[0]
    address = house_address.text

    #然后进行价格匹配
    house_price = house.xpath('div[@class="col-3"]/div[@class="price"]/span')[0]
    price = house_price.text

    #进行信息的汇总
    result_dict = {
        "address": address,
        "name": name,
        "style": style,
        "size": size,
        "price": price
    }
    content = "%(address)s-%(name)s[%(style)s]:%(size)s:%(price)s"%result_dict

    print(content)

效果如下：
在这里插入图片描述

完成批量爬取

代码如下：

#! /usr/bin/env python3
# -*- coding : utf-8 -*-
# Author     : ALLEN
from urllib import request
from lxml import etree
def getHouse(page):
    house_data = []
    for p in range(1, page + 1):
        if p == 1:
            url = "https://cd.lianjia.com/zufang/"
        else:
            url = "https://cd.lianjia.com/zufang/pg%s/" % p

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
        }
        #请求的地址和身份参数
        # url = "https://cd.lianjia.com/zufang/"
        # headers = {
        #     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
        # }
        #封装请求，这里没有发起请求
        req = request.Request(url = url,headers = headers)
        #使用urllib自带的请求方法发起请求，urlopen可以像浏览器一样向服务网发起请求，但是不记录服务器下发的识别
        respone = request.urlopen(req)
        #urllib返回字符串对象，通常以文件的格式进行返回
        result = respone.read().decode() #python3 版本，文件对象读返回的是字节
        #输出结果
        # print(result)
        #构建HTML匹配对象
        html = etree.HTML(result)
        #进行xpath匹配
        house_list = html.xpath('//ul[@id="house-lst"]/li/div[@class="info-panel"]')

        for house in house_list:
            #当前的house就是一个xpath对象
            house_name = house.xpath('h2/a')[0] #注意，xpath匹配哪怕一个返回的也是列表
            name = house_name.text

            #然后进行样式、大小、和地址的匹配，我们称这个匹配为房屋的描述
            house_description = house.xpath('div[@class="col-1"]')[0]
            house_style = house_description.xpath('div[@class="where"]/span[@class="zone"]/span')[0]
            style = house_style.text.strip()

            house_size = house_description.xpath('div[@class="where"]/span[@class="meters"]')[0]
            size = house_size.text

            house_address = house_description.xpath('div[@class="other"]/div[@class="con"]/a')[0]
            address = house_address.text

            #然后进行价格匹配
            house_price = house.xpath('div[@class="col-3"]/div[@class="price"]/span')[0]
            price = house_price.text

            #进行信息的汇总
            result_dict = {
                "address": address,
                "name": name,
                "style": style,
                "size": size,
                "price": price
            }
            content = "%(address)s-%(name)s[%(style)s]:%(size)s:%(price)s"%result_dict

            print(content)
            house_data.append(result_dict)
    return house_data
if __name__ == "__main__":
    getHouse(5)

完成灵活爬取

代码如下：

#! /usr/bin/env python3
# -*- coding : utf-8 -*-
# Author     : ALLEN
from urllib import request
from lxml import etree
def getHouse(addr,page):
    house_data = []
    # for p in range(1, page + 1):
    #     if p == 1:
    #         url = "https://cd.lianjia.com/zufang/"
    #     else:
    #         url = "https://cd.lianjia.com/zufang/pg%s/" % p
    #
    #     headers = {
    #         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
    #     }
    #     #请求的地址和身份参数
    #     # url = "https://cd.lianjia.com/zufang/"
    #     # headers = {
    #     #     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
    #     # }
    for p in range(1, page + 1):
        if p == 1:
            url = "https://cd.lianjia.com/zufang/%s/" % addr
            Referer = "https://cd.lianjia.com/zufang/"
        elif p == 2:
            url = "https://cd.lianjia.com/zufang/%s/pg%s/" % (addr, p)
            Referer = "https://cd.lianjia.com/zufang/%s/" % addr
        else:
            url = "https://cd.lianjia.com/zufang/%s/pg%s/" % (addr, p)
            Referer = "https://cd.lianjia.com/zufang/%s/pg%s/" % (addr, p - 1)

        headers = {
            "Referer": Referer,
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"
        }

        #封装请求，这里没有发起请求
        req = request.Request(url = url,headers = headers)
        #使用urllib自带的请求方法发起请求，urlopen可以像浏览器一样向服务网发起请求，但是不记录服务器下发的识别
        respone = request.urlopen(req)
        #urllib返回字符串对象，通常以文件的格式进行返回
        result = respone.read().decode() #python3 版本，文件对象读返回的是字节
        #输出结果
        # print(result)
        #构建HTML匹配对象
        html = etree.HTML(result)
        #进行xpath匹配
        house_list = html.xpath('//ul[@id="house-lst"]/li/div[@class="info-panel"]')

        for house in house_list:
            #当前的house就是一个xpath对象
            house_name = house.xpath('h2/a')[0] #注意，xpath匹配哪怕一个返回的也是列表
            name = house_name.text

            #然后进行样式、大小、和地址的匹配，我们称这个匹配为房屋的描述
            house_description = house.xpath('div[@class="col-1"]')[0]
            house_style = house_description.xpath('div[@class="where"]/span[@class="zone"]/span')[0]
            style = house_style.text.strip()

            house_size = house_description.xpath('div[@class="where"]/span[@class="meters"]')[0]
            size = house_size.text

            house_address = house_description.xpath('div[@class="other"]/div[@class="con"]/a')[0]
            address = house_address.text

            #然后进行价格匹配
            house_price = house.xpath('div[@class="col-3"]/div[@class="price"]/span')[0]
            price = house_price.text

            #进行信息的汇总
            result_dict = {
                "address": address,
                "name": name,
                "style": style,
                "size": size,
                "price": price
            }
            content = "%(address)s-%(name)s[%(style)s]:%(size)s:%(price)s"%result_dict

            print(content)
            house_data.append(result_dict)
    return house_data
if __name__ == "__main__":
    getHouse("gaoxin7",5)

在上面代码的基础上，还可以完成对房产经纪人姓名和电话的爬取，然后汇总到最后的结果。这个部分将会在以后更新
如果对爬虫感兴趣，可以访问这个网址点击这里
这里有很多关于python方面的爬虫链接教程

Qingwashuo
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
链家资源爬取
weixin_44119390的博客
05-25 1129
实现逻辑 链家爬取是一个简单的爬虫逻辑 获取页面----->解析页面--------->数据的永久保存 现在我们直接上代码 上代码 #一个非常常用的爬虫库 #模拟浏览器，向服务器获取页面 import requests #解析库 from lxml import html import csv import time #新版lxml就是有点麻烦，之前直接可以调用etree方法 ...
链家全国各省城市房屋数据批量爬取，别再为房屋发愁！
爬遍所有网站
08-27 1355
1、前言 本文爬取的是链家的二手房信息，相信个位小伙伴看完后一定能自己动手爬取链家的其他模块，比如：租房、新房等等模块房屋数据。 话不多说，来到链家首页，点击北京 来到如下页面，这里有全国各个各个省份城市，而且点击某个城市会跳转到以该城市的为定位的页面 点击二手房，来到二手房页面，可以发现链接地址只是在原先的URL上拼接了/ershoufang/,所以我们之后也可以直接拼接 但注意，以下这种我们不需要的需要排除 多页爬取，规律如下，多的也不用我说了，大家都能看..
爬取链家所有地区的房屋信息
前路艰险，路途漫长
05-06 1090
from selenium import webdriver import time from lxml import etree import requests def iskong(a): if len(a): return a else: return '' #初始URL url = 'https://bj.fang.lianjia.com...
scrapy 爬取链家网站房价爬虫 多页爬取
weixin_30439131的博客
09-06 209
直接上代码，顺便在这里记录，时间2190906. 刚开始爬贝壳网的，发现有反爬虫，我也不会绕，换了链家网，原来中文也可以做变量。 spider.py 1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 from beike.items import BeikeItem 5 6 class BeikewSpider...
利用BS实现安居客房地产中介信息的爬取
xiaocaibai的博客
12-10 493
python中的BS
爬取链家房屋信息-实现代码
12-07
在本项目中，我们将探讨如何实现爬取链家网站上的房屋信息。链家是中国领先的房地产信息平台，提供了大量的房源数据，包括价格、面积、位置、户型等。通过编写爬虫程序，我们可以自动化地获取这些数据，进行数据分析...
python爬取链家网租房数据
03-12
在这个“python爬取链家网租房数据”的项目中，我们将深入探讨如何利用Python来抓取链家网上的租房信息，并将数据保存到本地以便进一步分析。 链家网是中国知名的房产服务平台，提供了丰富的房源信息，包括租房、...
ScrapyMySQL爬取链家网中北京地区租房信息
08-10
总结来说，"ScrapyMySQL爬取链家网中北京地区租房信息"项目涉及到了Python爬虫开发的核心技术，包括Scrapy框架的使用、HTML解析、MySQL数据库操作、数据预处理以及应对反爬策略等。这些知识点构成了一个完整的网络...
net c# 网络爬虫源码 --- 爬取全国小区信息并保存到数据库，58同城等各大网站爬取
09-12
个人手写的爬虫工具。爬取全国小区信息并保存到数据库中；爬取58同城等各大网站小区信息。欢迎大家使用。
58房源爬取
08-13
python使用BS4爬取58同城房源的代码。
楼盘数据爬取
03-14
c#开发的，通过HtmlAgilityPack.dll实现对云南楼盘数据爬取。
python 爬取58二手房信息
07-04
基于《用python写网络爬虫》示例修改的爬取58武汉各区二手房信息。
scrapy爬取链家经纪人的数据（详细教程）
for_syq的博客
04-23 949
urlhttps://bj.lianjia.com/jingjiren/ 我们要爬取的是这个网站(我爬取的是前10页的内容，网盘里面的爬取的是100页（也就是全部）) 文章最后有这个项目的百度网盘链接 1.创建爬虫项目 scrapy startproject lianjia_agent（创建项目） cd lianjia_agent（进入到项目中） scrapy genspider agent（爬...
java爬取链家网数据
Big Data
05-22 807
int num = 1; String path = "D:\\房源信息.txt"; BufferedWriter bf = new BufferedWriter(new FileWriter(path)); while(num<=100){ String link = "https://bj.lianjia.com/ershoufang/pg"+num; Doc...
Python网络爬虫实例教程链家经纪人爬虫实现代码勘误
willingLin
02-14 937
不多说，先上勘误代码 # 链家经纪人爬虫实现 import requests import csv import time from lxml import etree def csv_writer(item): with open('csvFile/lianjia_broker.csv', 'a', encoding='gbk') as csvfile: wri...
爬取链家网站中的租房信息
xvbai的博客
12-26 730
爬取链家网站中的租房信息及可视化代码
链家信息爬取
weixin_34021089的博客
08-19 62
一、数据库封装 import pymysqlclass MysqlHelper(object): def __init__(self): self.db = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='abc123', database='py1011', charset='utf8'...
帮我爬取链家网芜湖房源信息
最新发布
06-08
好的，我可以为您提供一些关于如何爬取链家网芜湖房源信息的参考。 首先，您需要使用Python编程语言，并安装相关的第三方库，如requests和BeautifulSoup等。然后，您需要模拟浏览器的请求，访问链家网芜湖房源的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值