Python采集二手房源数据信息并做多线程

前言

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

环境使用:

• Python 3.8

• Pycharm

模块使用:

• requests >>> pip install requests 数据请求模块

• parsel >>> pip install parsel 数据解析模块

• csv 内置模块

代码展示

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests
import requests
# 导入解析数据模块 --> 第三方模块, 需要安装 pip install parsel
import parsel
# 导入csv模块
import csv

创建文件

f = open('data.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '小区',
    '区域',
    '售价',
    '单价',
    '户型',
    '面积',
    '朝向',
    '装修',
    '楼层',
    '年份',
    '建筑类型',
    '详情页',
])
csv_writer.writeheader()

“”"

发送请求, 模拟浏览器 对于 url地址 发送请求

• 模拟浏览器 < 请求头 headers >

“”"

模拟浏览器

headers = {
   
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

请求网址/网站

url = 'https://*****/ershoufang/'

发送请求

response = requests.get(url=url, headers=headers)
# <Response [200]> 响应对象 200 状态码 表示请求成功
print(response)

“”"

获取数据, 获取网页源代码 <获取服务器返回响应数据>

解析数据, 提取我们想要的数据内容

解析方法:

1. re: 对于字符串数据直接进行解析提取

2. css: 根据标签属性提取数据内容

3. xpath: 根据标签节点提取数据内容

使用css: 根据标签属性提取数据内容

“”"

把获取到html字符串数据, 转成可解析对象

selector = parsel.Selector(response.text)

获取所有房源信息所在li标签