Python爬取58同城二手房信息的标题名称

今天，我们用Python来爬取58同城页面二手房信息的数据。
首先打开网址：https://cs.58.com/ershoufang/
打开F12开发者工具，elements栏中定位到二手房信息。其中我们可以看出，所有的二手房信息都是在< ul >标签中，每一个< li >标签内容对应一条二手房信息，只要从< li >标签信息中获取到标题名称即可。
详细代码如下：

import requests
from lxml import etree

if __name__=="__main__":
    url = 'https://cs.58.com/ershoufang/'
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'
    }

    # 爬取页面源码数据
    page_text = requests.get(url=url,headers=headers).text

    # 数据解析
    tree = etree.HTML(page_text)

    # 存储li标签对象
    li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')
    fp = open('data/58同城二手房.txt','w',encoding='utf-8')
    for li in li_list:
        # 以li标签为跟标签定位
        title = li.xpath('./div[2]/h2/a/text()')[0]
        print(title)
        fp.write(title+'\n')

运行结果如下：