python爬虫爬取安居客北京新房的所有房源数据

empty_town

于 2019-07-09 10:48:23 发布

阅读量1.3k

点赞数 2

文章标签： Python爬虫爬取安居客北京房源数据

本文链接：https://blog.csdn.net/weixin_44530636/article/details/95173649

版权

本文使用Python爬虫技术，详细介绍了如何爬取安居客网站上北京的新房房源数据。通过调整URL，可以扩展到其他城市的数据获取。尽管目前只获取了有限的房源信息，但该过程表明安居客网站对爬虫较为友好，没有严格的反爬策略，且大部分页面为静态，便于抓取。部分爬取结果已展示。

摘要由CSDN通过智能技术生成

python code

经过url 的改变就能获取到其他城市的所有数据
一次性获取所有城市的数据，还需要在分析分析
房源的信息获取的也不多，还可以进一步完善

安居客还算比较友好的网站，几乎没有什么反爬措施，
当然也可能和我爬的数据较少有关
网站结构也很简单，几乎都是静态页面，很容易爬取

"""
安居客爬取房源数据
"""
"""
北京：
url = https://bj.fang.anjuke.com/
"""

import requests
import csv
from pyquery import PyQuery as pq

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}

#获取首页页面
def first_page(url):
    response = requests.get(url,headers=headers)
    if response.status_code == 200 :
        return response.content.decode("utf-8")
    else:
        return None


#解析首页
def parse_first_page(html):
    doc = pq(html)
    items = doc(".key-list.imglazyload .item-mod").items()
    for item in items:
        con &