python爬虫 爬取安居客北京新房的所有房源数据

python code

经过url 的改变就能获取到其他城市的所有数据
一次性获取所有城市的数据，还需要在分析分析
房源的信息获取的也不多，还可以进一步完善

安居客还算比较友好的网站，几乎没有什么反爬措施，
当然也可能和我爬的数据较少有关
网站结构也很简单，几乎都是静态页面，很容易爬取

"""
安居客爬取房源数据
"""
"""
北京：
url = https://bj.fang.anjuke.com/
"""

import requests
import csv
from pyquery import PyQuery as pq

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}

#获取首页页面
def first_page(url):
    response = requests.get(url,headers=headers)
    if response.status_code == 200 :
        return response.content.decode("utf-8")
    else:
        return None


#解析首页
def parse_first_page(html):
    doc = pq(html)
    items = doc(".key-list.imglazyload .item-mod").items()
    for item in items:
        con &