Python实现爬虫案例分享

    又到了每周一次的CSDN时刻，用博客记录我漫漫Python路的每一步第一次，2019年3月8日作业：用Python实现爬虫，爬取安居客租房信息，以下是我的代码过程：

'''
#爬取安居客租房信息
'''
#导入需要的模块
import requests
from lxml import etree
import csv
import time
import random
from pip._vendor.msgpack.fallback import newlist_hint

#定义抓取函数
def spider():
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3514.0 Safari/537.36'}
    prefix_url='https://xa.zu.anjuke.com/fangyuan/l2/?pi'
    for i in range(1,2):
        url = prefix_url+str(i) # 拼出完整的url
        html = requests.get(url,headers=headers)  # 获取页面
        selector = etree.HTML(html.text)  # 获取selector