python反反爬虫教学_Python反反爬虫思路

最近比较关心租房价格，所以希望用爬虫爬取租房信息做一个数据分析，但是在爬取我爱我家遇到了一种基于JavaScript的反爬虫手段，由于第一次遇到，故开贴记录一下搜索位置第一页结果URL第二页结果URL

在替换URL中“n几”后发现网页规律并不是那么简单替换成5后进入网页的URL

在有的页面后面会出现一段代码，通过禁用浏览器JavaScript发现每页其实初始界面是一段JS代码，然后跳转至目标页

百度了一下这种反爬虫的绕过措施都是Python加载JS代码，自己感觉比较麻烦就没有实施，但是在查看网页源代码时发现了下面这段代码，其目的应该是检测到移动端跳转至移动端网页打开移动端的网页在向下浏览时发现URL后index-n发生了变化，应该是使用了Ajax

既然使用了Ajax，抓包抓一下浏览时传输的数据就得到了下面的URL

上图黄色画出的就是每次向下浏览加载的页面，通过修改后面的数字可以定位不同的页面，构造URL，那么剩下的就是爬取数据了，下面贴一下简略代码

import requests

from lxml import etree

import xlwt

import time

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'

'/70.0.3538.110 Safari/537.36'

}

all_info_list = []

def get_photo(url):

res = requests.get(url, headers=headers)

selector = etree.HTML(res.text)

divs = selector.xpath('//div[@class="list_con"]')

for div in divs:

names = div.xpath('div[2]/h3/text()')[0].strip()

types = div.xpath('div[2]/p[1]/text()[1]')[0]

area = div.xpath('div[2]/p[1]/text()[2]')[0]

direction = div.xpath('div[2]/p[1]/text()[3]')[0]

price = div.xpath('div[2]/div/p/text()')[0]

info_list = [names, types, area, direction, price]

all_info_list.append(info_list)

time.sleep(1)

if __name__=='__main__':

urls = ['https://m.5i5j.com/bj/zufang/index-_%E6%9C%9B%E4%BA%AC/n{}'.format(str(i)) for i in range(1,4)]

for url in urls:

get_photo(url)

xls_header = ['地点', '户型', '面积', '朝向', '价格']

book = xlwt.Workbook(encoding='utf-8')

sheet = book.add_sheet('5i5j')

for h in range(len(xls_header)):

sheet.write(0,h,xls_header[h])

i = 1

for list in all_info_list:

j = 0

for data in list:

sheet.write(i, j, data)

j += 1

i += 1

book.save('5i5j.xls')爬取到的数据