爬取自如租房数据

前段时间一直在学习字体反爬，也写过几个网站的反爬，有静态的 也有动态的，还有没有任何规律的，反正最后都爬出来了 ， 今天搜字体反爬的网站的时候突然看到 自如 这个网站，原来是雪碧图，可能有些小伙伴听到这个词都很陌生吧，我也不是很熟悉，只是以前写过一个雪碧图的网站，我先介绍一下雪碧图

什么是雪碧图？简单说来就是通过把所有图片合成一张大图，然后以移位方式展示图片其中的某一部分。雪碧图的好处就不说了。而且自如用雪碧图的目的也只是为了反爬。

我们来看网页源码

房子价格就是一个个的图片通过偏移得到的，其实图片就是0-9的数字 如下图：

每次请求数字顺序都会变 所以不能写死，我是通过pytesseract识别出来进行偏移，（前提要配置好pytesseract，保证可以用）
下面代码奉上（代码看着有点乱 太懒了 就没优化 但是都是跟着思路一步步进行的 凑活看 ）感觉有用别忘了一键三连哦

import io
import re
from lxml import etree
import pytesseract
from PIL import Image
import requests

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
}
url = 'https://gz.ziroom.com/z/?p=b2-x30&isOpen=1'
ret = requests.get(url=url,headers=headers).text
with open('ziru.html','w',encoding='utf8') as f:
     f.write(ret)
with open('ziru.html','r',encoding='utf8') as f:
    ret = f.read()
img_url = re.findall('background-image: url\((.*?)\);background-position:',ret)[0]
px_list = ['0', '21.4', '42.8', '64.2', '85.6', '107', '128.4', '149.8', '171.2', '192.6']
img_urls = 'https:'+img_url
# img_url='https://static8.ziroom.com/phoenix/pc/images/price/new-list/48d4fa3aa7adf78a1feee05d78f33700.png'
data = requests.get(url=img_urls, headers=headers).content
image = Image.open(io.BytesIO(data))
vcode = pytesseract.image_to_string(image, lang='eng',config='--psm 6 --oem 3 -c tessedit_char_whitelist=0123456789').strip()
font_dict = {}
for k,v in enumerate(vcode):
    font_dict[px_list[k]]=v
for i in font_dict:
    ret = ret.replace(f'<span class="num" style="background-image: url({img_url});background-position: -{i}px"></span>',font_dict[i])
page_html = etree.HTML(ret)
div_list = page_html.xpath('/html//section/div[3]/div[2]/div')

for div in div_list:
    try:
        name = div.xpath('./div[2]/h5/a/text()')[0]
    except:
        continue
    money = ''
    for i in ''.join(div.xpath('./div[2]/div[2]//text()')):
        money+=i.strip()

    print(name,money)