前段时间一直在学习字体反爬,也写过几个网站的反爬,有静态的 也有动态的,还有没有任何规律的,反正最后都爬出来了 , 今天搜字体反爬的网站的时候突然看到 自如 这个网站,原来是雪碧图,可能有些小伙伴听到这个词都很陌生吧,我也不是很熟悉,只是以前写过一个雪碧图的网站,我先介绍一下雪碧图
什么是雪碧图?简单说来就是通过把所有图片合成一张大图,然后以移位方式展示图片其中的某一部分。雪碧图的好处就不说了。而且自如用雪碧图的目的也只是为了反爬。
我们来看网页源码
房子价格就是一个个的图片通过偏移得到的,其实图片就是0-9的数字 如下图:
每次请求数字顺序都会变 所以不能写死,我是通过pytesseract识别出来进行偏移,(前提要配置好pytesseract,保证可以用)
下面代码奉上(代码看着有点乱 太懒了 就没优化 但是都是跟着思路一步步进行的 凑活看 )感觉有用别忘了一键三连哦
import io
import re
from lxml import etree
import pytesseract
from PIL import Image
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',
}
url = 'https://gz.ziroom.com/z/?p=b2-x30&isOpen=1'
ret = requests.get(url=url,headers=headers).text
with open('ziru.html','w',encoding='utf8') as f:
f.write(ret)
with open('ziru.html','r',encoding='utf8') as f:
ret = f.read()
img_url = re.findall('background-image: url\((.*?)\);background-position:',ret)[0]
px_list = ['0', '21.4', '42.8', '64.2', '85.6', '107', '128.4', '149.8', '171.2', '192.6']
img_urls = 'https:'+img_url
# img_url='https://static8.ziroom.com/phoenix/pc/images/price/new-list/48d4fa3aa7adf78a1feee05d78f33700.png'
data = requests.get(url=img_urls, headers=headers).content
image = Image.open(io.BytesIO(data))
vcode = pytesseract.image_to_string(image, lang='eng',config='--psm 6 --oem 3 -c tessedit_char_whitelist=0123456789').strip()
font_dict = {}
for k,v in enumerate(vcode):
font_dict[px_list[k]]=v
for i in font_dict:
ret = ret.replace(f'<span class="num" style="background-image: url({img_url});background-position: -{i}px"></span>',font_dict[i])
page_html = etree.HTML(ret)
div_list = page_html.xpath('/html//section/div[3]/div[2]/div')
for div in div_list:
try:
name = div.xpath('./div[2]/h5/a/text()')[0]
except:
continue
money = ''
for i in ''.join(div.xpath('./div[2]/div[2]//text()')):
money+=i.strip()
print(name,money)