python可以爬取58同城代码_爬取58同城—字体反爬

我爬取的是58同城北京租房的索引页。

url:https://bj.58.com/chuzu/?PGTID=0d100000-0000-1e00-4039-99b26a4fedeb&ClickID=2

审查元素可知网站进行了字体加密，直接复制网页中的数字得到的也是乱码，因此我们需要找到一个映射关系，加密字符映射到我们想要的数字。

打开network中的doc，我们发现这里面的数字是这样一堆十六进制码，并且每次刷新网页这些十六进制码所对应的数字都是变化的，而且我们发现每个这种标签他的类标签都是strongbox。

然后我们在network中查看font下的数据包，把这个包下载下来，并用fontCreator打开，我们会发现这个就是我们所需要的字体文件

在python下用fonttools进行解析为xml文件，我们会发现两个映射关系

1.glyph00001->1 glyph00002->2以此类推

2.cmap中的map有code与glyph有映射。

看到这里我们就有思路了，我们只需要通过name=glyph来建立一个code与数字的字典映射就好了。

一、获取字体文件。

因为每次请求网页，获取的字体文件是不一样的，所以我们需要把字体文件保存下来。而这个字体文件的url是经过加密的，直接请求不了。不过我们发现他是经过base64进行加密的，我们只需要从网页源代码中找到这一长串字符，进行base64解码就行、

# 获取字体文件，保存到本地

def get_font_data(html):

b64 = re.search('base64,(.*?)\'\)', html)

# print(b64.group(1))

b = base64.b64decode(b64.group(1))

with open('house.ttf', 'wb') as f:

f.write(b)

二、解析字体文件，建立映射关系、

使用fonttools把字体文件转成xml，然后建立映射关系，这里要注意getBestCmap()方法获取到的code与glyph的映射中，code是十进制，要把它转换成十六进制才可以。# 解析xml文件，建立映射关系

def parse_xml():

font = TTFont('house.ttf')

font.saveXML('house.xml')

f_dict = font.getBestCmap() # 获取到的code值为十进制，需要转到十六进制

new_map = dict()

for key in f_dict.keys():

value = int(re.findall('\d+', f_dict[key])[0]) - 1

key = hex(key).replace('0', '') # 十进制转十六进制,并转换成网页中显示的样式

new_map[key] = value

return new_map

三、替换网页中的字符。

直接用replace方法对源代码进行字符替换。# 把网页中的编码替换成数字

def get_new_html(new_map, html):

for key in new_map.keys():

# print(key)

html = html.replace(key + ';', str(new_map[key]))

return html

四、完整代码。from fontTools.ttLib import TTFont

import requests

import re

import base64

from lxml import etree

# 58 同城，租房,数字字体加密

# 先将字符映射到 字符编码 ，再通过字符编码映射到真实数字

# 获取字体文件，保存到本地

def get_font_data(html):

b64 = re.search('base64,(.*?)\'\)', html)

# print(b64.group(1))

b = base64.b64decode(b64.group(1))

with open('house.ttf', 'wb') as f:

f.write(b)

# 解析xml文件，建立映射关系

def parse_xml():

font = TTFont('house.ttf')

font.saveXML('house.xml')

f_dict = font.getBestCmap() # 获取到的code值为十进制，需要转到十六进制

new_map = dict()

for key in f_dict.keys():

value = int(re.findall('\d+', f_dict[key])[0]) - 1

key = hex(key).replace('0', '') # 十进制转十六进制,并转换成网页中显示的样式

new_map[key] = value

return new_map

# 把网页中的编码替换成数字

def get_new_html(new_map, html):

for key in new_map.keys():

# print(key)

html = html.replace(key + ';', str(new_map[key]))

return html

def parse_html(html):

content = etree.HTML(html)

title_li = content.xpath('/html/body/div[6]/div[2]/ul/li/div[2]/h2/a/text()')

price_li = content.xpath('/html/body/div[6]/div[2]/ul/li/div[3]/div[2]/b/text()')

for title, price in zip(title_li, price_li):

print(str(title).strip(), str(price).strip())

if __name__ == '__main__':

start_url = 'https://bj.58.com/chuzu/?PGTID=0d200001-0000-19e8-01d8-7a91306f22d9&ClickID=1'

response = requests.get(url=start_url)

html = response.text

get_font_data(html)

new_map = parse_xml()

new_html = get_new_html(new_map, html)

parse_html(new_html)