1.分析网页内容
原网址:http://www.dianping.com/shop/74626314
大家在爬取大众点评网站的时候发现,为了反爬,网站将部分汉字和数字进行了加密,导致我们爬取的时候有些困难,如图:
可以看到,数字和汉字都成了方框,方框肯定不方便我们分析网页,所以直接查看对应网页的源码,右键
方框被转换成了编码,这里以地址为例,字体的加密这些应该涉及css,所i有我们找到字体对应的css,
打开这个css之后分析发现有个.woff的文件,对文件类型了解的话,应该知道这种文件就是字体文件,打开这个链接,浏览器下载了这个文件。
然后打开这个文件看看,
woff文件样式查看
http://fontstore.baidu.com/static/editor/index.html
是这样一个字体文件,发现这每个汉字和数字也有一个对应的编码,经过我的测试发现,网页源码里的加密文字代码和这个文件中的代码有着一定的关系,网页源码加密字体的编码后3位和这个.woff的文件中的文字对应编码的后3位一样,如图
汉字是这个规律,字体也是这个规律,如图
可以用百度识图查看这个字体文件,找到字体与编码的对应关系再编写代码,找到这个规律了解开大众点评的信息加密就已经不是问题了。