爬虫字体替换（一）天眼查

最新推荐文章于 2024-07-09 11:06:28 发布
最新推荐文章于 2024-07-09 11:06:28 发布
阅读量1.7k 收藏 7
点赞数 3
分类专栏： 爬虫 学习笔记 文章标签： 天眼查 python 爬虫 字体反爬
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cf313995/article/details/82987298
版权

1、网址
https://www.tianyancha.com
2、打开天眼查，搜索京东的页面，看到一堆关键词为京东的公司信息。
在这里插入图片描述
现在我们需要获取每个公司的核准日期信息，点进去查看，发现其信息做了字体的反爬措施。
在这里插入图片描述
3、继续查看其它公司的信息，发现他们都是经过加密替换的。且每个的class属性都是 tyc-num。通过查看网页源代码，找寻引用tyc-num这个class的css样式。发现源代码中的css样式是通过外部链接引用的。细看之下，发现了一个与font有关的css文件。
在这里插入图片描述
猜想是它。点击进去查看，找寻到我们想要的结果。
在这里插入图片描述
4、在开发者工具中找到network----->font，然后找到这个文件，发现作出了改变。
在这里插入图片描述
此时用我们的第三方工具打开这个文件(从headers中找到这个文件对应的网址，直接请求这个网址下载文件)，发现他作出了如下改变。
在这里插入图片描述
用一张表展示他们之间的对应关系。
在这里插入图片描述

位置数字真实数字
18
27
35
43
59
62
70
86
91
04

此时，再回到之前网页看到的。发现位置数字6792-99-47即表示真实数字2017-11-30。得到我们想要的结果。
在这里插入图片描述
5、到这一步，已经可以获取核准日期了。但是存在一些问题。

1、字体的映射关系每刷新一次就有可能变化，也许现在这个公司的详情页是这一套，另一个公司的额详情页就变化为另一套。
2、字体的映射关系是定期更新(推测是24小时变化一次)。
3、cookie的访问次数如果过于频繁，就会弹出验证码。
4、而且同一个cookie是有时效性的，超过规定时间cookie是会过期的。

解决方案：

1、针对问题一，发现字体的映射关系共有两套，可以每一套建立一个字典。
2、针对问题二，字体的映射关系是定期更新的。
①如果爬取的数据量较小，在字体映射更新之前能完成爬取，那么直接定义一套/两套映射字典。当从源码中取到日期的时候(如以5/8开头的原始数据)，直接进行判断，如果是以5开头的日期，就使用5对应的映射字典进行解析；如果是以8开头的日期，就使用8对应的映射字典进行解析。
②如果爬取的数据量很大，就不能将映射关系写死了。只能去找到映射关系，动态获取映射字典。因为字体文件是定期更新的，所以在根据字体文件获取映射关系时，不需要每次都去解析这种映射关系，只有当字体文件的url发生改变时，再去查找映射关系，如果字体文件没有发生改变，那么就使用之前的映射字典，不需要每次都进行解析映射。
3、针对问题三和四，如何管理cookie？
建立cookie池。
①可以先生成一定量的登陆后cookie，将其保存至redis数据库；
②定期检测cookie是否有效(携带cookie访问详情页，如果能够正常获取页面就是有效，如果获取的页面是要求重新登录的，说明cookie已失效)
③如果cookie失效，将失效的cookie从redis中删除，并重新使用该账户进行模拟登陆，生成新的cookie信息并保存到redis中。
4、 针对问题三和四，还可以使用代理ip。

6、此处附上问题二的解决方案之一。

import requests,re,pytesseract
from lxml.html import etree
from PIL import Image, ImageFont, ImageDraw, ImageColor
pytesseract.pytesseract.tesseract_cmd = 'D:\\tesseract\\Tesseract-OCR\\tesseract.exe'	#若tesseract.exe安装在其他路径下，更改此处的指向路径


keyword = '京东'
headers = {
    'Cookie': 'TYCID=e1e6efb0a5fc11e8af04cdd896ab5e5e; undefined=e1e6efb0a5fc11e8af04cdd896ab5e5e; ssuid=2739512828; _ga=GA1.2.1428665082.1536072517; RTYCID=1af95e55a4b54a88b4a9e12b0b316891; CT_TYCID=1e54f2e7bb7745f29ad8e0ef03c6de89; aliyungf_tc=AQAAABsd5kD4dgQAaMuedVOeS5fIGX2P; csrfToken=-l3eED3CM_gh3kqdYWzTNOCP; jsid=SEM-BAIDU-CG-SY-000700; tyc-user-info=%257B%2522token%2522%253A%2522eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiIxMzYwNzY2OTQwNyIsImlhdCI6MTUzOTA0NzY4OSwiZXhwIjoxNTU0NTk5Njg5fQ.xnOALGRt-xDfQwjKK2ha-srf9acGAKX2knmeaxJeLhk6ejWn-5uRF2iVRowGFnUwEUFtYSArvJwGnlxUnwDMdA%2522%252C%2522integrity%2522%253A%25220%2525%2522%252C%2522state%2522%253A%25220%2522%252C%2522redPoint%2522%253A%25220%2522%252C%2522vipManager%2522%253A%25220%2522%252C%2522vnum%2522%253A%25220%2522%252C%2522monitorUnreadCount%2522%253A%25221%2522%252C%2522onum%2522%253A%25220%2522%252C%2522mobile%2522%253A%252213607669407%2522%257D; auth_token=eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiIxMzYwNzY2OTQwNyIsImlhdCI6MTUzOTA0NzY4OSwiZXhwIjoxNTU0NTk5Njg5fQ.xnOALGRt-xDfQwjKK2ha-srf9acGAKX2knmeaxJeLhk6ejWn-5uRF2iVRowGFnUwEUFtYSArvJwGnlxUnwDMdA; Hm_lvt_e92c8d65d92d534b0fc290df538b4758=1539004455,1539047679,1539055612,1539070815; Hm_lpvt_e92c8d65d92d534b0fc290df538b4758=1539070858; cloud_token=485d7821a19942fd9263c43cd7583486; bannerFlag=true',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    'Host': 'www.tianyancha.com'}
Map_Dict={}

def get_list_page(page_num):
    '''
    请求列表页，提取企业详情页地址
    :param page_num: 页码
    :return:
    '''
    list_url = 'https://www.tianyancha.com/search/p{}?key={}'.format(page_num, keyword)
    response = requests.get(list_url, headers=headers)
    return response.text


def parse_list_page(list_page_source):
    '''
    根据列表页源代码，提取detail_url
    :param list_page_source: 列表页源代码
    :return:
    '''
    obj = etree.HTML(list_page_source, parser=etree.HTMLParser(encoding='utf8'))
    divs = obj.cssselect('div.search-result-single')
    for div in divs:
        detail_url = div.cssselect('a.name')[0].attrib['href']
        # 请求详情页地址
        data_tuple = get_detail_page(detail_url)
        parse_detail_page(data_tuple)

def get_detail_page(detail_url):
    '''
    请求详情页，获取源代码
    :param detail_url: 详情页地址
    :return:
    '''
    response = requests.get(detail_url, headers=headers)
    return response.text, detail_url


def parse_detail_page(data_tuple):
    '''
    解析详情页，提取字体文件中的id(/2d/2df8ui)，并提取公司的核准日期。
    问题一：如何解决已经解析过的字体文件不用重复解析？如果是解析过的，直接使用映射字典，不用再进行图片识别了。如果是没有解析过的字体文件，再进行图片识别。
    方案：声明一个字典，将解析过的字体id都存入列表中，等到后续获取字体id的时候，和字典中的id进行比对，查询是否存在这个id，如果已经存在，直接将映射字典取出。
    {'2df8ui':{'1':'2'},'b64s4f':{'1':'3'}}
    每一个id对应的映射字典是否保留？还是说只保留最新的id映射规则？
    都保留，避免刷新到以前的id时再重新解析一遍。
    :param data_tuple:get_detail_page()这个函数返回的元组。
    :return:
    '''
    detail_page_source = data_tuple[0]
    detail_url = data_tuple[1]
    obj = etree.HTML(detail_page_source, parser=etree.HTMLParser(encoding='utf8'))
    # 在详情页中提取字体id
    pattern = re.compile(
        r'<head>.*?<base.*?<link.*?href="https://static\.tianyancha\.com/fonts-styles/css/(.*?)/font\.css">', re.S)
    font_id = re.search(pattern, detail_page_source).group(1)
    #在获取font_id以后，先判断Map_Dict中是否存在这个键，不存在再去调用parse_map_rule()
    if font_id not in Map_Dict:
        map_dic=parse_map_rule(font_id)
    else:
        map_dic=Map_Dict[font_id]

    #根据映射字典转换核准日期
    try:
        hezhunriqi=obj.xpath('//td[@colspan="2"]/text[contains(@class,"tyc-num")]/text()')[0]
        name=obj.xpath('//h1[@class="name"]/text()')[0]
        result=''
        for char in hezhunriqi:
            if char !='-':
                real_num=map_dic[char]
                result+=real_num
            else:
                result+='-'
        print(name,detail_url,result)
    except:
        pass


def parse_map_rule(font_id):
    '''
    根据字体id，拼接woff字体文件，并对字体进行识别，最终将字体id和映射字典保存到一个全局字典中。
    :param font_id:
    :return:
    '''
    font_url='https://static.tianyancha.com/fonts-styles/fonts/{}/tyc-num.woff'.format(font_id)
    content = requests.get(font_url, headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}).content
    with open('tyc.woff', 'wb')as f:
        f.write(content)
        # 先定义位置数字
        position_number = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '0']
        map_dict = {}
        for p_num in position_number:
	        # 创建一个图片对象，用于后续数字图片的存储
	        #(255,255,100) :RGB red/green/blue  三原色，每一种颜色的取值范围都是(0,255)
	        #三个参数：图片模式  图片的尺寸，图片的背景颜色
            img = Image.new('RGB', (300, 500), (255, 255, 100))
            draw = ImageDraw.Draw(img)
             #根据位置数字p_num和字体文件woff，找出p_num在woff文件中的真实映射关系
	        # 参数1：指定字体文件
	        # 参数2：指定数字在画布上展示的大小
	        # truetype()返回一个字体对象
            font = ImageFont.truetype('tyc.woff', 400)
            draw.text((10, 10), text=p_num, font=font, fill=ImageColor.getcolor('green', 'RGB'))
            img.save('tyc.png')
            #利用pytesseract包识别图片中的数字
            #pip install pytesseract
            
            font_image = Image.open('tyc.png')
            num = pytesseract.image_to_string(font_image, config='--psm 6')
            if num == 'A' or num == '/':
                num = pytesseract.image_to_string(font_image, config='--psm 8')
                map_dict[p_num] = num
            elif num == '':
                map_dict[p_num] = p_num
            else:
                map_dict[p_num] = num
		#有的字体文件中是缺少部分数字的，那么得到的图片就是一个空白的图片，也就是位置数字对应的真实数字不存在、
        #凡是真实数字不存在的，都有一个特征：就是位置数字和真实数字是相等的。
        Map_Dict[font_id]=map_dict
        return map_dict

if __name__ == '__main__':
    for x in range(1,6):
        response=get_list_page(x)
        parse_list_page(response)

此前先要安装载tesseract.exe的安装包。下载地址：https://digi.bib.uni-mannheim.de/tesseract/
在这里插入图片描述
这里仅获取了核准日期，注册资本和注册时间虽然也是加密的，可以在列表页进行获取(此时没有加密)。其它的原理上差不多。
在这里插入图片描述
在这里插入图片描述

cf313995
关注
专栏目录
python天眼查爬虫_学习Python3 天眼查 爬虫
weixin_39745269的博客
12-04 1885
刚开始学习Python，不愿意看基础，记忆不好，那些语法记不住，直接上个项目，这样比较深刻刚好公司有个情况要查企业的信息，就想做个爬虫吧，有验证码的不愿意搞，那是个老大难问题，就选择了天眼查过程都略了，直接写个结果吧，总结出来的步骤如下：一、天眼查最大的障碍在于字体问题，这个网上都有介绍，大概意思就是说，在网页显示出来的某些字符，是天眼查自己的字体文件处理的。比如汉字 坐 的utf-8的编码是...
爬虫-天眼查数据
lily's world
06-04 7166
爬虫
爬虫从入门到精通,内含如何应对反爬的独家经验.知乎,拉勾,天眼查
03-19
scrapy+selenium+tor+privoxy ,python3.完美获取知乎,拉勾,天眼查整站内容,包含我对天眼查爬取过程中的一些经验和想法
天眼查python_GitHub - wagaman/Python-Tianyancha: 天眼查爬虫
weixin_39886469的博客
12-14 524
Python-Tianyancha2018-01-31 更新看到有两位朋友提交了Issues，在这里集中回答一下。这个项目是本人个人练习的项目，还很不完善，如果遇到问题，请提供详细描述或报错信息，方便大家共同学习。目前暂时不会放出完整过程，也许回头会写一个。对于以上声明对您带来的不便，还请见谅。天眼查工商注册信息爬虫采用Excel表格作为输入，根据公司名称查询该公司相关的工商注册信息。包含并不限于...
【爬虫】Python实现，模拟天眼查登录验证获取token
最新发布
扶摇直上
07-09 1750
注：本程序测试时期：2024.7.9，稳定可用天眼查登录接口升级更新之后，后台接口login接口登录运用了4代极验gt，js逆向部分相当复杂。不建议走js逆向接口登录。建议通过selenium自动化破解验证码登录，成功获取token，也同样可以完成稳定持续性爬虫。
java天眼查爬虫
05-19
使用jsoup做的java爬虫, 登录自己的天眼查账号, 爬取公司详细数. 不足: 大概执行100次请求之后会被识别为机器人.
天眼查 Python爬虫项目源码.zip
02-27
ps：天眼查需要登陆后才能查看一些信息，所以这里要用到cookies，使用该爬虫时，先到代码里填写cookie后，就可以一键爬虫了， 本虫是一只很简单的爬虫演示，现在只是爬取一些诸如名字，电话，邮箱之类的基本信息，...
天眼查爬取企业信息-企业信用信息查询系统-天眼查爬虫
01-07
运行main_all.py即可爬取90%的天眼查公司 运行main_top100.py只爬取96个行业的前100家公司 运行main_search.py根据你的公司名搜索进行爬取指定公司 注意： 1，代理IP请自费或自力更生建免费IP池 2，本项目自带...
天眼查爬虫学习demo
01-22
这个“天眼查爬虫学习demo”项目为初学者提供了一个实战平台，可以深入理解Python爬虫的各个环节，从请求网页、解析内容到处理数据和应对反爬策略。同时，通过学习和实践，也可以提升对网络爬虫原理和技术的掌握。
tianyancha:天眼查APP爬虫
04-26
tianyancha 重申一遍，不卖接口，不开放源码，谢谢。 公众号“编码天空”，可以一起学习技术。
学习系列之天眼查爬虫
u010512096的博客
11-07 3145
天眼查APP爬虫爬虫不用逆向app爬取天眼查 爬虫不用逆向app爬取天眼查 遇到个好人破解了天眼查app的参数加密，链接如下 https://blog.csdn.net/ggl1438/article/details/102937819 ...
company-crawler:天眼查爬虫&企查查爬虫，指定关键字爬取公司信息
05-12
天眼查、企查查 公司信息爬虫 使用说明 设置数据源 MysqlConfig = { 'develop': { 'host': '192.168.1.103', 'port': 3306, 'db': 'enterprise', 'username': 'root', 'password': 'root@123' } } 执行db/data.sql生成数据结构 配置IP代理config/settings # 全局代理控制 GLOBAL_PROXY = True PROXY_POOL_URL = "http://localhost:5010" 设置爬取关键字qichacha&tianyancha keys = ['Google'] # 设置爬取列表 crawler.load_keys(keys) c
基于selenium模拟天眼查登录并爬取企业注册等信息的爬虫
04-21
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器等等
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
04-23
此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
类似天眼查-企业工商分布式爬虫系统（含爬虫端+mongdb数据库+前端展示系统）
06-19
类似天眼查-企业工商分布式爬虫系统（含爬虫端+mongdb数据库+前端展示系统）
天眼查企业查询爬虫
baidu_40492134的博客
07-07 6458
写一个天眼查的爬虫，大家有需要的可以直接拿来用,是基于selenium写的。所以使用之前得下载上这个插件。 爬的是上面的那个页面 from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC, wait from selenium.webdriver.common
python天眼查爬虫_普通用户的天眼查爬取
weixin_39564831的博客
12-04 2892
[Python] 纯文本查看 复制代码#-*- coding:utf-8 -*-import requestsfrom lxml import etreeimport jsonimport timeimport randomfrom copy import deepcopyclass Tianyan():def __init__(self):self.url = 'https://www.tian...
python爬取天眼查企业详情页数据，天眼查爬虫
热门推荐
weixin_43259812的博客
06-28 1万+
# -*- coding: utf-8 -*- import re import csv import scrapy import redis redis_cli = redis.Redis(host='127.0.0.1',port=6379) class SearchSpider(scrapy.Spider): name = 'search' # num = 0 ...
爬虫实战——天眼查企业信息
wurobb的博客
05-19 1775
【代码】【无标题】
天眼查python爬虫
11-12
天眼查是一个提供企业信息查询的网站，而Python爬虫是一种获取网页数据的技术手段。因此，"天眼查Python爬虫"可以理解为使用Python编写爬虫程序来从天眼查网站上获取企业信息。 使用Python编写天眼查爬虫的核心是...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值