爬虫
抓走小兔子的大猩猩
谦虚学习,努力上进
展开
-
2020-11-10大众点评字体反爬抓取信息
大众点评数字加密,字体加密,可以在网站上下载相应的字体文件,关键是做一些字体映射,汉字因为太多了,自己粘贴下来一部分,有兴趣的可以可以进行识别,不过据说识别=成功率不稳定,不说了,直接上代码 # -*- coding: utf-8 -*- from fontTools.ttLib import TTFont import requests from lxml import etree # 数字加密 def get_font(): font = TTFont(r'D:\谷歌下载\0e8bea27.w原创 2020-11-10 15:39:53 · 274 阅读 · 0 评论 -
glidedsky爬虫之css反爬虫
快下班了快下班了,话不多说先放代码,不懂得可以留言联系!重在找规律!!!! """ @author: Cjp @file: cssfan.py @time: 2020/9/11 16:37 """ import re from operator import itemgetter import requests from lxml import etree def gao(url): items = [] headers = { 'User-Agent': 'Mozi原创 2020-09-14 16:38:30 · 267 阅读 · 1 评论 -
镀金的天空字体反爬
最近公司看到小伙子在做这个类似于闯关的爬虫训练,闲来无事做一下。 因为这个还算是比较简单些的,就不讲解了。代码中很清晰,因为简单写的,所以在计算速率上比较慢一些。不过答案是正确的的哈哈 #!/usr/bin/python3 # -*- coding:utf-8 -*- """ @author: Cjp @file: 3.py @time: 2020/9/4 10:23 """ import time import requests import re import base64 import pandas原创 2020-09-14 15:42:15 · 793 阅读 · 0 评论 -
解决AttributeError: module ‘asyncio‘ has no attribute ‘WindowsSelectorEventLoopPolicy‘
解决AttributeError: module ‘asyncio’ has no attribute ‘WindowsSelectorEventLoopPolicy’ 最近爬取微信时碰到了一些问题,安装mitmproxy证书时没有出错,但是在检测时出现了问题 解决办法是降低你的Python版本或者mitmproxy版本,为了使以前的程序不受编辑器的版本冲突,我这里更改的是mitmproxy版本 pip install mitmproxy==5.0.0 重新安装 在测试 成功!! ...原创 2020-07-16 08:59:03 · 5296 阅读 · 7 评论