16.网络爬虫—字体反爬(实战演示)

最新推荐文章于 2024-06-02 16:38:43 发布
最新推荐文章于 2024-06-02 16:38:43 发布
阅读量800 收藏
点赞数
文章标签： 爬虫
原文链接：https://blog.csdn.net/weixin_50804299/article/details/130182108
版权

前言：
🏘️🏘️个人简介：以山河作礼。
🎖️🎖️:Python领域新星创作者，CSDN实力新星认证
📝​📝第一篇文章《1.认识网络爬虫》获得全站热榜第一，python领域热榜第一。
🧾 🧾第四篇文章《4.网络爬虫—Post请求(实战演示)》全站热榜第八。
🧾 🧾第八篇文章《8.网络爬虫—正则表达式RE实战》全站热榜第十二。
🧾 🧾第十篇文章《10.网络爬虫—MongoDB详讲与实战》全站热榜第八，领域热榜第二
🧾 🧾第十三篇文章《13.网络爬虫—多进程详讲(实战演示)》全站热榜第十二。
🧾 🧾第十四篇文章《14.网络爬虫—selenium详讲》测试领域热榜第二十。
🎁🎁《Python网络爬虫》专栏累计发表十五篇文章，上榜六篇。欢迎免费订阅！欢迎大家一起学习，一起成长！！
💕💕悲索之人烈焰加身，堕落者不可饶恕。永恒燃烧的羽翼，带我脱离凡间的沉沦。

一·字体反爬原理
🧾 🧾 Python字体反爬原理是指爬虫在爬取网站数据时，遇到了基于字体反爬的防护措施。这种反爬措施是通过将网站的文字转换成特定的字体文件，然后在页面上引用该字体文件来显示文字，使得爬虫无法直接获取文字内容。

🧾 具体原理如下：

网站将需要显示的文字转换成特定的字体文件，通常是TrueType或OpenType格式的字体文件。

网站在页面上引用该字体文件，并使用CSS样式将需要显示的文字的字体设置为该字体文件。

爬虫在获取页面源代码时，无法直接获取到需要显示的文字内容，只能获取到字体文件的引用地址。

爬虫可以通过下载字体文件并解析其中的映射关系，将字体文件中的编码与对应的文字内容进行匹配，从而获取到需要显示的文字内容。

为了增加反爬难度，网站通常会对字体文件进行加密或混淆，使得爬虫无法直接解析。

🧾 为了应对这种反爬措施，爬虫可以采用以下方法：

下载字体文件并解析映射关系，从而获取需要显示的文字内容。

使用OCR技术对图片中的文字进行识别，从而获取需要显示的文字内容。

使用第三方库或工具对字体文件进行解密或混淆，从而获取需要显示的文字内容。

🔔🔔需要注意的是，字体反爬技术是一种比较高级的反爬措施，需要爬虫具备一定的技术水平才能应对。此外，爬虫在使用字体反爬技术时也需要注意遵守相关法律法规和网站的使用规定。

二·字体反爬模块Fonttools
安装Fonttools

pip install fonttools

如图所示，表示安装完成!

FontTools是一个开源的Python库，用于处理和转换字体文件。它可以读取和写入OpenType（OTF）和TrueType（TTF）字体文件，以及其他各种字体格式。FontTools可以用于许多用途。
例如：

字体编辑：可以使用FontTools来修改字体文件中的字形、轮廓、度量等属性。

字体转换：可以将字体文件从一种格式转换为另一种格式，例如将TTF文件转换为OTF文件。

字体分析：可以使用FontTools来分析字体文件中的元数据、字符集、度量等属性，以便于字体设计和排版。

TTF文件
🧾 🧾TTF文件是TrueType字体文件，是一种字体文件格式，通常用于在计算机和打印机上显示文本。它是一种可缩放的字体，可以在不失真的情况下进行缩放。TTF文件通常具有.ttf文件扩展名，可以在Windows、Mac和Linux等操作系统中使用。

三·FontCreator 14.0.0.2790
🧾 🧾 FontCreator 14.0.0.2790是一款专业的字体设计软件，由高级字体编辑器、字形插值器、字体转换器等多个工具组成。

它可以帮助用户创建自定义的字体，包括TrueType、OpenType、Web字体等多种格式。
FontCreator14.0.0.2790提供了一个友好的用户界面，使得用户能够轻松地创建、编辑和修复字形、设置字符间距、调整字体度量等。
还支持多语言字体设计，用户可以添加和修改各种字符集。
FontCreator 14.0.0.2790还可以进行字体转换，将不同格式的字体文件相互转换，方便用户在不同场景下使用。
FontCreatorPortable下载与安装

🎁🎁点击FontCreator 14.0.0.2790进入即可下载
提取码：a3e8

下载完成后是这样的：

打开需要查看的ttf文件
如图所示，被编码的文字

每一个编码对应一个图，对，下面这些0，1，2，3，4，5，6，7，这些对不是字体，而是一张图，所以在后续解码操作中，我们需要手动输入这些数据。

四·实战演示
🎯🎯本次实战以某招聘网站为目标，获取其中数据，并对字体加密进行破解操作
如图所示：

🎯我们想要爬取的数据被加密，我们来一步一步对其进行破解。
先按正常方式将数据获取到本地



# coding = utf-8
import crawles

url = 'https://www.shixiseng.com/app/interns/search/v2'

cookies = {
    'RANGERS_WEB_ID': '7222273943993026082',
    'RANGERS_SAMPLE': '0.797004667731563',
    'adCloseOpen': 'true',
    'utm_source_first': 'PC',
    'Hm_lvt_03465902f492a43ee3eb3543d81eba55': '1681566719,1681626579',
    'adClose': 'true',
    'SXS_XSESSION_ID': '\"2|1:0|10:1681626608|15:SXS_XSESSION_ID|48:ZmIzNDc2MDgtM2MxOS00ZGMzLTg1OWYtZjZmZjliODI3ODBm|e0c74e6e5b304e78720e68feddc1ebc596b09b541b03cab0ad8f542aa7782cf4\"',
    'SXS_XSESSION_ID_EXP': '\"2|1:0|10:1681626608|19:SXS_XSESSION_ID_EXP|16:MTY4MTcxMzAwOA==|f0de0b3a4d7235bb497a86fab85289c792654792ec9114ede5cd4e213074f3ab\"',
    'position': 'pc_search_syss',
    'utm_source': 'PC',
    'utm_campaign': 'PC',
    'Hm_lpvt_03465902f492a43ee3eb3543d81eba55': '1681640297',
}

headers = {
    'authority': 'www.shixiseng.com',
    'accept': 'application/json, text/plain, */*',
    'accept-language': 'zh-CN,zh;q=0.9',
    'cache-control': 'no-cache',
    'content-type': 'application/x-www-form-urlencoded',
    'pragma': 'no-cache',
    'referer': 'https://www.shixiseng.com/interns?page=2&type=intern&keyword=%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98&area&months&days&degree&official&enterprise&salary=-0&publishTime&sortType&city=%E5%85%A8%E5%9B%BD&internExtend',
    'sec-ch-ua': '\"Chromium\";v=\"112\", \"Google Chrome\";v=\"112\", \"Not:A-Brand\";v=\"99\"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '\"Windows\"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-origin',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36',
}

params = {
    'build_time': '1681640300905',
    'page': '1',
    'type': 'intern',
    'keyword': '数据挖掘',
    'area': '',
    'months': '',
    'days': '',
    'degree': '',
    'official': '',
    'enterprise': '',
    'salary': '-0',
    'publishTime': '',
    'sortType': '',
    'city': '全国',
    'internExtend': '',
}

response = crawles.get(url, headers=headers, params=params, cookies=cookies)
response = crawles.get(url, headers=headers, params=params, cookies=cookies)
print(response.text)
for i in response.json['msg']['data']:
    print(i)

🎯这是我们通过代码获取到本地的数据：

🎯接下来我们需要找到解密用的文件,在这里面找关于font的文件：

 @font-face {    font-family: myFont;    src: url(/interns/iconfonts/file?rand=0.7027418610803815);}

🎯对获取的链接发起请求(获取字体文件，帮助我们对加密文件进行解码)


# font字体文件
# 1，查找相关链接，或者文本
# 2.获取文件（url） @font-face {    font-family: myFont;    src: url(/interns/iconfonts/file?rand=0.7027418610803815);}
# 3.对获取的链接发起请求(获取字体文件，帮助我们对加密文件进行解码)

# &#xee6f&#xe159&#xe159
import requests

# 将请求到的数据存放到内存中，以便其他地方直接使用

import io
from fontTools.ttLib import TTFont

font_file_uel = 'https://www.shixiseng.com/interns/iconfonts/file'
# 将请求到的数据存放到内存中，以便其他地方直接使用
ttf = TTFont(io.BytesIO(requests.get(font_file_uel).content))  # 将获取的数据保存到ttf文件中

ttf.save('sxs.ttf')

🎯然后我们得到一个ttf文件，我们使用上面安装的软件对该文件进行查看。

🎯我们将上述数据换成xml来查看，方便我们对其解码操作：

# font字体文件
# 1，查找相关链接，或者文本
# 2.获取文件（url） @font-face {    font-family: myFont;    src: url(/interns/iconfonts/file?rand=0.7027418610803815);}
# 3.对获取的链接发起请求(获取字体文件，帮助我们对加密文件进行解码)

# &#xee6f&#xe159&#xe159
import requests

# 将请求到的数据存放到内存中，以便其他地方直接使用

import io
from fontTools.ttLib import TTFont

font_file_uel = 'https://www.shixiseng.com/interns/iconfonts/file'
# 将请求到的数据存放到内存中，以便其他地方直接使用
ttf = TTFont(io.BytesIO(requests.get(font_file_uel).content))  # 将获取的数据保存到ttf文件中

# ttf.save('sxs.ttf')

ttf.saveXML('sxs.xml')


 

🎯我们的思路如下，将加密字体一步一步转成我们需要的字体，然后再获取出来：

&#xe283 -> 0xe283 -> uni30 -> 数据索引 -> 文字
&#xe714 -> 0xe714 -> uni35 -> 7 -> 5

import re

f = open('sxs.xml', 'r', encoding='utf-8')  # 将数据读取出来
file_data = f.read()
f.close()

x = re.findall('<map code="0x(.*?)" name="(.*?)"/>', file_data)
glyph = re.findall('<GlyphID id="(.*?)" name="(.*?)"/>', file_data)

glyph_dict = {k: v for v, k in glyph}

str_data = '0123456789一师x会四计财场DHLPT聘招工d周L端p年hx设程二五天tXG前KO网SWcgkosw广市月个BF告NRVZ作bfjnrvz三互生人政AJEI件M行QUYaeim软qu银y联'
str_list = [' ', ''] + [i for i in str_data]

x_dict = {f'&#x{k}': str_list[int(glyph_dict[v])] for k, v in x}
print(x_dict)

🎯如上图所示，我们解密了一部分字体来展示如何操作，现在对整个网页的加密数据进行字体解密操作，解密后的数据如图所示，我们对有用的数据进行整理：

🎯整理后的数据如下：

🎁🎁完整代码:

import crawles
import json
import re
import requests
import io
from fontTools.ttLib import TTFont  # pip install fonttools

url = 'https://www.shixiseng.com/app/interns/search/v2'

cookies = {
    'RANGERS_WEB_ID': '7222273943993026082',
    'RANGERS_SAMPLE': '0.797004667731563',
    'adCloseOpen': 'true',
    'utm_source_first': 'PC',
    'Hm_lvt_03465902f492a43ee3eb3543d81eba55': '1681566719,1681626579',
    'adClose': 'true',
    'SXS_XSESSION_ID': '\"2|1:0|10:1681626608|15:SXS_XSESSION_ID|48:ZmIzNDc2MDgtM2MxOS00ZGMzLTg1OWYtZjZmZjliODI3ODBm|e0c74e6e5b304e78720e68feddc1ebc596b09b541b03cab0ad8f542aa7782cf4\"',
    'SXS_XSESSION_ID_EXP': '\"2|1:0|10:1681626608|19:SXS_XSESSION_ID_EXP|16:MTY4MTcxMzAwOA==|f0de0b3a4d7235bb497a86fab85289c792654792ec9114ede5cd4e213074f3ab\"',
    'position': 'pc_search_syss',
    'utm_source': 'PC',
    'utm_campaign': 'PC',
    'Hm_lpvt_03465902f492a43ee3eb3543d81eba55': '1681640297',
}

headers = {
    'authority': 'www.shixiseng.com',
    'accept': 'application/json, text/plain, */*',
    'accept-language': 'zh-CN,zh;q=0.9',
    'cache-control': 'no-cache',
    'content-type': 'application/x-www-form-urlencoded',
    'pragma': 'no-cache',
    'referer': 'https://www.shixiseng.com/interns?page=2&type=intern&keyword=%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98&area&months&days&degree&official&enterprise&salary=-0&publishTime&sortType&city=%E5%85%A8%E5%9B%BD&internExtend',
    'sec-ch-ua': '\"Chromium\";v=\"112\", \"Google Chrome\";v=\"112\", \"Not:A-Brand\";v=\"99\"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '\"Windows\"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-origin',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36',
}

params = {
    'build_time': '1681640300905',
    'page': '1',
    'type': 'intern',
    'keyword': '数据挖掘',
    'area': '',
    'months': '',
    'days': '',
    'degree': '',
    'official': '',
    'enterprise': '',
    'salary': '-0',
    'publishTime': '',
    'sortType': '',
    'city': '全国',
    'internExtend': '',
}

response = crawles.get(url, headers=headers, params=params, cookies=cookies)
text = response.text
# 存储ttf文件 用于分析和后续操作
font_file_uel = 'https://www.shixiseng.com/interns/iconfonts/file'
# 将请求到的数据存放到内存中，以便其他地方直接使用
ttf = TTFont(io.BytesIO(requests.get(font_file_uel).content))
# ttf.save('sxs.ttf')
ttf.saveXML('sxs.xml')

# 读取xml文件
f = open('sxs.xml', 'r', encoding='utf-8')
file_data = f.read()
f.close()

x = re.findall('<map code="0x(.*?)" name="(.*?)"/>', file_data)

glyph = re.findall('<GlyphID id="(.*?)" name="(.*?)"/>', file_data)
glyph_dict = {k: v for v, k in glyph}

str_data = '0123456789一师x会四计财场DHLPT聘招工d周L端p年hx设程二五天tXG前KO网SWcgkosw广市月个BF告NRVZ作bfjnrvz三互生人政AJEI件M行QUYaeim软qu银y联'
str_list = [' ', ''] + [i for i in str_data]

x_dict = {f'&#x{k}': str_list[int(glyph_dict[v])] for k, v in x}
# print(x_dict)


# 对整个文本数据进行替换解码操作
for k, v in x_dict.items():
    text = text.replace(k, v)

# 将数据转化回方便使用的格式
text_1 = json.loads(text)

for item in text_1['msg']['data']:
    max_salary = item['maxsal'] + '元/天'  # 最高薪资
    min_salary = item['minsal'] + '元/天'  # 最低薪资
    city = item['city']  # 所在城市
    scale = item['scale']  # 公司规模
    degree = item['degree']  # 学历要求
    c_tags = item['c_tags']  # 公司标签
    i_tags = item['i_tags']  # 实习标签
    name = item['name']  # 职位名称
    industry = item['industry']  # 所属行业

    print('最高薪资：', max_salary)
    print('最低薪资：', min_salary)
    print('所在城市：', city)
    print('公司规模：', scale)
    print('学历要求：', degree)
    print('公司标签：', c_tags)
    print('实习标签：', i_tags)
    print('职位名称：', name)
    print('所属行业：', industry)

print(text_1)

五·后记
👉👉本专栏所有文章是博主学习笔记，仅供学习使用，爬虫只是一种技术，希望学习过的人能正确使用它。
博主也会定时一周三更爬虫相关技术更大家系统学习，如有问题，可以私信我，没有回，那我可能在上课或者睡觉，写作不易，感谢大家的支持！！🌹🌹🌹
————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

vb.net教程
C#教程
python教程
原文链接：16.网络爬虫—字体反爬(实战演示)_python字体ttf反爬-CSDN博客

Oona_01
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
精讲爬虫,反爬,反反爬.zip
12-24
精讲爬虫,反爬,反反爬.zip 正所谓 魔高一尺,道高一仗 爬虫就是扒网站的数据 反爬就是阻止别人扒你网站的数据 反反爬就是我就是要扒你的数据,你拦不住
Python网络爬虫实战.pdf
07-12
本书从Python的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的爬虫，有针对性地讲解了几种Python网络爬虫。本书共8章，涵盖的内容有Python语言的基本语法、Python常用IDE的使用、Python第三方模块的导入使用、Python爬虫常用模块、Scrapy爬虫、Beautiful Soup爬虫、Mechanize模拟浏览器和Selenium模拟浏览器。本书所有源代码已上传网盘供读者下载。本书内容丰富，实例典型，实用性强。适合Python网络爬虫初学者、数据分析与挖掘技术初学者，以及高校及培训学校相关专业的师生阅读。
字体反爬积累知识
m0_57265868的博客
04-16 1358
字体反爬是一种常见的反爬虫技术，它通过将网页中的文本内容转换为特殊的字体格式来防止爬虫程序直接获取和解析文本信息。字体反爬的原理是将常规的字符映射到特殊的字体图标或者Unicode码点上，使得爬虫无法直接识别和提取文本内容。字体文件准备：网站将需要显示的文本内容转换为特殊字体格式，并将字体文件嵌入到网页中。字体映射表生成：网站根据字体文件中的字符映射关系，生成一个字体映射表，用于将特殊字体格式转换回原始文本内容。字体样式应用：网页使用CSS样式将特殊字体应用到需要隐藏的文本内容上。
爬虫工具-字体反爬工具
04-25
在爬虫中，字体反爬工具是一种常见的反爬手段，用于防止爬虫程序通过解析网页中的字体文件来获取真实的文本内容。字体反爬工具的原理是将网页中的文本内容使用特定的字体进行编码，然后通过CSS样式将编码后的文本显示在网页上。这样，即使爬虫程序成功获取到网页源代码，也无法直接解析出正确的文本内容。 为了应对字体反爬工具，爬虫程序需要进行相应的处理。以下是一些常见的应对策略： 1. 字体映射表：爬虫程序可以通过分析网页中的CSS样式和字体文件，构建出字体映射表。字体映射表记录了字符编码与实际文本之间的对应关系，可以用于解码网页中的文本内容。 2. 字体文件下载：爬虫程序可以模拟浏览器行为，下载网页中使用的字体文件。然后通过解析字体文件，获取字符编码与实际文本之间的对应关系。 3. 字体替换：爬虫程序可以将网页中使用的字体文件替换为已知的字体文件，从而绕过字体反爬工具。这需要事先收集一些常见的字体文件，并将其保存在本地供爬虫程序使用。 4. OCR识别：如果以上方法都无法绕过字体反爬工具，爬虫程序可以使用OCR（光学字符识别）技术，将网页中的图片转换为文本。然后再对文本进行处理和分析。
爬虫selenium模拟浏览器特征隐藏stealth.min.js防反爬实测有效
04-21
内容适合爬虫新人！ 尝试爬的时候，时长遇到网站反爬，随即返回无效内容或跳转劝退网页！ 反爬确实令人作呕！找遍全网，希望能帮助到需要的人！仅做学习使用，有更好的方法，联系一下！ 调用代码如下： bb = webdriver.Chrome(options=option) #把文件放在程序相同路径 with open('stealth.min.js', 'r') as f: js = f.read() bb.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': js}) #url填好防爬虫地址 url = '' bb.get(url) time.sleep(15) bb.encoding = 'UTF-8' content = bb.page_source print(content)
Python网络爬虫项目开发实战_并发下载_编程案例解析实例详解课程教程.pdf
05-03
在之前，我们的爬虫都是串行下载网页的，只有前一次下载完成之后才会启动新下载。在爬取规模较小的示例网站时，串行下载尚可应对，一但面对大型网站时就会显得捉襟见肘了。 在爬取拥有100万网页的大型网站时，假设我们以每秒一个网页的速度昼夜不停地下载，耗时也要超过11天。如果我们可以同时下载多个网页，那么下载时间将会得到显著改善。本章将介绍使用多线程和多进程这两种下载网页的方式，并将它们与串行下载的性能进行比较。
18.网络爬虫—Scrapy实战演示
weixin_50804299的博客
04-21 3906
Scrapy Shell简介 🧾 🧾Scrapy是一个开源的Python框架，用于快速、高效地爬取网站数据。Scrapy提供了一组功能强大的工具和组件，使开发人员可以轻松地从网站上提取所需的数据。 🧾 🧾Scrapy Shell是一个命令行工具，可以让开发人员交互式地调试和探索网站。使用Scrapy Shell，开发人员可以轻松地测试Web爬虫并查看网站上的数据。 🧾 以下是Scrapy Shell的一些主要特点： 轻松进入交互式Shell：只需输入“scrapy shell”命令即可进入交
17.网络爬虫—Scrapy入门与实战
weixin_50804299的博客
04-19 6322
Scrapy基础Scrapy是一个用于爬取网站数据和提取结构化数据的Python应用程序框架。Scrapy的设计是用于Web爬虫，也可以用于提取数据和自动化测试。 Scrapy提供了一个内置的HTTP请求处理器，可以通过编写自定义的中间件来扩展其功能。Scrapy使用Twisted事件驱动框架，可以同时处理数千个并发请求。 🧾 Scrapy的主要组件包括： ScrapyEngine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信
21.网络爬虫—js逆向详讲与实战
热门推荐
weixin_50804299的博客
05-05 1万+
📑 📑在这个大数据时代，我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的，不论是PC端、网页端还是移动端，数据渲染还是基于html/h5+javascript进行的，而大多数的数据都是通过请求后台接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口，必须知道它的URL、Headers、Params、Body等数据是如何生成的。📑 📑JavaScript逆向工程是指通过分析JavaScript代码和运行行为来理解程序的内部机制。这种技术可以用于破解JavaScript程序的加密和混淆，以及
20.网络爬虫—Scrapy-Redis分布式爬虫
weixin_50804299的博客
04-27 6711
下载地址：🧾 🧾Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 D 盘，解压后，将文件夹重新命名为 redis。 打开一个 cmd 窗口 使用 cd 命令切换目录到 C:\redis 运行：🧾 🧾如果想方便的话，可以把 redis 的路径加到系统的环境变量里，这样就省得再输路径了，后面的那个 redis.windows.conf 可以省略，如果省略，会启用默认的。输入之后，会显示如下界面： 分布式：一个业务
实习僧爬虫(解决字体反爬).rar
05-31
实习僧爬虫(解决字体反爬).rar 实习僧爬虫(解决字体反爬).rar 实习僧爬虫(解决字体反爬).rar
19.网络爬虫—照片管道
weixin_50804299的博客
04-25 5218
🧾 🧾Scrapy是一个用于爬取网站数据和提取结构化数据的Python应用程序框架。Scrapy的设计是用于Web爬虫，也可以用于提取数据和自动化测试。🧾 Scrapy的主要组件包括：1.引擎从爬虫的起始URL开始，发送请求至调度器。2.调度器将请求放入队列中，并等待下载器处理。3.下载器将请求发送给网站服务器，并下载网页内容。4.下载器将下载的网页内容返回给引擎。5.引擎将下载的网页内容发送给爬虫进行解析。6.爬虫解析网页内容，并提取需要的数据。7.管道将爬虫提取的数据进行处理，并保存到本地文件或数
Python网络爬虫基础进阶到实战教程
全栈若城,专注知识分享
06-22 5112
本文是一篇关于Python网络爬虫的教程，从基础概念认识网络爬虫开始，介绍了HTML页面的组成和常用的标签属性、样式和JavaScript效果。接着详细讲解了Python中的Requests模块的get请求和实践，以及Post请求的区别和使用示例。然后介绍了Xpath解析和BeautifulSoup库的应用，演示了如何解析HTML和XML文档并提取信息。此外，还介绍了正则表达式的基本用法和在爬虫中的实际应用案例。最后，讲解了字体反爬技术和如何应对，以及Scrapy框架的入门使用。
Python爬虫项目实战：百度任意图片抓取
weixin_53707653的博客
05-27 848
定义一个变量a，初始值为1，遍历上一步得到的包含图片URL的列表。每次循环，将a的值加1。再次使用requests库的get方法发送一个GET请求到当前的图片URL，同时传入headers参数和timeout参数（设置超时时间为10秒），定义一个变量name，其值为一个字符串，这个字符串包含了图片的保存路径和文件名，文件名由关键词和序号组成，打印出图片的保存路径和文件名。定义一个字典headers，其中包含了一个键值对，键为"User-Agent"，值为一个字符串，这个字符串描述了浏览器的信息。
淘宝商品评论数据爬取：Python实战指南
最新发布
WBKJ_Noah的博客
06-02 246
淘宝作为中国领先的电商平台，其商品评论数据蕴含着丰富的用户洞察和市场信息。对于市场研究人员、产品开发者以及数据分析爱好者来说，能够自动爬取这些数据将极具价值。本文将提供一个使用Python进行淘宝商品评论数据爬取的详细指南，并强调在爬取过程中应注意的法律和道德规范。
如何被谷歌收录？
m0_75172622的博客
05-27 264
最简单的方法就是提交网站给谷歌，但这种方法可操作空间不大，一天一般也就只有十条左右的链接可以提交，对于一些大网站来说，这种方法显然不适用，这时候GPC爬虫池的好处就体现了，GPC爬虫池对希望提升Google搜索引擎中的可见度的外贸网站来说是极具吸引力的，通过增加网站被Google爬虫抓取的频率，GPC爬虫池可以显著提高网站页面的收录率，收录是seo的基本，没有收录一切都无从谈起，想做seo就要做收录，收录就是你在网络世界里涟漪，但涟漪足够多，就会形成波浪，那你网站的知名度可以说就大大提高了。
防御恶意爬虫攻击
m0_66268916的博客
05-27 1237
数据抓取爬虫是攻击者使用自动化脚本或工具在移动应用程序中抓取敏感数据的一种方式。这些爬虫可以定向抓取用户信息、产品列表、评论和评级等数据。攻击者可能会将这些数据用于非法目的，例如进行身份盗窃、诈骗活动或者卖给其他恶意方。对于移动应用程序，数据抓取爬虫可能造成以下后果：- 用户隐私泄露：攻击者可以通过抓取用户信息，获取私人和敏感数据，例如个人资料、联系方式、登录凭证等。- 商业损失：如果攻击者抓取了产品或服务的定价、销售策略等机密数据，他们可能使用这些信息来获取竞争优势，进而对您的业务造成损害。
用 Python 编写网络爬虫：从网页获取数据并存储到 Excel 文件
qq_43580271的博客
05-25 1452
通过本篇博客，我们学习了如何使用 Python 编写一个简单的网络爬虫，用于从网页中提取数据，并将这些数据存储到 Excel 文件中。我们使用了 Python 中的一些常用库，包括和openpyxl，并对它们的基本用法进行了介绍。希望本篇博客对你理解网络爬虫的基本原理和实现方式有所帮助！
python网络爬虫反爬机制
01-31
Python网络爬虫在爬取网页数据时，常常会遇到反爬机制。为了防止被爬虫程序大量访问，网站会采取一些措施来限制爬虫的访问。以下是一些常见的反爬机制和对应的应对方法： 1. 验证码：网站可能会在登录、提交表单或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值