甲方运营工具——安天威胁情报中心每日热点事件爬取

最新推荐文章于 2024-06-17 17:35:06 发布

添衣&吹風

最新推荐文章于 2024-06-17 17:35:06 发布

阅读量1k

点赞数 30

分类专栏： python-poc编写文章标签： python 安全

本文链接：https://blog.csdn.net/weixin_53884648/article/details/138843538

版权

一、背景

本次是采用python爬取安天威胁情报中心的每日热点事件，进行甲方内部威胁情报同步的这样一个需求开发。

界面及内容：

二、逐步实现

2.1、分析请求页面的数据来源

通过请求页面我们看到安天对于第三方引用这些内容的真实性等是不予负责的；我们看到该页面的数据来源是通过一个api接口发送的，那么常规的页面访问使用python的BeautifulSoup库进行页面html元素抓取数据就不需要了，可以直接通过POST请求获取api数据示例代码如下：

import requests
#请求api数据
url = 'https://www.antiycloud.com/api/dailyDetail/20240513'  # 替换为你的网页URL
response = requests.post(url,verify=False)
data = response.json()
print(data)

2.2、获取的数据处理

通过上面的请求我们获取的是一个json数据；如下：

{'status': 'success', 'data': {'id': 840, 'title': '每日安全简讯（20240513）', 'content': [{'tags': ['俄罗斯', 'APT', 'APT28'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406159.jpeg.jpg', 'refer': ['https://cert.pl/en/posts/2024/05/apt28-campaign/'], 'title': '1、俄罗斯APT28组织针对波兰机构开展大规模恶意软件活动', 'event_time': '2024-05-13', 'description': '波兰政府机构已成为由与俄罗斯有联系的民族国家组织APT28精心策划的大规模恶意软件活动的一部分。计算机紧急响应小组 CERT Polska在周三的公告中表示： “该活动发送的电子邮件内容旨在引起收件人的兴趣并说服他点击链接。”单击该链接会将受害者重定向到 run.mocky[.]io 域，该域又用于重定向到另一个名为 webhook[.]site 的合法网站，这是一项免费服务，允许开发人员检查正在发送的数据通过网络钩子，以逃避检测。', 'image_format': 'jpeg'}, {'tags': ['钓鱼攻击', '网络攻击', '项目管理平台'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406423.jpeg.jpg', 'refer': ['https://www.bleepingcomputer.com/news/security/mondaycom-removes-share-update-feature-abused-for-phishing-attacks/'], 'title': '2、 Monday.com项目管理平台删除了被滥用于网络钓鱼攻击的共享更新功能', 'event_time': '2024-05-13', 'description': '在攻击者在网络钓鱼攻击中滥用“共享更新”功能后，项目管理平台 Monday.com 已删除该功能。Monday.com 是一个基于云的项目管理平台，允许团队使用自动化工作流程和仪表板来组织和管理他们的工作。该平台有 225000 名客户使用，包括可口可乐、Canva、LionsGate、Oxy、Compass 和 Zippo。周二，Monday.com 的客户担心该公司在从其电子邮件帐户收到网络钓鱼电子邮件后受到了损害。这些电子邮件是使用 SendGrid 发送的，来自 notification@monday.com，通过了 SPF、DMARC 和 DKIM 身份验证。', 'image_format': 'jpeg'}, {'tags': ['人工智能', '云托管', 'LLMjacking'], 'image': 'https://tip-antiycloud.obs.cn-south-1.myhuaweicloud.com/safeInfor/1715567406554.jpeg.jpg', 'refer': ['https://sysdig.com/blog/llmjacking-stolen-cloud-credentials-used-in-new-ai-attack/'], 'title': '3、研究人员发现了针对云托管人工智能模型的LLMjacking攻击活动', 'event_time': '2024-05-13', 'description': '网络安全研究人员发现了一种新颖的攻击，该攻击