艾体宝干货 | IOTA流量分析秘籍第三招：检测黑名单上的IP地址

已于 2024-07-17 17:31:20 修改
阅读量722 收藏 23
点赞数 8
分类专栏： 网络安全与可视化 网络流量分析 文章标签： 网络安全 黑名单IP地址 IOTA API IP检测 网络威胁管理
于 2024-07-17 17:28:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongketraining/article/details/140500722
版权

IOTA 设备提供 RESTful API，允许直接访问存储在设备上的数据。这对于集成到各种场景中非常有用。在本例中，可以过滤当前捕获内容中的黑名单 IP。用例可能是分析某些内部 IP 是否未传播到特定访问级别之外，或者某些设备是否从不应访问的区域进行访问。

IOTA简介：

IOTA 是一款功能强大的网络捕获和分析解决方案，适用于边缘和核心网络。IOTA 系列包括便携式 EDGE 型号、高速 CORE 型号和 IOTA CM 集中设备管理系统。IOTA 解决方案可为分支机构、中小企业和核心网络（如数据中心）提供快速高效的网络分析和故障排除功能。

IOTA 设备提供 RESTful API，允许直接访问存储在设备上的数据。这对于集成到各种场景中非常有用。在本例中，可以过滤当前捕获内容中的黑名单 IP。用例可能是分析某些内部 IP 是否未传播到特定访问级别之外，或者某些设备是否从不应访问的区域进行访问。

一、前提条件

  1. Python 编程基础知识。
  2. 从 Profitap 访问 IOTA 设备。

二、设置 IOTA 设备

1. 连接 IOTA 设备

  • 将 IOTA 设备连接到要监控的网段。
  • 确定正确的网段至关重要。通过目视检查 IOTA 设备上的流量，确保在捕获期间使用正确的网段。

2. 访问 IOTA 网络界面

  • 打开网络浏览器并输入 IOTA 设备的 IP 地址。例如：https://<iota_device_ip_address>（用 IOTA 设备的实际 IP 地址替换）。
  • 使用正确的凭证登录。该脚本使用的用户名/密码组合应允许它查看必要的信息。

3. 配置捕获设置

  • 设置用于捕获数据包的网络接口。从设备的 Web 界面选择要监控的接口。
  • 根据需要配置过滤器，以关注特定流量类型。您可以根据需要设置过滤器，只捕获特定类型的流量，如 HTTP 或 FTP。

三、使用 IOTA 数据库查询引擎

查询引擎允许任何用户以机器可读的方式与 IOTA 设备交互，以查询元数据数据库。用户只需输入用户名/密码，即可通过 RESTful API 访问数据库。

图 1IOTA用户管理界面

为确保敏感信息不被传播，以及设备上的任何信息都不会被用户篡改，建议创建一个新的特殊用户。在本例中，创建了一个用户名为 “apitest ”的用户。请注意，该用户已作为 “查看器 ”自动添加到组织中。不需要配置任何其他功能，而且该角色只允许只读访问，可以防止任何误传。

图 2增加一个“apitest”新用户

四、安全考虑

这里使用的解决方案是为使用脚本创建一个专用的用户/密码组合。由于建议保护 IOTA 的直接访问不受任何外部干扰，并使用 HTTPS 连接，因此这样做没有问题。但请注意，良好的做法是确保该用户/密码组合不在任何其他情况下使用，并且该用户仅具有查看器角色（新用户默认具有该角色）。

五、检测黑名单 IP 的 Python 脚本

import requests
import re
import time
import urllib.parse
import json
import argparse
from urllib3.exceptions import InsecureRequestWarning
 
def main():
    # CLI options
    parser = argparse.ArgumentParser(description='Compare IP blacklist files against IOTA metadata. Blacklist files must contain a list of single IPv4/IPv6 addresses or IP subnet in CIDR notation.')
    required_args = parser.add_argument_group('required')
 
    required_args.add_argument('-d', '--device_ip', help='Device IP address')
    required_args.add_argument('-i', '--infile', nargs='+', help = 'Blacklist file(s)')
    parser.add_argument('-u', '--device_username', default='admin', help='Device IP username (default: admin)')
    parser.add_argument('-p', '--device_password', default='admin', help='Device IP password (default: admin)')
    parser.add_argument('-l', '--query_time_window_s', type=int, default=600, help='Number of seconds from the current time to query IOTA metadata (default: 600)')
 
    args = parser.parse_args()
    if args.device_ip:
        iota_ip_address = args.device_ip
    if args.device_username:
        iota_username = args.device_username
    if args.device_password:
        iota_password = args.device_password
    if args.query_time_window_s:
        query_time_window_s = args.query_time_window_s
    if args.infile:
        blacklist_files = args.infile
 
    query_time_window_end = int(time.time())
    query_time_window_start = query_time_window_end - query_time_window_s
 
    results = {}
 
    session = requests.Session()
    session.auth = (iota_username, iota_password)
 
    # Suppress warnings from urllib3
    requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)
 
    # Open blacklist files, iterate over them
    for blacklist_file in blacklist_files:
        count_fail = 0
        print(f' - {blacklist_file}')
        with open(blacklist_file) as f:
            for line in f:
 
                # Skip comments or empty lines
                if re.match(r"^[;#\s]", line):
                    continue
 
                # Current IP address or subnet
                ip = line.split()[0]
                print(f'   - {ip:45}', end='')
 
                # Handle CIDR subnet query
                if re.match(r"^(?:(?:(?:[0-9]{1,3}\.){3}[0-9]{1,3}/[0-9]{1,2})|(?:[0-9a-fA-F\:]{2,39}/[0-9]{1,2}))$", ip):
                    query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (isIPAddressInRange(IP_SRC, '{ip}') OR isIPAddressInRange(IP_DST, '{ip}')) AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']
 
                    if matching_flows == "0":
                        print('Ok')
                    else:
                        count_fail += 1
                        print(f'Match (flows: {matching_flows})')
 
                # Handle single IP address query
                elif re.match(r"^(?:(?:(?:[0-9]{1,3}\.){3}[0-9]{1,3})|(?:[0-9a-fA-F\:]{2,39}))$", ip):
                    query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (IP_SRC = '{ip}' OR IP_DST = '{ip}') AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']
 
                    if matching_flows == "0":
                        print('Ok')
                    else:
                        count_fail += 1
                        print(f'Match (flows: {matching_flows})')
 
                # Some unknown case
                else:
                    print('Unhandled case')
 
        # Record results after completing file
        results[blacklist_file] = count_fail
 
    # Print results
    print('\nResults\n===')
    for file in results:
        print(f' - {file:47}{str(results[file])} matches')
 
if __name__ == '__main__':
    main()

六、脚本分步说明

1.导入必要的库

import requests
import re
import time
import urllib.parse
import json
import argparse
from urllib3.exceptions import InsecureRequestWarning

2.设置配置

# CLI options
    parser = argparse.ArgumentParser(description='Compare IP blacklist files against IOTA metadata. Blacklist files must contain a list of single IPv4/IPv6 addresses or IP subnet in CIDR notation.')
    required_args = parser.add_argument_group('required')
 
    required_args.add_argument('-d', '--device_ip', help='Device IP address')
    required_args.add_argument('-i', '--infile', nargs='+', help = 'Blacklist file(s)')
    parser.add_argument('-u', '--device_username', default='apitest', help='Device IP username (default: apitest)')
    parser.add_argument('-p', '--device_password', default='apitest', help='Device IP password (default: apitest)')
    parser.add_argument('-l', '--query_time_window_s', type=int, default=600, help='Number of seconds from the current time to query IOTA metadata (default: 600)')
  • -d / -device_ip

      IOTA 设备的 IP。

  • -i / -infile

      包含要查找的 IP 地址的文本文件。也可以提供地址范围的 CIDR 子网查询。文件可能包含以 ; 或 # 为前缀的注释。任何空行或以空格开头的行都将被省略。通过多次提供此参数，可以向脚本提交多个输入文件。

  • -U / -device_username

       上一步中定义的用户名。

  • -p / -device_password

       上述步骤中定义的密码。

  • -l / -query_time_window_s

      查询应在过去多少时间内进行。默认值为 600 秒，相当于 10 分钟。

输入文件：

以输入文件为例，它将搜索特定子网以及内部 DNS 服务器的所有 IP 地址。

# IP Address of DNS server
192.168.1.250

# Host range for internal testing
10.40.0.0/24

3. 检测黑名单 IP 的主逻辑

主逻辑打开黑名单文件，逐步进行解析，并查询内部数据库，进行相应的子网查询或直接 IP 地址查询。

query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (isIPAddressInRange(IP_SRC, '{ip}') OR isIPAddressInRange(IP_DST, '{ip}')) AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']

首先，设置查询。在本例中，我们只需要查询找到的条目的数量，这就是我们执行 COUNT 操作的原因。数据库以 SQL 格式进行查询。

创建查询后，将建立一个会话，该会话将使用 HTTP GET 操作来查询信息。查询结果以 JSON 数据形式显示，目前正在读取第一个条目。

对于找到的每个 IP 地址，将打印匹配条目的数量，对于每个文件，将打印匹配条目的总数。

七、运行脚本

建议在 Python 环境中运行脚本。可以使用以下命令来实现：

python3 -m venv ./Development/iota
source ./Development/iota/bin/activate
python3 -m pip install argparse requests

这将创建一个 Python3 venv 环境（更多信息请参见此处），并安装默认环境中不存在的所需库。

图3创建python3 venv环境

然后，假设 Python 脚本和 infile 文件都在当前目录下，下面的命令将运行该脚本：

图4运行脚本

在这种情况下，IOTA 的定位是在出站广域网连接上进行捕获。在最后 10 分钟内，内部 DNS 服务器没有进行任何出站 DNS 查询，但内部测试网络通过广域网连接发送了 4 次数据。

在本例中，脚本被用作白名单测试，但也可轻松配置为黑名单测试。

结论

通过本指南，您可以有效地利用 IOTA 设备及其 REST API 来监控网络流量，并使用 Python 检测黑名单 IP 地址。这种方法为在自动化监控环境中维护网络安全提供了强大的工具。

艾体宝IT
关注
专栏目录
博客
活动回顾丨艾体宝《开源软件供应链安全的最佳实践》线下研讨会圆满落幕！
10-30 319
艾体宝与Mend举办研讨会，聚焦开源软件供应链安全，邀请行业专家分享合规管理、治理之路及最佳实践，圆桌讨论加深理解，助力企业更安全稳健发展。
博客
艾体宝干货丨如何使用 IOTA 解决网络电话（VoIP）质量问题
10-28 661
本文探讨了VoIP（语音通信）质量问题的常见原因，并提供了详细的故障排除指南。文章首先解释了VoIP质量问题可能涉及的网络性能、设备配置、数据包丢失等多个方面。接着，文章使用一个示例使用IOTA 分析降低的 VoIP 质量，涉及呼叫设置错误和语音质量错误等内容，从接口配置到图表参数分析，让您更加清晰的了解IOTA如何分析VoIP 质量问题。
博客
艾体宝产品丨Redis for AI：构建智能应用的全新工具，提升开发效率
10-18 781
本文介绍了Redis推出的新产品和功能，帮助企业和开发者加速应用程序开发，尤其是在人工智能时代下的应用构建。Redis的多样化工具如Redis for AI、Redis Flex和Redis Copilot为开发者提供了强大的数据处理与加速能力，助力现代应用在高效、低成本的环境下实现快速部署与扩展。
博客
艾体宝干货丨网络安全指南：如何使用Profishark和IOTA检测Blast-RADIUS
10-18 660
本篇文章详细介绍了 Blast-RADIUS 漏洞及其对 RADIUS 协议的影响。我们将首先解释该漏洞的工作原理，分析其针对 RADIUS 实现的具体攻击方式。接着，文章展示了如何使用 ProfiShark 和 IOTA 工具进行数据包捕获和分析，以检测系统是否存在漏洞。最后，文章提供了两种应对该漏洞的有效解决方案：通过 "Message-Authenticator" 属性值对增强 RADIUS 消息的安全性，或在 RADIUS 客户端和服务器之间使用 TLS 加密传输保护数据。
博客
虹科电子25届校园招聘火热来袭！网安岗HC不限量等你来投！
10-14 159
我们是一家高科技领域的解决方案合作伙伴，专注于汽车研发测试、数字化和智慧工厂、生物医疗以及IT四大业务领域，以通过创新帮助客户成功为使命，提供“交钥匙”解决方案，解决客户最后一公里技术难题，致力于成为最受尊敬的高科技企业。划重点，网安技术岗位HC不限量！网安、信安、研究方向为网安的童鞋们可以闭眼入哦，小孩子才做选择，网安人快点来投递哇👋！填写内推码【NTANNsU】为你的面试进程加速💨，直达简历筛选随时查看面试进程！从官网投递/更多岗位详情请点击：https://job.hkaco.com/
博客
BI赋能：解锁广告媒体行业数据金矿
10-11 872
在信息时代，数据已成为企业竞争的新焦点。对于广告媒体行业而言，数据不仅是衡量广告效果的关键指标，更是挖掘市场潜力、优化广告投放策略的金矿。如何有效地挖掘这些数据，转化为业务增长和竞争优势，是广告媒体行业面临的重要课题。BI商业智能技术的崛起，为广告媒体行业提供了这场数据革命的关键武器。
博客
BI商业智能技术革新广告媒体：Domo引领数据驱动营销新时代
10-11 512
本文深入探讨了BI商业智能技术在广告媒体行业的数据应用，并重点介绍了艾体宝推出的BI工具产品——商业智能平台Domo。Domo能够无缝对接多个广告平台与媒体渠道，实现数据的全面整合与实时更新，为广告主提供直观的数据可视化工具与深度分析能力。通过精准营销、广告效果深度分析、优化广告预算与ROI以及实时监控与个性化推荐等功能，Domo助力广告媒体行业解锁数据金矿，实现精准营销与高效决策，引领数据驱动营销新时代。
博客
艾体宝干货丨OIDA之四：掌握数据包分析-分析的艺术
09-24 689
本文是OIDA方法系列的最后一部分，重点介绍了数据包分析的“分析”阶段。这一最后阶段将剖析阶段的精炼数据转化为可操作的见解，使网络管理员和安全专业人员能够解决问题、优化性能并增强安全性。分析是实现数据包检查真正价值的地方，它将原始网络数据转化为有关网络行为的令人信服的叙述。
博客
艾体宝产品丨无需代码开发！Redis数据集成助你轻松优化数据库
09-24 582
Redis数据集成打破数据库瓶颈！Redis数据集成让应用提速更高效！（Redis Data Integration, RDI）正式推出，旨在帮助企业实现数据的实时同步，加速慢速数据库的性能。RDI简化了数据管道构建，将传统数据库数据无缝集成到Redis中，无需额外代码开发，显著提升应用程序响应速度。借助RDI，企业不仅能提升系统效率，还能降低数据库运营成本。本文详细介绍了RDI的核心功能、优势以及如何帮助企业优化应用程序的性能与扩展性。
博客
艾体宝洞察丨一文读懂最新密码存储方法，揭秘密码存储常见误区！
09-14 627
本篇文章将引入并介绍密码存储中的基石，关于密码哈希、盐加密（Salting）、密钥派生函数（KDF）的原理及其应用，揭示密码存储中的常见误区，并分享一系列安全实践。
博客
艾体宝干货丨OIDA之二：掌握数据包分析-学会识别
09-12 863
本文是OIDA方法系列的第二部分，重点介绍了数据包分析的“识别”阶段。通过使用Wireshark和IOTA，分析人员能够精确定位网络流量中的相关数据，识别异常模式，过滤并专注于重要对话和协议。同时，通过TCP分析仪表板和应用程序仪表板等工具，分析人员可以快速定位流量瓶颈，提升数据包分析的效率。
博客
【深入洞察】2024年主流BI工具对比：揭秘Domo如何助力企业智能决策
09-12 971
在当今数据驱动的商业环境中，选择合适的商业智能（BI）工具成为企业提升决策效率、加速数字化转型的关键一步。企业在选择BI工具时，通常会综合考虑数据处理能力、数据集成、数据可视化、易用性、可扩展性以及本地化支持等多个方面。本文详析Domo、Tableau、Power BI、FineBI、观远数据五款BI工具，帮你找到最适合的商业智能平台！
博客
艾体宝洞察丨五大BI工具对比：选出最佳智能决策平台
09-12 459
本文简要分析了Domo、Tableau、Power BI、FineBI、观远数据五款主流BI工具的特点，帮助企业根据自身需求选择最合适的智能决策平台。无论是数据集成、功能扩展，还是本地化支持，各工具都有独特优势，助力企业提升决策效率，推动数字化转型。
博客
艾体宝干货丨如何使用IOTA进行远程流量数据采集分析
09-03 1274
本文详细介绍了如何使用艾体宝IOTA设备进行远程流量数据采集与分析，特别适用于分布式网络、多站点管理和受限访问环境。通过IOTA的远程管理功能和ZeroTier VPN技术，即使在偏远或访问受限的区域，也能高效进行网络流量监控和故障排除，为网络安全和管理提供强有力的支持。
博客
艾体宝洞察丨透过语义缓存，实现更快、更智能的LLM应用程序
09-02 1382
本文探讨了语义缓存在提升大型语言模型（LLM）应用程序性能中的关键作用。与传统缓存不同，语义缓存理解用户查询背后的语义，提供更快、更相关的响应。这种技术通过嵌入模型、矢量搜索等组件，显著提高了自动化客户支持、实时翻译等应用的效率，为企业优化操作和提升用户体验提供了新路径。
博客
艾体宝干货丨OIDA之一：掌握数据包分析-学会观察
08-26 713
OIDA方法论是数据包分析的有效手段。其中，观察是至关重要的第一步。本文探讨了如何通过明确目标、选择最佳捕获点、确定捕获时机以及使用合适工具来优化这一过程，从而为后续分析过程奠定坚实基础。
博客
艾体宝干货丨Redis与MongoDB的区别
08-26 987
本文深入探讨了两种主流的NoSQL数据库——Redis和MongoDB的区别。Redis是一种高性能的键值对内存数据库，适合实时应用程序和需要低延迟响应的场景；而MongoDB则是一个文档存储数据库，适合处理复杂数据结构的大规模应用。文章详细比较了它们在数据模型、性能、扩展性和使用场景方面的异同，为读者提供了选择合适数据库的指导，特别适合刚接触NoSQL技术的开发者参考。
博客
艾体宝产品丨Domo.AI：智能决策的新引擎
08-16 574
艾体宝Domo，作为一款集成了先进AI技术的平台，为企业用户提供了一个灵活、安全且充满商业价值的智能数据解决方案。通过Domo.AI，用户不仅能够进行聊天式的数据探索，还能够轻松管理和部署AI模型，从而加速数据驱动的决策过程。
博客
艾体宝干货 | 向量数据库是如何工作的？
08-02 677
文章介绍了向量数据库的概念、工作原理以及它们在现代计算中的重要性。向量数据库设计用来有效处理和检索复杂数据类型（如图像、视频和音频）的向量嵌入，特别适合于高级搜索功能和AI驱动的数据分析。文章还探讨了生成这些向量的机器学习模型，以及如何使用向量数据库进行高效的组织、搜索和分析。
博客
艾体宝干货 | 如何分析关键网络性能指标？持续接收样品试用申请！
07-30 971
Allegro 流量分析仪是一种先进的网络流量分析工具，可实时监测和分析企业网络中的流量。本文将介绍Allegro 流量分析仪的功能和特点，并重点探讨如何利用它来分析关键的网络性能指标。通过对带宽利用率、延迟、丢包率等指标的分析，企业可以更好地了解其网络运行情况，及时发现问题并采取措施进行优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值