网络
呆萌的代Ma
这个作者很懒,什么都没留下…
展开
-
分享一个使用python FastApi创建服务的简易模版,与使用http/python请求
这个博客分享一个fastapi的模版,并提供使用http/python访问的示例程序。原创 2024-01-12 13:26:33 · 660 阅读 · 0 评论 -
解决python使用request请求报错SSL: SSLV3_ALERT_HANDSHAKE_FAILURE
在使用request请求前,设置一下:其他解决方法博主发现网上有很多其他方法,经过尝试,上面的【解决方法】虽然解决了博主的问题,但是可能没法解决小伙伴们的问题,所以列出几个当时查到的解决方法:来源:https://blog.csdn.net/weixin_46084750/article/details/125491776方法2来源:https://stackoverflow.com/questions/35405092/sslerror-sslv3-alert-handshake-failure原创 2022-07-08 08:51:41 · 2976 阅读 · 0 评论 -
tshark筛选、过滤特定ip的数据包
使用-Y "规则",其中规则部分:ip.dst表示目的ip,使用ip.src表示源ipor表示或,and表示与示例比如:tshark -Y "ip.src==60.28.215.75 or ip.src==61.181.204.99"含义:只保留源ip为60.28.215.75或61.181.204.99这两个ip地址的流量tshark -Y "ip.src!=60.28.215.75 and ip.src!=61.181.204.99"含义:不保留源ip为60.28.215.75与原创 2022-01-20 20:46:09 · 5518 阅读 · 0 评论 -
tcpdump捕获流量,并切分多个文件保存
tcpdump的文档地址:https://www.tcpdump.org/manpages/tcpdump.1.html-C 数字用来以多少个k切分数据-w 文件名保存的文件名-q安静模式示例sudo tcpdump -C 10 -w mypcap.pcap -q &原创 2021-12-06 23:22:32 · 1737 阅读 · 1 评论 -
解决centos下sudo运行tshark,写入文件显示:Permission denied.
在-w时,需要把文件名写全,相对路径无权限,则需要写成绝对路径,比如sudo tshark -w /xxxx/mypcap.pcap -q参考链接tshark gives “permission denied” writing to (any) file in home dir.:https://www.linuxquestions.org/questions/linux-networking-3/tshark-gives-permission-denied-writing-to-any-file-原创 2021-12-02 16:32:31 · 1069 阅读 · 0 评论 -
浏览器访问ipv6地址的ip与端口
示例http://[ipv6地址]:端口例如:http://[xxx:xxx::xxx]:8000原创 2021-11-09 10:00:53 · 16539 阅读 · 0 评论 -
解决tshark报错:tshark: Some fields aren‘t valid
解决方法查询网址:https://www.wireshark.org/docs/dfref/,找到需要的命令检查是否输入正确检查tshark版本是否支持原创 2021-11-03 14:52:56 · 734 阅读 · 0 评论 -
python调用百度智能云API请求(以自然语言处理——词法分析为例)
调用API的思路:获得api的token按官方文档发送链接分析返回的结果步骤一:获取API的token如果不知道token是啥,或是不知道怎么获取token,请参考:https://blog.csdn.net/weixin_35757704/article/details/120664069这里给出一个工具方法:def get_baidu_token() -> str: """获得百度的token""" import requests ak = "ZXGxxx原创 2021-10-31 10:56:45 · 1720 阅读 · 0 评论 -
解决python urllib3报错urllib3.exceptions.MaxRetryError xxx [SSL: CERTIFICATE_VERIFY_FAILED] xxx
完整报错如下:urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url: xxxxxxx (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:852)'),))解决方法创建连接池时,使用:impo原创 2021-10-31 10:30:37 · 6303 阅读 · 1 评论 -
tshark删除pcap文件中与网关通信的数据包
与网关的通信一般是:192.168.0.1或192.168.1.1或其他的ip,需要明确网关ip,然后删除即可:tshark -r 源数据包.pcap -Y ip.dst!=192.168.1.1 -Y ip.src!=192.168.1.1 -w 保存名称.pcap -F pcap原创 2021-08-16 16:41:05 · 352 阅读 · 0 评论 -
tshark 操作后保存为pcap数据包
具体操作请参考:https://www.wireshark.org/docs/man-pages/tshark.html使用如下代码即可:tshark -r 源数据包.pcap -w 保存名称.pcap -F pcap案例删除网关数据包并保存:tshark -r 源数据包.pcap -Y ip.dst!=192.168.1.1 -Y ip.src!=192.168.1.1 -w 保存名称.pcap -F pcap...原创 2021-08-16 16:38:19 · 1506 阅读 · 0 评论 -
解决Linux新安装的虚拟机没有网
按照步骤来:每一步之后都可以检查一下第一步:检查Vmware的网络服务是否开启windows按win+R,输入services.msc,启动以下两个服务:VMware DHCP ServiceVMware NAT Service第二步:检查Vmware虚拟网络参考:https://zhuanlan.zhihu.com/p/363909855第三步:检查虚拟机配置sudo service network-manager stopsudo vim /var/lib/NetworkManage原创 2021-05-22 21:05:25 · 1447 阅读 · 0 评论 -
解决 ifconfig: command not found
apt-get install net-tools原创 2020-12-25 14:24:07 · 565 阅读 · 0 评论 -
解决由于sz rz导致抓包时文件容量增加
原因是使用sz rz传输数据时是网络传输行为,在使用tshark等抓包软件抓取数据包时,会同样抓取sz rz传输产生的数据包。解决方案按照时间戳截取掉传输时那一段的流量,因为后续的采集工作仍在继续,所以并不会影响后续的采集工作。...原创 2020-12-20 11:15:19 · 216 阅读 · 1 评论 -
python按照时间timestramp切分网络前向流与后向流
import pandas as pd# forward_df:前向流# backward_df:后向流def dataframe_strip(forward_df: pd.DataFrame, backward_df: pd.DataFrame): # 按5分钟切分流 if backward_df.empty: min_time = forward_df['timestamp'].min() elif forward_df.empty: min_t原创 2020-11-02 18:44:07 · 257 阅读 · 0 评论 -
pcap文件提取后的dataframe,切分前向流与后向流
使用pandas,提取pcap文件得到的dataframe后,切分为前向流与后向流import pandas as pddef split_flow(dataframe): # addr_ip:源IP # dst_ip:目的IP addr_diff = dataframe['addr_ip'].value_counts().index for addr_ip in addr_diff: addr_df = dataframe[dataframe['addr_ip']原创 2020-11-02 16:38:25 · 965 阅读 · 0 评论 -
tshark 解析pcap中带TLS协议的数据包
tshark的简单用法参考:tshark解析本地pcap数据包提取五元组{src_ip,src_port,proto,dst_ip,dst_port}与时间戳,包长详细用法:官方DOC比如提取一个数据包 my.pcap 中全部带有TLS加密的包:tshark -r my.pcap -T fields -Y tls -e ip.src -e ip.dst -E separator=, > get_tls_pcap.csv其中 -Y tls表示只提取TLS协议的数据包获得TLS的一些信原创 2020-10-13 19:32:30 · 2675 阅读 · 3 评论 -
tcpdump/editcap等工具保存文件时名称中自定义添加日期/时间
tcpdump:tcpdump -w $(date +%Y-%m-%d_%H:%M:%S).pcapeditcap:editcap test_pcap.pcap test_pcap_$(date +%Y-%m-%d_%H:%M:%S).pcap原创 2020-10-08 20:25:51 · 893 阅读 · 0 评论 -
Mac下解决editcap等wireshark配套工具not found
首先,在命令行中调出editcap等命令是需要在安装wireshark时额外安装的,如果当时只安装了wireshark,那么请重新下载安装包:https://www.wireshark.org/download.html,然后点击“Add wireshark to the system path.pkg”安装包长这样:如果之前安装过,因为未知原因导致环境变量缺失的,可以:cd /Applications/Wireshark.app/Contents/MacOS/这个目录下有 editcap 等工具原创 2020-10-08 19:12:34 · 701 阅读 · 0 评论 -
Linux安装wireshark并配置权限
sudo add-apt-repository ppa:wireshark-dev/stable sudo apt updatesudo apt -y install wireshark # 安装wiresharksudo groupadd wiresharksudo chgrp wireshark /usr/bin/dumpcap # 创建用户组sudo chmod 4755 /usr/bin/dumpcapsudo gpasswd -a $(whoami) wireshark # 添加当前用原创 2020-10-07 08:43:07 · 412 阅读 · 0 评论 -
tshark解析本地pcap数据包提取五元组{src_ip,src_port,proto,dst_ip,dst_port}与时间戳,包长
tshark官方文档:https://www.wireshark.org/docs/man-pages/tshark.htmlwireshark官方特征参考:https://www.wireshark.org/docs/dfref/前提需要安装wireshark提取五元组{src_ip,src_port,proto,dst_ip,dst_port}代码如下:tshark -r pcap文件 -T fields -e ip.src -e tcp.srcport -e ip.dst -e tcp.原创 2020-07-13 15:48:24 · 3903 阅读 · 0 评论 -
dataframe根据时间戳timestamp切分成多个dataframe
原始数据是 dataframe 的一列 “timestamp” 需要按照每5分钟做一次切分,下面是切分的代码:import pandas as pddef dataframe_strip(dataframe: pd.DataFrame): min_time = dataframe['timestamp'].min() # 5minute i = 1 while True: # 300是 5分钟*60秒 = 300秒 yield datafram原创 2020-07-07 16:22:43 · 2465 阅读 · 1 评论 -
python解析pcap提取{src ip,src port,protocol,dst ip, dst port}五元组,再提取网络流(包括前向流与后向流)
通过解析pcap文件,按照{src ip, src port, transport protocol , dst ip, dst port} 拆分流,并提取出前向流(Forward)与后向流(Backward),代码如下:import pysharkimport pandas as pdclass Net_flow(object): def __init__(self, file_path): self.cap = pyshark.FileCapture(file_path原创 2020-07-03 16:15:22 · 8348 阅读 · 0 评论 -
Tcpdump抓包实操
文章目录1.常用命令全部数据包的抓取与保存:2.自定义操作自定义网络接口自定义端口刚从wireshark转到tcpdump,所以就用最适合wireshark思路的方式写这篇博客,以便尽快适应tcpdume,官方API:https://www.tcpdump.org/manpages/tcpdump.1.html1.常用命令全部数据包的抓取与保存:抓取固定主机ip的端口号,并保存在本地:sudo tcpdump -i 接口 -w 保存的路径 host 主机IP and port 端口号sudo t原创 2020-06-17 09:42:38 · 1281 阅读 · 0 评论 -
java爬虫,提供链接直接爬取网页代码
其实我只想要爬到整个网页的源代码的就好.通过java的一个包jsoup,就可以直接爬取了,后面有下载源代码(含jsoup包)的链接.输入:网页链接输出:网页源代码代码比较简单,解析都在代码中:import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import java.io.FileOutputStream;pu原创 2017-10-10 11:16:46 · 2401 阅读 · 0 评论 -
storm计数器(小白看懂系列)
现在要用storm做一个计数器,我的方案是:不断地输入一串字符串,然后统计每个单词的频数.这篇博客从以下几个方面进行阐述:基本配置流程分析与类的确定奉上代码(含注释)一:基本配置这里注意,导包的时候要注意,否则可能会出现神奇的强制类型转换或是提示你在使用一个不存在的方法三台搭建好storm集群的linux虚拟机centos7一台用于编程的window8.1虚拟机原创 2017-08-16 15:33:08 · 1490 阅读 · 2 评论 -
storm如何集成kafka
之前的kafka案例:http://blog.csdn.net/weixin_35757704/article/details/77196539之前的storm案例:http://blog.csdn.net/weixin_35757704/article/details/77246313首先要提醒:导包的时候要注意导入正确的包,如果出现强制类型转换或是方法不存在,对于新手来说多半是导包导错原创 2017-08-18 14:19:17 · 598 阅读 · 0 评论 -
Intellij IDEA 安装jnetpcap开发环境与 no jnetpcap in java.library.path 的解决方案
jnetpcap是libpcap的一个java完整封装,这篇博客就是讲解如何能够使用Intellij IDEA来编写jnetpcap这篇博客分为三个部分:安装必要的开发环境添加jnetpcap的jar包测试导入包一.安装必要开发环境:我是Windows操作系统首先下载并且安装winpcap:http://www.winpcap.org/winpcap一路原创 2017-08-21 13:42:33 · 5122 阅读 · 0 评论 -
Fiddler 详尽教程与抓取移动端数据包
转载自:http://blog.csdn.net/qq_21445563/article/details/51017605阅读目录1. Fiddler 抓包简介 1). 字段说明 2). Statistics 请求的性能数据分析 3). Inspectors 查看数据内容 4). AutoResponder 允许拦截制定规转载 2017-07-26 15:07:17 · 6032 阅读 · 2 评论 -
kafka发送与接收数据(含奇葩报错解决方案)
首先说明一下,小白在学习这一块的时候,记得导入包的时候要看清包名,网上有一些博客没有具体导入的包名称,可能会导致在本机上导包后出现各种各样奇葩的强制类型转化.kafka的相关内容与概念在这里就不再赘述了,咱们直接通过一个小案例来感受一下kafka的魅力,本篇博客分为四个部分:配置情况;在搭建好的linux服务器上创建一个topic;作为producer(生产者),给kafka上原创 2017-08-16 10:48:51 · 3415 阅读 · 0 评论