基于 ubuntu 20.04 编译测试字节 netcap

于 2024-08-14 09:00:00 发布
阅读量597 收藏 13
点赞数 26
分类专栏： 开源工具 bpf 文章标签： netcap ebpf bcc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longyu_wlz/article/details/141167222
版权

netcap 编译

编译环境：ubuntu20.04

内核版本：5.15

问题记录

git clone 失败问题

root@debian:~# git clone https://github.com/bytedance/netcap.git
Cloning into 'netcap'...
fatal: unable to access 'https://github.com/bytedance/netcap.git/': GnuTLS recv error (-110): The TLS connection was non-properly terminated.

解决方法:

 git config --global http.sslVerify false

模块依赖问题

       embed: malformed module path "embed": missing dot in first path element
github.com/bytedance/netcap/pkg/cbpf_filter imports
        github.com/cilium/ebpf/asm tested by
        github.com/cilium/ebpf/asm.test imports
        github.com/frankban/quicktest imports
        github.com/google/go-cmp/cmp/cmpopts tested by
        github.com/google/go-cmp/cmp/cmpopts.test imports
        net/netip: malformed module path "net/netip": missing dot in first path element

系统中预装的 go 为 1.13，embed 模块依赖 go 1.16 及其之后的版本，更新 go 版本解决。

bcc 组件缺少问题

# github.com/iovisor/gobpf/bcc
../go/pkg/mod/github.com/iovisor/gobpf@v0.2.0/bcc/module.go:32:10: fatal error: bcc/bcc_common.h: No such file or directory
   32 | #include <bcc/bcc_common.h>
      |          ^~~~~~~~~~~~~~~~~~
compilation terminated.

解决方法：

 sudo apt-get install libbpfcc-dev

pcap.h 头文件缺少问题

# github.com/google/gopacket/pcap
../go/pkg/mod/github.com/google/gopacket@v1.1.19/pcap/pcap_unix.go:34:10: fatal error: pcap.h: No such file or directory
   34 | #include <pcap.h>

解决方法：

sudo apt-get install libpcap-dev

bcc 与 gobpf 版本不兼容问题

# github.com/iovisor/gobpf/bcc
../go/pkg/mod/github.com/iovisor/gobpf@v0.2.0/bcc/module.go:261:109: too many arguments in call to (_C2func_bpf_attach_uprobe)
        have (_Ctype_int, uint32, *_Ctype_char, *_Ctype_char, _Ctype_ulong, _Ctype_int, number)
        want (_Ctype_int, uint32, *_Ctype_char, *_Ctype_char, _Ctype_ulong, _Ctype_int)

go/pkg/mod/github.com/iovisor/gobpf@v0.2.0/bcc/module.go 函数调用点修改为如下内容：

func (bpf *Module) attachUProbe(evName string, attachType uint32, path string, addr uint64, fd, pid int) error {
	      .............................................................
        res, err := C.bpf_attach_uprobe(C.int(fd), attachType, evNameCS, binaryPathCS, (C.uint64_t)(addr), (C.pid_t)(pid))
        .............................................................
}

netcap 运行

longyu@longyu-virtual-machine:~/netcap$ ./netcap 
Capture skb/mbuf with tcpdump expression

Usage:
  netcap [command]

Examples:

$ netcap help skb
$ netcap help mbuf
$ netcap help raw

Available Commands:
  completion  Generate the autocompletion script for the specified shell
  help        Help about any command
  mbuf        Dump mbuf with tcpdump expression
  raw         Dump raw(packet) with tcpdump expression
  skb         Dump skb with tcpdump expression
  version     Version of netcap

Flags:
  -h, --help   help for netcap

Use "netcap [command] --help" for more information about a command.

netcap 运行问题记录

运行时编译报错

longyu@longyu-virtual-machine:~/netcap$ ./netcap skb -f icmp_rcv@1 -i ens33 -e "host 10.227.0.45" -t "-nnv"
In file included from <built-in>:2:
In file included from /virtual/include/bcc/bpf.h:12:
In file included from include/linux/types.h:6:
In file included from include/uapi/linux/types.h:14:
In file included from ./include/uapi/linux/posix_types.h:5:
In file included from include/linux/stddef.h:5:
In file included from include/uapi/linux/stddef.h:5:
In file included from include/linux/compiler_types.h:80:
include/linux/compiler-clang.h:41:9: warning: '__HAVE_BUILTIN_BSWAP32__' macro redefined [-Wmacro-redefined]
#define __HAVE_BUILTIN_BSWAP32__
        ^
<command line>:4:9: note: previous definition is here
#define __HAVE_BUILTIN_BSWAP32__ 1
        ^
In file included from <built-in>:2:
In file included from /virtual/include/bcc/bpf.h:12:
In file included from include/linux/types.h:6:
In file included from include/uapi/linux/types.h:14:
In file included from ./include/uapi/linux/posix_types.h:5:
In file included from include/linux/stddef.h:5:
In file included from include/uapi/linux/stddef.h:5:
In file included from include/linux/compiler_types.h:80:
include/linux/compiler-clang.h:42:9: warning: '__HAVE_BUILTIN_BSWAP64__' macro redefined [-Wmacro-redefined]
#define __HAVE_BUILTIN_BSWAP64__
        ^
.....................................
        ^
In file included from /virtual/main.c:1:
In file included from include/net/sock.h:46:
In file included from include/linux/netdevice.h:37:
In file included from include/net/net_namespace.h:38:
In file included from include/net/netns/bpf.h:9:
include/linux/bpf-netns.h:21:7: error: use of undeclared identifier 'BPF_SK_LOOKUP'
        case BPF_SK_LOOKUP:
..........................................................................

解决方法：

  1. 更新系统中的 /usr/include/linux 头文件为当前正在使用的内核版本内容

    root@longyu-virtual-machine:/home/longyu/netcap# rm -rf /usr/include/linux/
root@longyu-virtual-machine:/home/longyu/netcap# cp -rf /usr/src/linux-hwe-5.15-headers-5.15.0-117/include/uapi/linux/ /usr/include/

  2. 重新编译 bcc

    git clone https://github.com/iovisor/bcc.git

mkdir bcc-build
cd bcc-build/

cmake ../bcc -DCMAKE_INSTALL_PREFIX=/usr -DENABLE_LLVM_SHARED=1
make -j10
make install

  3. 修改内核头文件中的一处定义

    /usr/include/linux/swab.h 增加如下定义：

    #ifndef __attribute_const__
#define __attribute_const__ __attribute__((const))
#endif

netcap 下发命令测试记录

root@longyu-virtual-machine:/home/longyu/netcap# ./netcap skb -f tracepoint:skb:kfree_skb -e "tcp port 9000" -S 2
bpf: Failed to load program: Permission denied
reg type unsupported for arg#0 function xcap_tp_kfree_skb#31
; int xcap_tp_kfree_skb(struct kfree_skb_args *args)
0: (7b) *(u64 *)(r10 -56) = r1
; struct sk_buff *skb = (struct sk_buff*)(args->skbaddr);
1: (79) r1 = *(u64 *)(r1 +8)
2: (7b) *(u64 *)(r10 -32) = r1
3: (b7) r2 = 0
4: (b7) r1 = 0
; u32 key = 0;
5: (7b) *(u64 *)(r10 -24) = r1
last_idx 5 first_idx 0
regs=2 stack=0 before 4: (b7) r1 = 0
..............................................................
77: (85) call bpf_probe_read_kernel#113
R2 min value is negative, either use unsigned or 'var &= const'
processed 191 insns (limit 1000000) max_states_per_insn 0 total_states 13 peak_states 13 mark_read 9

2024/08/09 13:54:38 Dump err: error loading BPF program: permission denied

下发 ./netcap skb -f icmp_rcv@1 -i ens33 -e “host 10.65.10.192” -t "-nnv” 报了如下错误：

bpf: Failed to load program: Permission denied
; int xcap_kprobe_icmp_rcv(struct pt_regs *ctx)
0: (bf) r6 = r1
; if (!(skb = (struct sk_buff *)PT_REGS_PARM1(ctx))) {
1: (79) r9 = *(u64 *)(r6 +112)
; if (!(skb = (struct sk_buff *)PT_REGS_PARM1(ctx))) {
2: (15) if r9 == 0x0 goto pc+159
 R1=ctx(id=0,off=0,imm=0) R6_w=ctx(id=0,off=0,imm=0) R9_w=inv(id=0) R10=fp0
3: (b7) r1 = 0
; u32 key = 0;
4: (63) *(u32 *)(r10 -12) = r1
last_idx 4 first_idx 0
regs=2 stack=0 before 3: (b7) r1 = 0
...............................................................
94: (85) call bpf_probe_read_kernel#113
R2 min value is negative, either use unsigned or 'var &= const'
processed 179 insns (limit 1000000) max_states_per_insn 0 total_states 14 peak_states 14 mark_read 10

2024/08/09 13:57:43 Dump err: error loading BPF program: permission denied

github 中的相关 issue：

https://github.com/bytedance/netcap/issues/2

issue 未解决

总结

  1. netcap 当前文档中未说明内核版本，从代码编译过程中分析至少需要 5.9 以上的版本（支持 BPF_SK_LOOKUP）
  2. netcap 依赖内核头文件与 bcc 及编译器，下发的规则会动态编译生成必要的文件后装载到内核中
  3. netcap 基于 usdt 用户态进程探针 dump dpdk mbuf 包，依赖 usdt 功能，此功能成熟度较差
  4. 基于 ubuntu 环境测试，netcap 并不能成功运行起来，相关问题也没有解决方案
longyu_wlz
关注
  • 26
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GO编译时避免引入外部动态库的解决方法
「 虚幻私塾」
10-20 772
最近碰到一个问题，有一个流量采集的组件中使用到了github.com/google/gopacket 这个库，这个库使用一切正常，但是唯独有一个缺点，编译后的二进制文件依赖于libpcap.so的动态库。这为安装包兼容多个平台造成了一定的困扰，于是便想着如何把libpcap这个外部依赖已静态库的方式在go程序编译的同时link进可执行程序。
Ubuntu 20.04 编译 OpenWrt
wu_zongwen的博客
08-19 1290
最近买了个R4S，开始了软路由的折腾 ，陆陆续续使用了好几个基于 OpenWrt 编译的固件都差强人意，要么是插件太多了，要么就是没有自己需要的插件。所以最终还是决定根据自己的需求编译一个适合自己的固件，于是就有了这篇文章。
新手入门gopacket
12-06 1707
Part1前言gopacket是谷歌开源的一款抓包库，为go语音提供了处理网卡包的能力。其底层基于libpcap。github地址 https://github.com/google/gopacket。本文主要从一个新手的角度从零开始使用该库。Part2go环境搭建下载地址https://golang.google.cn/doc/install安装之后，输入go version即可查看版本号vsc...
如何构建编译gopacket包的测试用例？(gopacket抓取数据包、类似于tcpdump、Wireshark)
码二哥的技术池
04-16 1244
如何构建编译gopacket测试用例
golang获取本机网卡列表@github.com/google/gopacket/pcap
flynetcn的专栏
10-26 1610
package main import ( "fmt" "github.com/google/gopacket/pcap" ) func main() { devices, err := pcap.FindAllDevs() if err != nil { fmt.Println(err) } for _, device := range devices { for _,...
golang抓包 gopacket使用记录
AlphaTao的博客
11-07 1340
背景 使用谷歌的包github.com/google/gopacket 可以用golang实现网络抓包 这里记录了一些使用过程中的问题 以及解决方法 备忘 也欢迎大家提出改进意见 问题 由于gopacket是基于libpcap（数据包捕获函数库）的，所以在一台服务器上使用gopacket必须先安装libpcap sudo apt-get install libpcap-dev 如果想要集成...
基于Ubuntu20.04编译且可用的fcitx5输入法，版本5.0.16
05-26
fcitx5输入法目前(2022年...不过配置工具基于Qt5.15.2编译，但Ubuntu20.04只能安装5.12.8的Qt Gui组件，所以我把Qt5.15.2的库文件也打包在了DEB里，用户无需再另外安装Qt库。 目录结构 如果有问题可向我反馈，再更新。
在ubuntu20.04下配置android P源码编译环境
01-03
如何在ubuntu20.04下配置 魔趣P 源码编译环境及常见错误解决一 Ubuntu20.04 LTS 安装更新软件源->阿里云1.安装Chrome2.安装Vim3.点击图标最小化二 配置魔趣源码环境1.下载 git2.设置 git 账户3.下载python4.配置PATH...
ubuntu20.04编译生成的vpp包以及依赖包
12-08
ubuntu20.04编译生成的vpp包以及依赖包，可以实现离线安装
ubuntu20.04 可直接使用的ffmpeg（静态编译）
09-22
ubuntu20.04 可直接使用的ffmpeg（静态编译） built with gcc 9 (Ubuntu 9.3.0-17ubuntu1~20.04) configuration: --prefix=/root/ffmpeg_build --pkg-config-flags=--static --extra-cflags=-I/root/ffmpeg_build/...
安装Ubuntu20.04+ROS+Cartographer
06-17
Ubuntu20.04+ROS+Cartographer安装指南 本文档将指导您安装Ubuntu20.04操作系统，并在其上安装ROS（机器人操作系统）和Cartographer（激光SLAM算法），以便实现机器人和SLAM开发。 一、Ubuntu20.04安装 安装...
gopacket 安装部署之hello world
rclijia的专栏
06-10 581
GO环境配置详见之前写的一篇文章:https://blog.csdn.net/rclijia/article/details/94390242
golang使用gopacket包进行数据包捕获，注入和分析
热门推荐
虾米的博客
05-23 2万+
使用golang实现网络抓包是非常容易的，可以使用谷歌的包github.com/google/gopacket。由于gopacket构建在libpcap之上，我强烈建议您了解该库的工作原理。您可以在C中学习如何使用libpcap进行更深入的了解。 1.libpcap gopacket是基于libpcap（数据包捕获函数库）的，该库提供的C函数接口用于捕捉经过指定网络接口的数据包，该接口应该是被...
Go语言解析pcap包，提取http请求
Last Dance !
08-26 5344
package main // Use tcpdump to create a test file // tcpdump -w test.pcap // or use the example above for writing pcap files import ( "fmt" "github.com/google/gopacket" "github.com/google/gopacket/layers" "github.com/google/gopacket/pcap" "log" "r.
上手 bpftool
龙瑜的博客
11-22 9756
bpftool 是什么 bpftool 是一个用来检查 BPF 程序和映射的内核工具。 如何编译安装 bpftool bpftool 源码在 tools/bpf/bpftool 中，直接 cd 到这个路径中，然后执行 make && make install 即可。 这里我使用了 V=1 来输出更详细的信息，过程记录如下： root@debian-10:12:12:04] bpftool # make && make V=1 install make[1]: 进入目录“/ho
运行第一个 bpf 程序
龙瑜的博客
11-21 7371
上手 ebpf 一直想学习一下 ebpf 这个东东，最近买了本《Linux 内核观测技术 BPF》，准 备系统的研究一下。 原以为有了书之后学起来就相当轻松了，可以我发现书上的第一个例子就编译不 过。 书上只给了部分的源码，还需要去下载配套的 github 项目，这也没啥关系，不过下 载后编译也是编译不过。 编译不过的报错也不过是 types.h 头文件找不到，解决了头文件找不到的问题 后发现又有新的问题。 网上搜索了下发现基本上都是在介绍 ebpf xxx，没有看到一篇讲如何上手 ebpf， 只能自己搞搞
bpf 跟踪功能——上手 USDT
龙瑜的博客
11-22 3836
bpf 跟踪 bpf 提供了非常强大的工具能够让我们在程序运行的时候收集需要的数据，它几乎可以访问 Linux 内核和应用程序的任何信息，同时对系统性能和延迟造成的开销最小，它能够实现类似 dtrace、SystemTap 的动态探针功能，不需要修改程序就能够收集数据。 本文中的 BPF 程序都是通过 BCC 来编写的。 探针 跟踪探针是探索程序，旨在传递程序执行时环境的相关信息。 内核探针 内核探针几乎可以在任何内核指令上设置动态标志或中断，并且系统损耗最小。当内核执行到这些标志时，附加到探针的代码
ebpf 研究之 XDP 技术
龙瑜的博客
01-09 3348
linux 5.0 内核支持 xdp 的网卡驱动： $ git grep -l XDP_SETUP_PROG drivers/ drivers/net/ethernet/broadcom/bnxt/bnxt_xdp.c drivers/net/ethernet/cavium/thunder/nicvf_main.c drivers/net/ethernet/freescale/dpaa2/dpaa2-eth.c drivers/net/ethernet/intel/i40e/i40e_main.c driv
ubuntu20.04编译
最新发布
08-15
回答: 要在Ubuntu 20.04上编译内核，可以按照以下步骤进行操作。 首先，在终端中打开/etc/apt/sources.list文件： ``` sudo gedit /etc/apt/sources.list ``` 在文件末尾添加以下两行内容以更新软件源： ``` deb http://us.archive.ubuntu.com/ubuntu/ xenial main universe deb-src http://us.archive.ubuntu.com/ubuntu/ xenial main universe ``` 保存并关闭文件。 接下来，安装make-kpkg工具： ``` sudo apt install kernel-package ``` 然后，使用make-kpkg编译并生成deb安装文件。以下是一个示例命令： ``` sudo make-kpkg --initrd --append-to-version -20220228 --revision 001 kernel_image kernel_headers -j4 ``` 这个命令将生成内核映像和头文件的deb安装文件。可以根据需要修改命令中的版本号等参数。 最后，更新软件包列表并安装编译所需的依赖项： ``` sudo apt-get update sudo apt-get install gcc g sudo apt-get install libncurses5-dev sudo apt-get install build-essential sudo apt-get install kernel-package sudo apt-get install libssl-dev sudo apt-get install libc6-dev sudo apt-get install bin86 sudo apt-get install flex sudo apt-get install bison sudo apt-get install qttools5-dev sudo apt-get install libelf-dev ``` 完成上述步骤后，您可以根据需要对Ubuntu 20.04进行编译。请注意，这只是一个示例过程，您可能需要根据您的具体需求进行适当的修改。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [手把手一步步实现 Ubuntu20.04编译Android10系统源码](https://blog.csdn.net/h5630/article/details/127715207)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Linux内核开发——编译Ubuntu 20.04内核代码](https://blog.csdn.net/feihe027/article/details/125424910)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值