- 博客(56)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 python pandas处理股票量化数据：笔记4
从tushare.pro利用pro.daily接口下载日线行情数据并保存到本地mysql数据库
2024-07-15 22:11:37
156
原创 python pandas处理股票量化数据：笔记2
有一个同学用我的推荐链接注册了tushare社区帐号https://tushare.pro/register?reg=671815，现在有了170分积分。目前使用数据的频率受限制。不过可以在调试期间通过python控制台获取数据，将数据保存在本地以后使用不用高频率访问tushare数据库，访问频率限制影响不大。
2024-06-15 19:56:25
826
原创 python pandas处理股票量化数据：笔记1
Python pandas包在金融量化分析中体现出的优势，Tushare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。当然，如果您习惯了用Excel或者关系型数据库做分析，您也可以通过Tushare的数据存储功能，将数据全部保存到本地后进行分析.
2024-06-10 17:13:00
1344
2
原创 Qos令牌桶算法：笔记0601
尽力而为Best Effort模型：实际大多数场景使用，通俗说人话就是没有qos，尽力而为。综合模型：Integrated Service模型，需要域内网络设备都支持并统一配置使用差分模型: DiffServ模型，分类后根据不同策略提供不同转发质量令牌：目前看到2种表述，csdn表示51cto(不知道rfc上咋表达的懒得去查了，主打一个好读书不求甚解，感觉应该是bit更接近真相）上面2篇网文关于双速三色算法中关于包到达速率小于CIR时的操作不一样：51cto是只减少C桶令牌数量；
2024-06-01 16:50:06
1045
原创 python规则表达式re模块：笔记0529
上面的例子中\x作为转义字符表示16进制，\[\?在正则表达式中，某些字符具有特殊含义，例如点号（.）、星号（*）、加号（+）等。如果要匹配这些特殊字符本身，而不是它们的特殊含义，可以使用r字符串前缀。r字符串前缀的作用是消除转义字符的特殊含义，使字符串中的每个字符都按照字面意义进行解释。r字符串前缀将反斜杠字符视为普通字符，而不是转义字符。这里的\x1b\[\?和下面几个规则表达式的原字符有很大区别：点号（.）、星号（*）、加号（+）相同的是原字符点号(.)作为一个字符进行匹配时同样使用了。
2024-05-29 21:29:24
949
转载 virsh命令：笔记
注意： virsh network 选项内容管理对应的文件是 /etc/libvirt/qemu/network/ 如果这里没有关于网络的xml 文件，则通过 virsh net-list -all 是查询不到网络的。可以发现，通过 snapshot-create 创建的快照 Name 为时间戳，而通过 snapshot-create-as 创建的快照则可以自行命名。查看配置文件，iface-bridge 是直接将配置文件也改写了，也就是说，通过 iface-bridge 创建的桥接，重启依然生效。
2024-04-19 10:36:18
522
原创 scapy解析IPv4和IPv6分片差异
Flags：3bit，第1位reserved未使用，第2位DF（Don't Fragment）置1就代表不让分段了，第3位MF（More Fragment），例如1个数据包被分段，第1个分段MF置1，第2个置1，第3个置1......直到最后1个置0,路由器知道了，原来分段结束了；在必要的时候插入值为0的填充字节。Header Length（IHL）：4bit，最大1111，最小0101，1个字长是32bit是4个字节，最大1111，十进制为15，即15*4=60Byte，该字段在IPv6中被去掉了；
2024-03-30 12:12:46
936
原创 IPv6 Scapy Samples
IPv6 ICMPi=IPv6()p=(i/q)sr1(p)i=IPv6()pa=(i/h/p)a.srcTracerouteTest1Test2Step 1.Step 2.Step 3.Step 4.
2024-03-30 12:09:16
459
转载 Linux报文收发流程：笔记
6). tcp_v4_rcv:tcp_v4_rcv被ip_local_deliver函数调用,是从IP层协议向INET Socket层提交的"数据到"请求,入口参数skb存放接收到的数据,len是接收的数据的长度,这个函数首先移动skb->data指针,让它指向tcp头,然后更新tcp层的一些数据统计,然后进行tcp的一些值的校验.再从INET Socket层中已经建立的sock{}结构变量中查找正在等待当前到达数据的哪一项.可能这个sock{}结构已经建立,或者还处于监听端口、等待数据连接的状态。
2024-03-23 11:38:58
67
转载 dpdk kni实现：笔记
通过这个/dev/kni混合设备，可以接收应用层的ioctl消息，按需来创建各种kni设备、删除kni设备、打开kni设备、关闭kni设备、设置mtu、接收ethtool工具的命令操作消息等等。需要注意的是，驱动层创建的两种设备，一个是/dev/kni混合设备， 另一个是kni设备，这两个是不同的设备类型。并为每一个kni设备，分配好发送队列、接收队列、分配队列、释放队列、请求队列、响应队列。需要注意的是，驱动层创建的两种设备，一个是/dev/kni混合设备， 另一个是kni设备，这两个是不同的设备类型。
2024-03-22 16:43:51
232
转载 dpdk发送数据包
在实际应用中，您需要根据您的具体需求和环境来调整上述代码。例如，您可能需要根据实际的网络设备ID和配置来修改。初始化 EAL（Environment Abstraction Layer）。使用 rte_eth_tx_burst() 函数发送数据包。之前，数据包已正确填充到对应的mbuf中。为数据包分配 mbuf。配置并初始化网络设备。
2024-03-16 15:03:11
172
转载 dpdk报文处理流程：笔记
阶段一：网卡通过其DMA硬件将收到的报文写入到收包队列中（入队）阶段二：应用从收包队列中读取报文（出队）下面以ixgbe网卡在dpdk框架下工作为例，分别介绍下收包队列的构造、启动和收包三个流程。
2024-03-16 13:51:35
231
转载 DKDK学习笔记
基于 OS 内核的数据传输有什么弊端DPDK 的组成架构如下图所示，相关技术原理概述如下：在最底部的内核态（Linux Kernel）DPDK 有两个模块：KNI 与 IGB_UIO。其中，KNI 提供给用户一个使用 Linux 内核态的协议栈，以及传统的Linux 网络工具（如ethtool, ifconfig）。IGB_UIO（igb_uio.ko 和 kni.ko. IGB_UIO）则借助了 UIO 技术，在初始化过程中将网卡硬件寄存器映射到用户态。
2024-03-16 13:12:18
44
转载 Linux 大页内存 Huge Pages 虚拟内存
在目录下，可以看到系统中每一个Node对应的目录。在每个Node目录下，有关于大页内存的配置信息，一般有两个目录，这是Linux系统支持的两种大页，一个是1G，一个是2M。在每个大页内存目录下有三个文件，分别表示当前Node，当前大页内存中空闲的大页内存数、设定的大页内存数，超出使用的大页内存数。
2024-03-15 09:03:48
1371
转载 DPDK virtio-user介绍及使用 笔记
Rusty Russell提出了virtio的模型和实现：virtio: Towards a De-Facto Standard For Virtual I/O Devices。virtio是一种标准的半虚拟化IO设备模型，Rusty Russell希望通过这个模型，将半虚拟化的IO设备驱动（网卡、磁盘块设备等）统一起来，便于后续的维护、扩展和优化。任何Hypervisor或其他后端都可以根据virtio设备的标准实现virtio设备的后端功能，从而避免继续向内核中加入新的半虚拟化设备驱动。
2024-01-30 10:39:43
403
转载 虚拟化技术virtio 笔记
VirtIO 由 Rusty Russell 开发，最初是为了支持自己开发的 lguest Hypervisor，其设计目标是在虚拟化环境下提供与物理设备相近的 I/O 功能和性能，并且避免在虚拟机中安装额外的驱动程序。基于这一目标，后来通过开源的方式将 VirtIO 延伸为一种虚拟化设备接口标准，并广泛的支持 KVM、QEMU、Xen 和 VMware 等虚拟化解决方案。
2024-01-30 09:37:42
110
转载 QinQ概述
QinQ(802.1Q in 802.1Q)技术是一项扩展VLAN空间的技术，通过在802.1Q标签报文的基础上再曾加一层802.1Q的Tag来达到扩展VLAN空间的功能
2022-10-26 16:17:37
2122
1
原创 python自动化运维封装paramiko和pexpect
python自动化运维封装paramiko和pexpect，利用execute_command_on_device（）方法paramiko或者pexpect登录到设备并打开shell执行交互式命令。
2022-07-25 23:00:16
552
转载 Python基于Scapy的抓包协议分析器
scapy 可以使用那些协议 - CSDN原理：模仿wireshark ，利用python的scapy模块下的sniff()函数进行数据的抓取，并进行所谓的“消费者处理”即跟据OSI网络协议模型进行协议分析。将整个程序精简的概括得到最关键的一句代码： sniff(prn=lambda pkt: packet_consumer(pkt), stop_filter=lambda pkt: stop_sniff_event.is_set(), filter=fitler_entr
2022-04-11 12:51:00
2640
2
转载 理解PCIe配置信息获得最高性能
Understanding PCIe Configuration for Maximum Performancehttps://community.mellanox.com/s/article/understanding-pcie-configuration-for-maximum-performance References Why do we use PCIe? PCIe Attributes PCIe Width PCIe Speed PCIe Max Payload
2021-08-18 13:19:03
1737
转载 Linux – 檢查 PCI-E 裝置的 Speed & width
http://benjr.tw/10842在 Linux 下要如何得知 PCI-E Bus 使用的是 Gen (Generation) 1 還是 Gen2 還是新一代的 Gen 3 雖然使用 #lspci 只要可以看到目前系統所有的裝置.但是好像看不到 PCI-E Bus 所採用的是哪一代的 PCI-E. [root@benjr ~]# lspci 00:00.0 Host bridge: Intel Corporation 3200/3210 Chipset DRAM Control
2021-08-18 12:57:40
1238
转载 Linux 上的基础网络设备详解
http://www.360doc.com/content/15/0629/16/8737500_481488109.shtml常见的情况是，系统里装有一个硬件网卡，Linux 会在系统里为其生成一个网络设备实例，如 eth0，用户需要对 eth0 发出命令以配置或使用它了。更多的硬件会带来更多的设备实例，虚拟的硬件也会带来更多的设备实例。随着网络技术，虚拟化技术的发展，更多的高级网络设备被加入了到了 Linux 中，使得情况变得更加复杂。在以下章节中，将一一分析在虚拟化技术中经常使用的几种 Linux
2021-07-09 11:06:28
398
转载 发包收包利器——scapy
https://blog.csdn.net/pdcfighting/article/details/116279524?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162545045816780274151668%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162545045816780274151668&am
2021-07-07 17:35:16
277
原创 Linux显示系统状态信息
系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备# lsusb -tv # 列出所有USB设备# lsmod # 列出加...
2021-07-07 17:25:02
339
转载 Trex shell API应用示例
import loggingimport timeimport trex_root_pathfrom client.trex_client import *from client_utils.general_utils import *from client_utils.trex_yaml_gen import *from pprint import pprintfrom argparse import ArgumentParser# import scapy packageloggi.
2021-06-17 09:32:45
335
转载 VLAN基础知识
VLAN（Virtual Local Area Network）即虚拟局域网，是将一个物理的LAN在逻辑上划分成多个广播域的通信技术。VLAN内的主机间可以直接通信，而VLAN间不能直接通信，从而将广播报文限制在一个VLAN内
2021-06-15 10:27:08
1049
原创 github shortcut常用命令速查
#working area: 工作区,即自己当前分支所修改的代码，git add xx 之前的！不包括 git add xx 和 git commit xxx 之后的。#stage: 暂存区,已经 git add xxx 进去，且未 git commit xxx 的。#HEAD: 本地分支,已经git commit -m xxx 提交到本地分支的。#1. Register your account name on github.com#2. download git to your windo
2021-06-15 10:08:57
166
原创 shortcut to install gitlab安装gitlab社区版
1、配置yum源vim /etc/yum.repos.d/gitlab-ce.repo复制以下内容：[gitlab-ce]name=Gitlab CE Repositorybaseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/gpgcheck=0enabled=12、更新本地yum缓存sudo yum makecache3、安装GitLab社区版系统不应该存在以下用户， 这些用户在安装gi
2021-06-15 10:07:00
93
a股上市股票名称基础信息数据csv格式
2024-07-08
cisco开源流量测试工具trex-core-master
2024-07-03
scapy-IPv6介绍及应用实例
2024-07-03
本文档讨论与开放最短路径优先 (OSPF) 相关的最常见问题 (FAQ) 本文档仅涉及Cisco OSPF 版本 2
2024-06-23
安装好的site-packages for python39包含安装完成的robotframework和SSHLibrary
2022-06-05
TRex Statelss使用说明
2021-06-15
Juniper Network SRX SERIES UP AND RUNNING WITH ADVANCED SECURITY SERVICES
2021-06-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人