- 博客(93)
- 收藏
- 关注
原创 python实现DQN代码
`DQN` 类定义了一个简单的神经网络模型,包括三个全连接层。`ReplayBuffer` 类实现了经验回放缓存。`DQNAgent` 类定义了 DQN 算法,包括网络模型、优化器、经验回放缓存等部分。`select_action` 方法用于选择动作,`learn` 方法用于更新模型参数,`update_target` 方法用于更新目标网络。`train` 函数用于训练模型,`test` 函数用于测试模型。在示例中,我们在 CartPole-v0 环境上运行了 DQN 算法。
2023-02-16 15:42:15
1780
2
原创 复现BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
BadNets论文复现
2022-07-06 22:05:34
2673
1
原创 使用gnuplot画图
step1 准备数据cwnd.datstep2 创建画图脚本cwnd.gnuplotstep3 写入cwnd.gnuplot# 生成xx.eps矢量图,可以转换为.pdf等格式set terminal postscript eps enhanced size 5, 4 color solid linewidth 3 front 'Times, 32' # terminal postscript eps将图画到eps文件中; enhanced使用增强模式, size 5, 4 横纵比为5:4,colo
2022-05-19 18:19:58
1506
原创 【强化学习】多智能体强化学习框架PYMARL
简介pymarl是由英国牛津大学计算机科学系机器学习研究组WhiRL部署的深度强化学习框架,实现包括以下算法:QMIX: QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement LearningCOMA: Counterfactual Multi-Agent Policy GradientsVDN: Value-Decomposition Networks For Cooperative Mul
2022-02-10 10:00:53
4027
3
原创 【深度学习】多层感知机(multilayer perceptron,MLP)
def relu(X): return torch.max(X, 0)W1 = nn.Parameter(torch.randn(num_input, num_hiddens) * 0.01) b1 = nn.Parameter(torch.zeros(num_hiddens)) # 偏移W2 = nn.Parameter(torch.randn(num_hiddens, num_output) * 0.01)b2 = nn.Parameter(torch.zeros(num_outpu...
2022-02-10 09:59:58
1208
原创 【ns3-gym】安装
[1] protobuf-3.6.1 安装(Linux)如何编译源码目录下只有configure.ac文件和Makefile.am文件的工程如果要编译的源码没有configure文件,执行如下命令。在执行过程中遇到缺失依赖包,则用apt-get安装即可。aclocalautoconfautoheaderautomake --add-missing./configure --prefix=/usr/local/binmakemake checkmake install# wget ht
2022-01-13 15:29:54
1523
原创 tiny-dnn安装与使用
简介:轻量级神经网络开源库。适用于部署到有限计算资源设备的深度学习算法。安装:克隆源码库git clone https://github.com/tiny-dnn/tiny-dnn使用编译工具cmake生成makefile文件安装cmake工具:教程(Ubuntu 18.04下安装最新CMake及CMake简单使用)若要执行tiny-dnn里面的项目或测试单元,执行以下命令cd tiny-dnncmake -BUILD_EXAMPLES=ON -BUILD_TESTS=.
2022-01-13 13:32:06
837
1
原创 【网络仿真】ns-3与物理网络连接
step1 运行脚本src/fd-net-device/examples/fd-tap-ping.cc脚本功能:使用主机上的ns-3仿真模型和节点,ping远程主机。脚本拓扑://// +-------------------------------------+ // | host |// +-------------------------------------+ // | ns-3 simu
2022-01-07 10:26:25
1518
原创 【网络仿真】ns-3版本升级
概述:ns-3版本更新以前只知道重新下载新安装包,新学习了diff和patch文件的使用[1]。发现ns-3从旧版本升级到新版本很方便,不需要重新删除下载安装包。方法(以ns-3.33升级为ns-3.34为例)在已有ns-3.33基础之上,下载文件ns-3.33-to-ns-3.34.patch放入文件夹ns-allinone-3.33下面。在ns-allinone-3.33/ns-3.33中执行命令 patch -p1 < ../ns-3.33-to-ns-3.34.patch
2021-11-26 10:09:02
943
2
翻译 【doing PhD】Facebook:26条时间管理秘籍
45678910111213141516171819202122232425 写下杂念26 适度休息不会休息的人,也不会工作(有效休息:睡眠,冥想,运动,弹乐器;玩手机不算)共勉
2021-11-21 15:32:43
151
2
原创 【网络仿真】ns-3 tracing系统
1 trace 变量作用:追踪记录某些网络行为(如数据分组发送、接受、丢失事件)或网络指标(如TCP cwnd)。本质:C++类的成员变量,变量类型为函数指针。使用:用户先预定义回调函数callback,再通过tracing系统将回调函数与C++对象内部的函数指针(trace变量)相关联。发生特定网络事件时,ns-3调用对应trace变量,从而触发回调函数,模拟数据通过回调函数参数列表形式传递给脚本2 trace 变量配置2.1 Config::Connect()2.2 Helper类2.
2021-11-20 17:27:48
1989
原创 【网络仿真】ns-3链路与物理层
1 有线网络:PPP与CSMAns-3目前支持的有线网络底层传输协议有两个:点对点(Point-To-Point, PPP)和载波侦听多路访问(Carrier Sense Multiple Access ,CSMA)。(PPP的握手协议、以太网冲突检测 (Collection Detection) 没有被支持)PPPCSMA源码scr/point-to-pointsrc/scma作用两个结点的点对点分组传输多个结点接入总线网络助手类PointToPointHe
2021-11-20 11:56:37
1899
原创 【doing PhD】学术汇报
先介绍背景(实验室,工作)娓娓道来,有交互性有所取舍,让听众有收获提前到,调试设备前人工作和自己工作有明确区分最后调到第一页听找key point
2021-11-19 20:21:49
281
原创 【网络仿真】ns3-gym/rl-tcp
1 tcp-rl.h/cc2 tcp-rl-env.h/cc3 test_tcp.py4 tcp_newreno.py5 sim.cc
2021-09-19 13:54:31
3241
2
原创 【网络仿真】ns3-ai 安装 & 介绍
1 IntroductionYin, H., Liu, P., Liu, K., Cao, L., Zhang, L., Gao, Y., & Hei, X. (2020). ns3-ai : Fostering Artificial Intelligence Algorithms for Networking Research. Workshop on Ns-3 – WNS3 2020, 57–64. 知乎解读ns3-ai是对ns3-gym的改进,实现了内存共享,进程间通信(IPC)速度比
2021-09-13 16:43:47
3259
10
原创 【网络仿真】ns-3基础(下)
6 ns-3其他模块6.1 网络模块分组:传递的消息,模拟器基本对象。ns-3中每个分组包括一个字节缓冲区和一个Tag列表,通过Header类和Trailer类对缓冲区数据进行添加和删除。6.1.1 分组6.1.3 分组接口分组对象的公共成员函数// 1. 构造函数Packet();//用新的uid创建一个空分组,返回getuidPacket(uint32_t size);//size为0填充的有效载荷大小// 2. 添加或删除缓冲区数据void Add (Header const &
2021-09-12 22:03:49
2709
原创 【网络仿真】ns-3基础(上)
目标:看完《ns3》,重点:如何写拓扑、模块1 ns-3初识资料:ns-3官网:http://www.nsnam.org/ns-3官方开发文档:https://www.nsnam.org/releases/ns-3-34/documentation/ns-3维基百科(文档中没有的内容)、FAQ问题解答:https://www.nsnam.org/support/ns-3相关文献:https://www.nsnam.org/education/2 ns-3快速上手使用waf配置编译ns-3
2021-09-11 14:28:53
5091
5
原创 叔本华《作为意志和表象的世界》
生活在这一世界里,一个拥有丰富内在的人,就像在冬月的晚上,在漫天冰雪当中拥有一间明亮、温暖、愉快的圣诞小屋。为克服困难、阻碍而努力奋斗是人的一种需要,这道理跟钻洞之于土拨鼠为必不可少是一样的。人的幸福处境犹如一些小树林:从远处看过去,这些小树林显得很美;但靠近距离或者走进树林中以后,原先的那种美感就消失了。...
2021-09-11 11:25:05
334
原创 【论文阅读】2021年9月6日
35 Classic Meets Modern: a Pragmatic Learning-Based Congestion Control for the Internet
2021-09-06 15:24:54
572
1
原创 【网络仿真】2021年9月5日
github上克隆项目太慢解决办法首先将github上的项目Fork到自己的github仓库复制自己仓库里的下载地址在码云(gitee)上新建仓库,在最下面点击导入已有仓库,github地址黏贴进去,创建仓库然后在地址git clone码云上的仓库地址Pytorch安装(from source)# 安装依赖conda install astunparse numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing_exten
2021-09-06 08:31:06
132
原创 【07综述】Bridging machine learning and computer network research: a survey
1 整体框架2 拥塞控制ML+TCP congestion control ->improve the network performance, for example:classify congestive and non-congestive lossJayaraj, A., Venkatesh, T., Murthy, C.S.R.: Loss classification in optical burst switching networks using machine lea
2021-07-09 20:42:11
586
3
转载 【学术科研】2001年蒲慕明教授写给他实验室学生的信
lab members:Over the past several months, it has become clear to me that if there is no drastic change in the lab, Poo lab will soon cease to be a productive, first-rate lab that you chose to join in the first place. Lab progress reports over the past six
2021-06-24 19:26:49
455
1
原创 【006-RL-CC】Smart Congestion Control for Delay- and Disruption Tolerant Networks
1 基本信息属性值说明ID006Available: https://doi.org/10.1109/SAHCN.2016.7733018.作者A.P. Silva, K. Obraczka, S. Burleigh, C.M. Hirata机构University of California Santa Cruz, Computer Engineering Department, California, USA(第二个作者)加州大学圣克鲁兹分校,计算机工程系
2021-06-23 14:55:33
262
1
原创 【005-RL-CC】*Learning-based and data-driven TCP design for memory-constrained IoT
1 基本信息ID: 005Available: https://doi.org/10.1109/DCOSS作者:W. Li, F. Zhou, W. Meleis, K.R. ChowdhuryEmail: {li.wei, zhou.fan1}@husky.neu.edu, {meleis, krc}@ece.neu.edu机构:Dept. of Electrical and Computer Engineering Northeastern University Boston, U
2021-06-23 12:50:41
205
原创 【004-RL-CC】*Self-learning congestion control of MPTCP in satellites communications
1 基本信息ID:Available:作者:Emails:机构:发表会议:标题:算法:场景:2 内容概述2.1 问题2.2 方法states:actions:rewards:2.3 结果2.4 评价pros:cons:
2021-06-20 20:03:05
301
1
原创 【003-RL-CC】A deep reinforcement learning based congestion control mechanism for NDN
1 基本信息ID: 003Available: https://doi.org/10.1109/ICC.2019.8761737作者:Dehao Lan, Xiaobin Tan, Jinyang Lv, Yang Jin, Jian YangEmails: landehao@mail.ustc.edu.cn, xbtan@ustc.edu.cn, jinyangl@mail.ustc.edu.cn, yjinking@mail.ustc.edu.cn and jianyang@ustc.e
2021-06-20 15:15:09
739
1
原创 【002-RL-CC】A congestion control method of SDN data center based on reinforcement learning
1 基本信息ID: 002Available: https://doi.org/10.1109/DCOSS.2016.8.作者:Rong Jin1, Jiaojiao Li1, Xin Tuo1, Weiming Wang1, Xiaolin Li2Email: jinrong@mail.zjgsu.edu.cn机构:1 浙江工商大学; 2 Large‐scale Intelligent Systems Laboratory, University of Florida, Gaines
2021-06-19 16:26:09
247
原创 【001-RL-CC】Reinforcement learning-based neural network congestion controller for ATM network
发表会议:IEEE Proceedings of MILCOM, 1995MILCOM, Military Communications Conference无线通信会议(会议介绍相关的一篇博文)算是A类吧?标题:应用于ATM网络的基于强化学习神经网络的拥塞控制器ATM网络作者:A.A. Tarraf, I.W. Habib, T.N. Saadawidi: 001...
2021-06-19 11:52:07
250
原创 【网络仿真】 ns3-gym 安装 & 介绍
http://www.baidu.com/s?word=ns-3%C1%AC%BD%D3gym&tn=site888_3_pg&lm=-1
2021-05-05 15:53:04
4243
原创 【网络仿真】ns-3安装可视化工具PyViz&NetAnim
官方文档5 ns-3可视化工具PyViz和NetAnim1 引言NS-3 PyViz是在线模拟仿真可视化工具,使用python编写,在python和c++环境中都可以使用。使用Pyviz工具可以更加直观的看出节点间通信的效果。2 安装在ns-3的3.10版本之后,ns-3中包括了PyViz。如果是3.10版本之前sudo ./waf -d debug --enable-examples --enable-tests configure --with-pybindgen=~/home/jnba
2021-05-02 17:47:45
5729
13
原创 【科研】行文四结构
Four Core Story Structuresorder by : targeting the most to the least patient of audiences.1 OCARwhat ?O (opening) : 开头(≈abstract)C (challenge) : 问题 (≈introduction)A (action) : 做了什么R (resolution) : 结果与总结(≈conclusion)remark ?Most slowly develo
2021-04-18 15:41:28
212
原创 【莫凡Python】Tensorflow 基础构架
1 Tensorflow 基础构架1.1 处理结构Tensorflow:首先要定义神经网络结构(数据流图 data flow graphs),再把数据 (数据以张量tensor形式存在) 放入结构中进行运算和训练。即tensor不断在一个节点flow到另一个节点。Tensor (张量) :零阶张量=纯量=标量=scalar=一个数值,e.g. [1]一维张量=向量=vector, e.g. [1, 2, 3]二维张量=矩阵=matrix, e.g. [[1, 2, 3 ]
2021-04-15 17:23:49
353
原创 【调研】DRL优化网络通信领域顶会及期刊
一、通信类顶会及期刊会议A类IEEE International Conference on Communications/ ICC/ IEEE通信国际会议IEEEGlobal Telecommunications Conference/ Globecom/ IEEE全球电信会议B类International Conference on Telecommunications/ ICT/ 电信国际会议IEEE Wireless Communicat
2021-03-29 13:40:29
1489
原创 【论文阅读】经验建议
Take multiple passes through the paper.1 read the title/abstract/figures.title:abstract:figures:2 read intro/conclusions/figures/skim ralated work/skim rest.3 read but skip the math.4 read the whole thing, but skip parts that don’t make.
2021-03-29 11:29:49
150
原创 【笔记】强化学习 Reinforcement Learning (莫烦 Python 教程)
1.1 什么是强化学习?强化学习:计算机自己从尝试中学习更新自己的行为准则的算法。学习的方法:每次的action有分数,不断选择高分的action,避免低分action。1.2 强化学习方法汇总Q Learning:off-policy算法,因为里面的Q table的更新基于maxQ(s’,a’),而不是正在经历的经验。2.1 Q Learning2.2 Q Learning 简单例子import numpy as npimport pandas as pdimport t
2021-03-04 09:51:02
1957
1
原创 【Python数据处理】Pandas
Pandas相当于字典型的Numpy,可以给矩阵的下标命名。1 Pandas安装pip3 install pandas 2 主要数据结构2.1 Series(带索引的一维数组)Series的字符串表现形式为:索引在左边,值在右边。由于我们没有为数据指定索引。于是会自动创建一个0到N-1(N为长度)的整数型索引。import numpy as npimport pandas as pd#np.nan即null,类似numpy一维数组s=pd.Series([1,3,6,np.nan,.
2021-02-03 17:02:38
251
原创 【Python数据处理】Numpy
numpy安装python -m pip install numpy scipy matplotlib ipython jupyter pandas sympy nose -i https://pypi.douban.com/simple/#建议使用用户安装,将--user标志发送给pip。 pip为本地用户安装软件包,并且不写入系统目录。pandas安装python -m pip install pandas https://pypi.douban.com/simple/ ...
2021-02-02 10:30:03
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人