- 博客(19)
- 收藏
- 关注
RSS订阅原创 SAC (Soft Actor-Critic)-spinning up实战详解
SAC （Soft Actor-Critic）算法在spinning up上的实践
2023-05-13 16:24:58
1126
原创 GTX1080 + python 3.8 + pytorch 1.12 + cuda 11.6环境配置
搞了台二手机器，有张GTX1080的显卡，虽然也比较拉跨，但是比之前的纯cpu训练可能要给力点，所以配置了下环境，记录下一些关键过程。要注意在所有安装之前，
2023-05-03 15:47:21
2198
1
原创 CartPole 强化学习详解2 - Policy Gradient
也叫Reinforce算法，原始实现：examples/reinforce.py at main · pytorch/examples · GitHub参考代码：https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflow/blob/master/contents/7_Policy_gradient_softmax/RL_brain.py1. 基本原理强化学习 # Policy gradient_真·skysys的博
2022-05-09 22:57:48
959
原创 自动驾驶参考资料
1. Apollo推荐技能树Apollo 自动驾驶工程师技能图谱 - 编程开发技能图谱 - 文江博客自动驾驶技术如何升级？这份技能图谱为你指路_搜狐汽车_搜狐网2. 经典基础3. 深度学习4. 强化学习...
2022-05-04 10:45:20
781
原创 AI领域基本语法笔记
1. Numpy1.1 np.hstack & np.vstacknp.hstack: horizontal，横向组合数组，往右排 np.vstack: vertical，纵向组合数组，往下排numpy中的hstack()、vstack()、stack()、concatenate()函数详解 - 云+社区 - 腾讯云1.2 np.random提供了各种随机数的函数，涵盖整型、浮点型、指定值域、多维随机。详见：NumPy – np.random的使用 – X.YU有些函
2022-05-04 10:20:30
282
原创 CartPole 强化学习详解1 - DQN
工作中常会接触到强化学习的内容，自己以gym环境中的Cartpole为例动手实现一下，记录点实现细节。1. gym-CartPole环境准备环境是用的gym中的CartPole-v1，就是火柴棒倒立摆。gym是openai的开源资源，具体如何安装可参照：强化学习一、基本原理与gym的使用_wshzd的博客-CSDN博客_gym 强化学习这个环境的具体细节（参考gym源码cartpole.py）：action只有向左向右两个选择，离散量观测值有4个，x, x_dot, thet
2022-05-03 21:07:51
9682
13
原创 OSQP-多项式路径平滑
参考：二次规划（QP）样条路径优化_shawfy的博客-CSDN博客_qp二次规划主要是参考上面这篇文章实现了下代码，几个要点记录一下：1. 这里的建模是在Frenet系下，用SL之间的多项式关系进行建模的。2. 我自己建模过程中两个重要概念：knot（分段点，或称为锚点）：要用knot - 1个多项式来表征整条路径。 segment（细分小段，即每两个锚点之间还要多分几个小段）：主要用来画曲线 & 设置边界条件的。3. 我自己实现过程中，目标函数、边界条件里只考虑到二阶信息，二
2022-02-05 21:10:34
1891
1
原创 WSL安装可视化GUI
主要参考：WSL安装可视化GUI_L141210113的专栏-CSDN博客_wsl 可视化vcxsrv连linux黑屏,通过 VcXsrv 在 WSL2 上使用图形化界面（xfce4）_苏星河牛通的博客-CSDN博客解决Windows10下自带的Ubuntu20.04使用VcXsrv黑屏的问题_定位非常的精准的博客-CSDN博客_vcxsrv黑屏1. 安装VcXsrv在windows环境下已经安装了WSL，然后根据参考资料1安装VcXsrv2. 配置VcXsrv2.1
2022-02-04 10:00:20
1643
原创 osqp-eigen使用记录
1. 环境配置参考这两篇文章安装osqp和eigen3（都装在了/usr/local下）：18.04安装osqp-eigen_夜半__的博客-CSDN博客ubuntu 安装使用eigen3 (两种方式)_樱桃木的博客-CSDN博客其中osqp可以用build/out/osqp_demo进行测试。osqp-eigen的安装也是参照第一篇参考文章。测试方式需要手动对example里给的MPCExample进行编译运行，最后是可以成功实现的。...
2021-09-21 17:08:31
3917
8
原创 windows环境Visual Studio2019, C++ & matplotlib
1. win10环境，安装VS2019，python 3.6.6（从官网上装），还有matplotlib-cpp,https://github.com/lava/matplotlib-cpp。之前python试过用anaconda装，装完之后一直跑起来有问题，找不到python，所以卸掉直接裸装python。2. 安装numpy和matplotlib，直接pip3 install就可以3. 添加python环境变量，在系统变量的Path里添加。参考：https://blog.csdn.net/qq.
2021-09-04 21:37:23
1779
原创 AI算力扫盲
1. 基本概念：OPS（Operations Per Second）：处理器运算能力单位， 1TOPS（Tera）：每秒钟可进行10^12操作； 1GOPS（Giga）：每秒钟可进行10^9操作； 1MOPS（Million）：每秒钟可进行10^6操作； FLOPS FLOPs2. 参考：https://zhuanlan.zhihu.com/p/337618803...
2021-07-02 17:12:44
6618
原创 最优化理论与方法2--算法篇
算法篇1. 无约束规划研究无约束优化问题，对研究各类优化问题都有重要意义。因为可以有多种方法将各类等式或者不等式约束的优化问题转换为无约束优化问题，比如利用KKT条件（乘子法），罚函数法，序列二次规划等。（1）梯度下降 （Gradient Descent Method）：泰勒一阶展开分析可得。优点：通俗易懂，且只算梯度。缺点：收敛速度慢，线性收敛，震荡。最速下降：不仅包括迭代方向，还包括的迭代步长的计算。（2）牛顿/拟牛顿 （Newton Methods/Quasi-Newton Metho
2021-06-13 08:14:51
3162
原创 最优化理论与方法1--理论基础
读书期间没有学习过最优化理论相关的课程，因工作需要了解，机缘巧合在B站上看到了上财崔雪婷老师的课程，听了一下讲的挺不错，在此结合网络资源记录一些笔记，供自己回顾使用。因自己只为工程使用，并不求数学严谨，只求通俗易懂。附上崔老师的课程链接。https://www.bilibili.com/video/BV1m7411u72b?from=search&seid=4862713296099276815。另参考书为《最优化理论基础与方法》第二版（王燕军）1. 基本概念凸集：一个集合中任意两个点.
2021-05-23 14:25:02
4176
原创 再学李宏毅-1-机器学习能做什么？大家都在做什么
人工智能能做到哪些工作，李老师已经在课程介绍了讲的比较清楚了。以此为基础，给出该领域一些主要工作想要解决的问题和方法，持续更新。
2021-01-17 22:19:44
227
1
原创 人工智能基本词汇 & 术语
Regression：回归。原指分析不同组随机变量之间的（如X(x1, ... xn)和 Y(y1, .... yn)）统计分析方法，是一种建模方法Logistic Regression：逻辑回归。是线性回归的一种推广，从功能角度来说常用于分析分类问题；从数学模型角度来说，因变量会多多一次非线性变换，将因变量映射成分类概率。...
2021-01-17 10:28:05
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人