- 博客(104)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 基于深度强化学习的智能汽车决策模型
以神经网络为核心的智能体最主要的优势在于其依靠大量的数据自主学习的能力，通过数据驱动智能体可以应对各种未经历过的复杂环境。强化学习是一种经典的智能系统设计方案，其主要思想是在智能体在当前环境下进行运动后，根据环境的变化，给智能体一个反馈信号，其目的是高速智能体在上一个步骤做的怎么样，从而让智能体通过合理的行为，最大化智能体的累积回报，并在该过程做出最佳决定，深度强化学习结合了强化学习和深度学习的特点，可以使强化学习智能体可以被应用在更加广泛的领域。...
2022-08-25 21:56:31
1908
原创 torch常规训练方式
torch常规训练方式导入数据与数据增强构建模型加载模型和数据训练通过已有数据的导入进行训练导入数据与数据增强import torchvisiontrain_data=torchvision.dataset.CIFAR10( root='./', train=True, transform=transform_train, down=True)#数据增强transoform_train=torchvision.transforms.Compose([ transforms.Rando
2022-03-18 17:37:14
577
原创 tensorflow常用生成批次数据以及构建模型方式
tensorflow常用生成批次数据以及构建模型方式1.生成批次数据(1)1.生成批次数据（2）2.常见迁移学习的格式3.通用的学习类型4.预测tensorflow数据训练的初步通用格式，哼哼1.生成批次数据(1)需要os读取数据的路径然后进行处理data_dir=tf.constant(data_dir)label_name=tf.constant(label_name)#data_dir和labl都是列表格式#获取批次数据train_dataset=tf.data.Dataset.fro
2022-03-15 19:43:08
737
原创 自动泊车轨迹规划学习
影响车辆轨迹的因素是速度、前轮转角和初始的车辆航向角。使用圆弧相切的轨迹计算需要的最小泊车位大小。选用泊出的方式来代表整个泊车，泊车的轨迹统一制定为泊出的轨迹。两个圆弧的半径大小等于车辆的最小转弯半径，这样的轨迹是车辆完全可以达到的，但是曲率发生了突变。圆弧相切的轨迹虽然简单，可行性高，但是却有着中间停顿以及无法绕开障碍物的缺点，不适合作为目前智能车辆的泊车轨迹规划方法。
2023-11-12 17:49:48
586
原创 自动泊车系统设计学习笔记
目前对于自动泊车系统的研究方法通常有两种实现方式：整个泊车操作可以分为四个阶段：第一阶段车辆向前行驶进行车位识别，第二阶段车辆行驶到准备泊车时的待泊车区域，第三阶段车辆按照规划好的轨迹函数，向车位行驶，第四阶段，车辆调整泊车后的未知，使其达到规划好的泊车区域。对于轨迹控制，目前的研究方法主要分为两类：一种是基于路径规划进行泊车操作，另一种是通过驾驶员的泊车经验，对其建立模糊规则，设计一种模糊控制器。
2023-10-15 16:28:50
663
原创 基于Udacity模拟器的端到端自动驾驶决策
Udacity self-driving-car-sim是Udacity开源的一个汽车模拟器，主要用于自动驾驶模拟仿真实验。模拟器内置车辆，可以感知地图的图像和角度等关键信息。‘驾驶员’可以控制车辆的转向、油门和刹车等信息。模拟器内置两个场景，第一个场景为晴天环形公路简单场景，路面全程平整，无障碍物。第二个场景为盘山公路复杂场景，路面起伏，急弯、干扰路段较多，其中包括阴影、逆光、视线等强干扰信息。对于第二个场景，弯道约有40个，其中包括小弯、圆弯等；
2023-04-14 12:47:58
863
1
原创 Leecode刷题日记
第77题.组合给定两个整数 n 和 k，返回 1 … n 中所有可能的 k 个数的组合。216.组合总和III找出所有相加之和为 n 的 k 个数的组合，且满足下列条件：只使用数字1到9每个数字 最多使用一次返回 所有可能的有效组合的列表。该列表不能包含相同的组合两次，组合可以以任何顺序返回17.电话号码的字母组合给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。答案可以按 任意顺序 返回。给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。...
2022-08-27 23:23:45
254
转载 获取CSDN文章内容并转换为markdown文本的python
文件打包下载 链接: https://pan.baidu.com/s/1R6RcrDagwf1vWzmRCBja4w 提取码: ug6n。这篇文章主要介绍了自己写的小工具，可以直接获取csdn文章并转换为markdown格式,需要的朋友可以参考下。自己写的小工具，可以直接获取csdn文章并转换为markdown格式。...
2022-08-27 10:57:22
747
原创 残差神经网络(ResNet)
残差神经网络的主要贡献是发现了退化现象，并针对退化现象发明了快捷连接(shortcut connection)，极大的消除了深度过大的神经网络训练困难问题。
2022-08-26 17:44:52
1565
原创 DDPG算法
确定性测了利用off-policy学习方法，整个学习过程采用AC框架，Actor行动策略采用随机策略，以保证充足的探索，Cristic评估策略是确定性策略，利用函数逼近方法估计值函数。Actor:参数更新方式是基于梯度上升的，该网络的损失函数是从cristic网络中获取的Q值的平均值，在实现的过程中，需要加入负号，即最小化损失函数，来与深度学习框架保持一致。也就是，当初始状态已知，使用确定性策略所产生的轨迹永远是固定的，智能体无法探索其它的轨迹或者访问其它的状态。DDPG全称深度确定性策略梯度。...
2022-08-26 15:43:37
793
原创 DQN算法
深度神经网络作为有监督学习模型，要求满足数据独立同分布，通过强化学习采集的数据之间存在关联性，利用这些数据进行寻览，神经网络表现不稳定，而经验回放可以打破数据之间的关联。在强化学习过程中，智能体将数据存储到一个数据库中，再利用均匀随机采样的方法从数据库中抽取数据，然后再利用抽取的数据训练神经网络。实际情况中，大部分问题都有巨大的状态空间和动作空间，建立Q表，内存是不允许的，而且数据量和时间开销都是个问题。采用神经网络来表示Q函数，每层网络的权重对应的就是值函数。(1)DQN利用深度卷积神经网络逼近值函数。.
2022-08-26 12:40:02
163
原创 Q-learning和Sarsa
Q-Learning的目的是学习特定state下，特定action的价值。是建立一个Q-table，以state为行、action为列，通过每个动作带来的奖赏更新Q-table。是异策略，行动策略和评估策略不是一个策略。
2022-08-26 12:01:22
142
原创 Digkstra和A*
全局路径规划的任务是根据已知的全局地图先验信息，找到一条符合所设计指标的可行路径。常见的全局路径规划算法分为两种：(1)基于搜索的算法(2)基于采样的算法(不需要对环境进行建模)基于采样的规划算法是一种不同于搜索算法的规划算法，大多数搜索的算法只能解决低维空间的路径规划问题，往往会导致高维空间的维度灾难。...
2022-08-25 23:39:50
751
原创 基于DDPG的TORCS自动驾驶训练笔记(window实现)
1.1 官网下载torcs安装包直接点解exe安装即可链接:1.2 下载patch并替换到torcs的安装目录中链接:1.3 进入到practice界面的configure race会出现scr_server，则torcs安装成功。
2022-08-13 00:39:18
1478
1
原创 轨迹规划五次多项式子-对换道时间进行优化
只考虑两个目标然后对代码进行优化%j为为目标函数%包含两个约束条件分别是换道时间和换道加速度，通过舒适性和效率进行约束clcclear allk1=0.5k2=0.5%j=(k1/4)*abs(ay)+(k2/6)*tfd=3.75t_all=10%总的时间周期tf=0:0.01:(t_all);%从总的时间周期中取出换道时间tflen=length(tf);j=zeros(1,len);%每个换道时间计算的j值for i=1:len t=0:0.01:tf(i);
2022-05-15 15:44:09
1095
1
原创 SVM训练NGSIM数据集换道决策
SVM根据提取的特征数据文件进行训练#!/usr/bin/env python# coding: utf-8# In[1]:from sklearn import svmimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import KNeighborsC
2022-04-26 11:19:12
1036
1
原创 NGSIM数据集提取换道前4s周围车辆的特征数据
换道#!/usr/bin/env python# coding: utf-8# In[1]:import numpy as npimport pandas as pdimport randomf=pd.read_csv("./CL_train41.csv")# df=pd.read_csv("/home/mt/learn/NGSIM数据处理/csv/80/4:00-4:15/CL_train41.csv")ff=pd.read_csv("./trajectories-0750.csv
2022-04-26 11:16:30
1564
2
原创 NGSIM数据集处理-添加标签、特征标准化
添加标签对向左向右换道数据添加不同的标签#!/usr/bin/env python# coding: utf-8# In[1]:import csvimport pandas as pdf2=pd.read_csv("./CL_train41.csv")f2# In[2]:# TR_row=[]# for i in range(len(f2)):# if i==0:# continue# else:# if f2['
2022-04-26 11:13:25
1037
2
原创 中兴捧月RAW图像去噪训练代码
主要使用pytorch进行训练将图片裁剪为四个import torchfrom torch.utils.data import Datasetimport torch.utils.data as Dataimport numpy as npimport osimport rawpyfrom unetTorch import Unetimport torch.nn.functional as Fdevice = torch.device("cuda" if torch.cuda.is_a
2022-04-15 18:43:23
2354
11
原创 ZTE捞月比赛
官方代码test-TFimport osimport numpy as npimport rawpyimport tensorflow as tfimport skimage.metricsfrom matplotlib import pyplot as pltfrom unetTF import unetimport argparsedef normalization(input_data, black_level, white_level): output_data =
2022-04-13 16:31:11
241
原创 合并两个排序的链表
输入两个递增排序的链表，合并这两个链表并使新链表中的节点仍然是递增排序的。递归class Solution(object): def mergeTwoLists(self, l1, l2): """ :type l1: ListNode :type l2: ListNode :rtype: ListNode """ if not l1: return l2 if
2022-04-12 19:04:20
196
原创 莫烦python学习笔记1
什么是Q LearningQ Learning也是一个决策过程小例子用tabular Q-learning的方法实现一个小例子，例子的环境是一个一维世界，在世界的右边有宝藏，探索者只要得到了宝藏尝到了甜头，然后以后就记住了得到宝藏的方法，这就是他用强化学习所学习到的行为。-o---T# T 就是宝藏的位置, o 是探索者的位置Q-learing是一种记录行为值（Q value）的方法，每种在一定状态的行为都会有一个值Q(s,a)，就是说行为a在s状态的值是Q(s,a).s在上面的探索游戏中，就
2022-04-11 21:19:51
761
原创 深度强化学习的挑战（多智能体强化学习）
样本效率强化学习中一个样本高效或称数据高效的算法意味着这个算法可以更好地利用收集到的样本，从而实现更快速的策略学习。**从专家示范中学习。**这个想法需要一个专家来提供有高奖励值的训练样本，实际上属于模仿学习的范畴。**基于模型的强化学习。**一个基于模型的强化学习方法一般指智能体不仅学会一个预测其动作的策略，而且学习一个环境的模型来辅助其动作规划，因此可以加速策略学习的速度。环境模型包括两个子模型：一个是状态转移模型，一个是奖励模型。学习稳定性深度强化学习可能非常不稳定或有随机性。这里的不稳定指
2022-04-11 15:51:08
1091
原创 剑指 Offer 48. 最长不含重复字符的子字符串
请从字符串中找出一个最长的不包含重复字符的子字符串，计算该最长子字符串的长度。class Solution(object): def lengthOfLongestSubstring(self, s): """ :type s: str :rtype: int """ arr=[int(ord(i)) for i in s] res=0 temp=[] for i in
2022-04-11 09:59:01
45
原创 礼物的最大值
在一个 m*n 的棋盘的每一格都放有一个礼物，每个礼物都有一定的价值（价值大于 0）。你可以从棋盘的左上角开始拿格子里的礼物，并每次向右或者向下移动一格、直到到达棋盘的右下角。给定一个棋盘及其上面的礼物的价值，请计算你最多能拿到多少价值的礼物？ def maxValue(self, grid): """ :type grid: List[List[int]] :rtype: int """ for i in range(
2022-04-09 16:16:55
43
原创 连续子数组的最大和
输入一个整型数组，数组中的一个或连续多个整数组成一个子数组。求所有子数组的和的最大值。要求时间复杂度为O(n)。class Solution(object): def maxSubArray(self, nums): """ :type nums: List[int] :rtype: int """ for i in range(1,len(nums)): nums[i]=max(nums[i
2022-04-09 16:01:57
49
原创 强化学习第一个小例子
小例子import numpy as npimport pandas as pdimport timeN_STATES=6 #1维世界的宽度ACTIONS=['left','right'] #探索者的可用动作EPSILON=0.9 #贪婪度 greedyALPHA=0.1 #学习率GAMMA=0.9 #奖励递减值MAX_EPISODES=13 #最大回合数FRESH_TIME=0.001 #移动间隔时间def build_q_table(n_states,actions):
2022-04-08 20:37:14
204
原创 轨迹跟踪控制算法-纯跟踪法、前轮反馈控制法、LQR
纯跟踪法基于当前车辆后轮中心位置，在参考路径上相ld的距离匹配一个预瞄点。假设车辆后轮中心点可以按照一定的转弯半径R行驶至预瞄点，然后根据预瞄距离、转弯半径，车辆坐标系下预瞄点的朝向角之间的几何关系来确定前轮转角。定义横向误差为车辆当前姿态和预瞄点在横向上的误差。跟踪效果将由ld决定。前轮反馈控制法（Stanley）前轮反馈控制其核心思想是基于前轮中心的路径跟踪偏差量对方向盘转向控制量进行计算。是一种基于横向跟踪误差为前轴中心到最近路径点的距离的非线性反馈函数，并且能实现横向跟踪误差指数收敛于
2022-04-08 10:12:45
4777
原创 车辆运动学和动力学模型
车辆运动学和动力学模型概述要控制车辆的运动，首先要对车辆的运动建立数字化模型，模型的建立越准确，对车辆运动的描述越准确，对车辆的跟踪控制的效果就越好。除了真实反映车辆特性外，建立的模型也应该尽可能的简单易用。车辆模型一般分为运动学和动力学模型。车辆运动学模型把车辆完全视为刚体，主要考虑车辆的位姿（位置坐标、航向角）、速度、前轮转角等的关系，不考虑任何力的影响。车辆动力学模型则需要考虑车辆和地面之间的力的影响，包括轮胎侧偏现象。在建立两种模型时，思路都是通过建立状态空间方程，以便输入控制量得到理想的状
2022-04-08 09:33:51
6509
原创 智能车路径规划-贝塞尔曲线、B样条曲线法
贝塞尔曲线法算法简介：贝塞尔曲线是应用于二维图形应用程序的数学曲线，由一组称为控制点的向量来确定，给定的控制点按顺序连接构成控制多边形，贝塞尔曲线逼近这个多边形，进而通过调整控制点坐标改变曲线的形状。算法思想：对于车辆系统，规划的轨迹应满足以下准则：轨迹连续、轨迹曲率连续、轨迹容易被车辆跟随，且容易生成。给定n+1个数据点，p0~pn,生成一条曲线，使得该曲线与这些点描述的形状相符。性质1：p0和pn分别位于贝塞尔曲线的起点和终点。性质2：几何特性不随坐标系的变换而变化。性质3：起点和终点处
2022-04-07 17:49:30
3334
原创 python树的子结构
输入两棵二叉树A和B，判断B是不是A的子结构。(约定空树不是任意一个树的子结构)B是A的子结构， 即 A中有出现和B相同的结构和节点值。class Solution(object): def isSubStructure(self, A, B): """ :type A: TreeNode :type B: TreeNode :rtype: bool """ def re(A,B):
2022-04-07 14:51:04
707
原创 智能汽车路径规划-曲线插值法、人工势场法
自动驾驶车辆的各种规划路线规划：也称为全局路径规划，涉及较广的时域和空域运动规划（轨迹规划）：路径和速度解耦：局部路径规划和速度规划横向与纵向解耦：横向规划和纵向规划曲线差值法曲线差值的方法是按照车辆在某些特定条件（安全、快速、高效）下，进行路径的曲线拟合，常见的有多项式曲线，双圆弧段曲线、正弦函数曲线、贝塞尔曲线、B样条曲线等。算法思想：曲线差值法的核心思想就是基于预先构造的曲线类型，根据车辆期望达到的状态（比如要求车辆到达某点的速度和加速度为期望值），将此期望值作为边界条件代入曲线类型进行
2022-04-07 14:37:39
2376
原创 智能汽车路径规划学习-动态规划算法、A*算法
动态规划算法动态规划时运筹学的一个分支，是求解多阶段决策过程最优问题的数学方法。各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展。当各个阶段的决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线，这样的一个前后关联具有链状结构的多阶段过程就称为多阶段决策问题。算法思想：最优化原理，把多阶段决策问题转化为一系列单阶段最优化问题。对最佳路径（最佳决策过程）所经过的各个阶段，其中每个阶段始点到全过程终点的路径，必定是该阶段点到全过程终点的一切可能路径中的最佳路
2022-04-07 11:13:22
1755
原创 智能汽车路径规划学习-Dijkstra、蚁群算法
路径规划算法全局路径规划算法：Dijkstra算法、蚁群算法、动态规划算法、A*算法局部路径规划：**多项式曲线法、势场法、贝塞尔曲线、B样条曲线Dijkstra算法狄克斯特拉算法。是一个节点遍历其余各节点的最短路径算法，解决的是有权图中最短路径问题。G=(V,E)是一个带权有向图，把图中节点集合V分成两组，第一组为已求出最短路径的节点集合（用S表示，初始时S只有一个源点，以后每求得一条最短路径，就将该节点加入到S集合中，直到全部节点都加入到S中，算法就该结束了）第二组为其余未确定最短路径的节点
2022-04-07 09:54:47
2170
原创 七月在线学习笔记2
七月在线学习笔记2第四节课 感知实战：目标检测第06 视觉定位第09 预测系统第四节课 感知实战：目标检测动态环境感知与2D Detection基于图片的检测和基于点云的检测基于图片的检测算法：位置、类别、位置修正RCNN:CNN提取特征+SVM分类，位置修正:Linear RegressionFast-RCNN:CNN提取特征+CNN分类，位置修正：CNN回归Faster-RCNN:CNN提取候选框（RPN：feature点对应的原图感受野框处生成不同ratio/scale的anchor
2022-04-06 20:56:04
791
原创 百面机器学习和百面深度学习-测试1
111.特征归一化：数据的量纲和大小不同会导致数据对模型的影响程度不同，每个特征对模型造成的影响不同。2.怎么处理类别特征：（类似于男女之类的类别）one-hot编码3.什么是组合特征，怎么处理高维组合特征多个特征组合到一起，高维组合特征进行特征降维为低维特征4.怎么有效的找到组合特征：构造决策树来寻找组合特征5.如何缓解图像分类任务数据量不足？数据增强，生成对抗网络生成数据221.准确率的局限性：正负样本数据比重不同时准确率会不准2.精确率和召回率：精确率：预测为正是正确的。
2022-04-06 20:31:50
1780
遇到难点：想用tf的map函数然后就出现问题了 然后使用torch，遇到难点维度没有办法修改
2022-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人