- 博客(134)
- 收藏
- 关注
RSS订阅原创 二维视觉尺寸测量简单流程
灰度图像只包含亮度信息，不包含颜色信息，因此数据量比彩色图像小，处理起来更加简单和快速。这对于需要实时处理大量图像数据的场合尤为重要。：在许多图像处理任务中，如边缘检测、图像增强、特征提取等，颜色信息并不是关键因素。去除颜色信息可以减少计算的复杂度，提高算法的效率。：在某些情况下，颜色可能会分散观察者的注意力，而灰度图像可以更好地突出图像的结构和纹理，使得关键信息更加明显。：在图像分析和机器视觉领域，灰度图像提供了一个统一的处理标准。不同颜色空间的图像可以通过灰度化转换到同一标准下进行比较和分析。
2024-05-10 10:06:49
703
1
原创 周鸿祎：2024大模型应用场景元年
周总提出的2024年十大AI发展趋势预测，除了红色字体部分，截止到2月末，都已经有了突破，这表明人工智能本次的爆发的发展速度，影响深度，远远超过了人们的预期。大模型成为数字系统标配，无处不在;大模型企业级市场将崛起，向深度化、产业化、垂直化方向发展;技术发展和应用层面，Agent智能体将激发大模型潜能，成为超级生产力工具;2024年将成为大模型应用场景之年，“杀手级”应用出现;根据周总公开课内容做一个简要总结。
2024-02-29 17:11:02
1100
原创 规模化强化学习的联系和区别
分层强化学习（HRL）、元强化学习（Meta-RL）、跨模态强化学习（Cross-modal RL）、多任务强化学习（Multi-task RL）是强化学习（RL）的四种扩展方法，它们都旨在提升智能体的学习效率、适应性和泛化能力，但各自关注点和应用场景有所不同。
2024-02-22 11:11:11
767
原创 规模化强化学习 — 跨(多)模态强化学习
跨模态强化学习（Cross-Modal Reinforcement Learning）是强化学习的一种扩展，它涉及到处理和整合来自不同感知模态（例如视觉、听觉、触觉等）的信息，以便智能体能够在包含多种类型感知数据的环境中学习有效策略。在跨模态学习中，“模态”指的是不同的感知或通信渠道。例如，人类可以通过视觉来观察物体的形状、通过听觉来识别声音、通过嗅觉来检测气味。在机器学习和特别是在强化学习中，跨模态学习的目的是使计算模型能够理解并整合不同模态的输入，从而使决策更加全面和精确。
2024-02-21 14:17:27
1158
原创 规模化强化学习 — 多任务强化学习
在单任务强化学习中，一个无人机的AI系统可能被训练来执行特定的任务，比如自主导航。在这个任务中，无人机需要学习如何有效地从起点飞行到终点，并避开障碍物。 举例：如果我们训练无人机在一个城市景观中从一栋建筑物飞行到另一栋建筑物，智能体的目标是学习一条路径，这条路径不仅要最小化飞行时间，还要避开障碍物，如其他建筑物和飞行中的鸟群。在单任务强化学习环境中，无人机只专注于这一特定的飞行任务，学习的策略针对的是这一单一场景和任务。 多任务强化学习中，无人机的AI系统会被训练在不同的环境和
2024-02-21 13:48:35
1336
原创 Sora介绍、机会和风险
在短至中期内视频生成模型(Sora)将成为人类工作者的辅助工具，而不是完全替代他们。这些技术可以提高效率和生产力，但仍然需要人类的监督、创意输入和关键决策。
2024-02-20 13:35:59
1126
原创 规模化强化学习 — 分层强化学习
强化学习中必须要有合适的奖励方式，引导智能体得到好的决策序列，但面对庞大的状态空间和动作空间，奖励往往是稀疏的，很多时候是无法收敛的，为了解决这个问题，可以考虑将复杂问题，逐层分解，简单化，或者说将一个大问题，分解成多个小问题。总结来说，分层强化学习提供了一个多层次的决策过程，而PPO、AC和DDPG等算法可以在这些不同的层次上被应用，无论是作为高层策略来选择子任务，还是作为低层策略来执行具体的动作。通过这种方式，可以利用这些算法的优点来处理更复杂的问题，从而提高学习效率和任务的性能。
2024-02-19 11:42:25
859
原创 规模化强化学习 — 元强化学习
某种程度上可以说人工智能来源于统计学，最初的人工智能称为，但只能在简单的分类问题中取得不错的结果，而解决了复杂的分类问题，比如说卷积神经网络的爆点-图像分类，但又受限于一对一的输入和输出，如果下一个，下下一个输出都对当前输入有影响呢，解决了这个问题，但早期强化学习以表格方式进行，存在高维灾难问题，最后被所解决，也就是解决了序列决策问题，该问题的解决在机器人中尤为重要，但同样的，不管什么方法都依赖于规模化数据的训练，但在机器人中想要取得大量的数据并不容易，所以便有了。
2024-02-19 11:20:47
1120
原创 图灵奖得主 Yann Lecun：视觉预测大模型或将突破
语言大模型(LLM)基于文本训练，但几乎已经耗尽了世界上的公开数据，从数据集上来讲，文本数据是有限的，而且LLM训练过程大概是，随机去除一段文字中的某些字，再由模型去预测缺失的字，尽管它实现了很强的泛化性，但它的预测结果仍然是从已有的数据中找出其相关联的关系结构，这种抽象层的设计很厉害，但并不见得是按照人类的认知逻辑实现的认知结果，因为人类的认知其中之一便是基于因果关系，但LLM抽象出来的关系架构，不见得符合这种因果关系。，假设人类是最优个体，那么研究人类的认知逻辑是一个重要的突破口。
2024-01-26 08:15:00
424
原创 强化学习和监督学习、无监督学习的区别
在无监督学习中，没有外部反馈，学习是通过数据本身的特性来驱动的。而在强化学习中，反馈是在智能体执行动作后由环境提供的奖励，这些奖励可能是稀疏的（不是每个动作都有奖励）、延迟的（长期效果）且通常需要智能体自己探索来确定动作的优劣。在强化学习中，智能体会基于其观察到的环境状态进行决策，执行动作，并接收环境给予的奖励（或惩罚）。而强化学习是关于连续决策的，智能体需要在一系列的时间点上做出一系列的动作。无监督学习的目标是发现数据的内在结构；：在有监督学习和无监督学习中，数据集通常是静态的，由一组固定的数据点组成。
2024-01-25 13:08:45
536
原创 运行仿真环境一般需要多大运存
对于简单的仿真，可能只需要8GB左右的RAM，对于中等复杂度的仿真可能会需要至少16GB的RAM。如果你打算进行特别高级或资源密集型的仿真，如使用深度学习进行策略训练或进行大规模并行仿真，那么32GB或更多的RAM可能是合适的。对于更复杂的仿真，如专业级的CAD（计算机辅助设计）、CAM（计算机辅助制造）、CAE（计算机辅助工程）和其他工程仿真软件，可能需要16GB、32GB甚至更多的运行内存。：如果仿真环境复杂，模拟的对象多，或者仿真的精度要求高，那么它需要更大的内存来存储所有必要的数据。
2024-01-25 10:07:59
591
原创 PX4,ROS,MAVlink,MAVROS,uROB
如果说Windows，Linux是一级操作系统，ROS就是基于Linux的一个专用于机器人的二级操作系统。可以有效实现机器人各个硬件(传感器，电机等)之间的通讯，并便于复现别人的算法，或者开发自己的算法。：把MAVLink和ROS封装在一起，这样PX4就能成为ROS的节点了，或者说他们彼此能通讯了。它是为了在PX4飞行控制系统内部的不同组件之间传递信息而设计的，例如传感器数据、飞行状态信息以及控制命令等。非研究人员可以直接用里面的算法控制无人机飞行，研究人员可以改变里面的算法二次开发。
2024-01-20 21:58:34
450
原创 Ros错误 — 找不到catkin_create_pkg
catkin_create_pkg来源于python3-catkin-pkg，但我安装了python3-catkin-pkg，最后确定是catkin和python3-catkin-pkg版本不匹配导致。：主要是上述操作中 sudo apt remove python3-catkin-pkg-modules导致缺少一些依赖。：此时缺少roscpp和rospy两个包。：删除python3-catkin-pkg，降低版本，重装catkin。：执行以上命令后，再执行最初的命令，可以创建功能包，但是。
2024-01-16 13:38:34
759
原创 ubuntu双系统安装注意事项(磁盘分区大小设置，安装Ubuntu后系统windows无法启动)
安装教程可参考2.详细安装教程视频已经给出，本文主要补充一些教程中没有详细说明的内容。
2024-01-14 13:41:30
566
原创 资源汇总（一）
：1.2.3. ：1.2.3.4.5.6.7.8.9. ：1.2.3. ：1.MuJoCo：1.2. ：1.2.3.4.5.数据集 ：1.古月居专栏2.3.4.5.6. ：1.2. ：1. :1.2. ：1.2.3. ：1. 1.2. 1.
2024-01-09 17:07:35
1094
原创 VLM，LLM等大模型如何应用于机器人控制(以强化学习为例)
再将这个信息传递给LLM模型，由它决定，接下来做什么任务合适，再将相关信息全部传递给DQN(一种强化学习模型)，由该模型输出相应的动作A(如机械臂不同关节移动的角度，移动机器人的移动方位等)，执行相应动作后，会出现新的状态S'，再将这个状态传递给VLM，重新对当前状态进行语义分析，并通过LM模型和之前LLM模型给出的任务指示进行对比，得到语义之间相关性的高低，最终给出奖励R，再将奖励R传递给DQN，不断调整策略Π。：视觉语义模型，准确识别图中有什么，处于什么状态，以及不同物体之间的关联。
2024-01-06 21:49:51
1194
原创 2023机器人行业总结，2024机器人崛起元年（具身智能）
2023年机器人相关软硬件技术相继突破，并在学术界和工业界都有了不同程度的落地，在此基础上机器人产业成为金融圈新的价值洼地，不难预测，2024随着技术的进一步发展和资本的加持，以及市场的需求，机器人产业将迎来更大的发展，这或将成为，机器人发展史上真正的崛起元年。2).高仿真模拟器效果不断加强，甚至可以将真实世界的数据扩大，创造更大的数据集。，2023年最热门的创业赛道便是人形机器人，优必选更是成为人形机器人上市第一股， 可以说2023年是机器人开启智能化的元年，而2024则将成为机器人全面崛起的元年。
2024-01-02 16:54:30
575
原创 2024人工智能发展方向(机器人领域)
多模态的的融合，LLM（大语言模型），VLM（视觉语言模型）等大模型的融合，让机器人对任务理解，环境感知，控制决策能力，有了全新的进展，2024年将会有更深入的研究，并且在此基础上，会有模型小型化的落地研究。大模型的进展让通用人工智能有了未来，但美国芯片的制裁，也让我们理解，人工智能这类高新技术的竞争犹如新型战场，想要长久发展必须软硬件全部自主创新，此外多模态融合也将会是通用人工智能的基石，并且为了保证人工智能的安全性，可解释性人工智能也将成为研究的重点。尽管通用人工智能离落地尚远。
2024-01-02 15:20:54
941
原创 具身智能主流方法：模仿学习，和强化学习
倾向于从优秀的个体展现出来的技能中快速学习，并获得泛化能力，但模仿学习目前学到的仅是相同技能的不用应用，比方说，“放苹果”泛化到“放梨”，“放牛奶”，都是“放”这个技能的不同应用，但模仿学习不能从技能“放”泛化到技能“拿”。：类比于人，强化学习适合开疆拓土，不断在新的环境中学习新的技能，并不断学习，把这项技能学到最优，而模仿学习，适合复制强化学习最优的个体，以便大规模应用，或者说，强化学习是个将军，模仿学习是教官和士兵。强调在与现实世界交互过程中持续学习，这让强化学习具有不断重新学习新的技能的可能。
2023-12-27 23:54:29
642
原创 人脸识别代码测试
尝试使用OpenCV的FaceRecognizer读取一个文件时遇到了错误。"，程序无法找到或打开指定的文件。这里就是找不到训练保存的yml，仅训练了一次，文件名为7.yml，我需要打开这个文件。： opencv-python包版本迭代，部分变量名不同版本不同，换成相应版本即可。这个错误表示你试图将一个空字符串（''）转换为整数，这是不可能的。解决：建立penson文件夹，并放入需要测试人的图片(jpg格式)不是一个空字符串，或者捕获这个异常并适当地处理它。错误分析：只有代码，没有人脸文件。
2023-12-21 10:30:25
449
原创 可解释性分析（XAI)常用方法
SHAP是一种博弈论方法，可用于解释任何机器学习模型的输出。它使用博弈论中的经典Shapley值及其相关扩展将最佳信用分配与本地解释联系起来。
2023-12-15 17:36:47
173
原创 马尔可夫链蒙特卡罗方法，变分贝叶斯推断和巴纳赫不动点在强化学习中的应用
具体来说，我们可以将值函数或策略看作是一个映射，然后通过证明这个映射是一个压缩映射，就可以根据巴纳赫不动点定理得出这个映射存在唯一的不动点，也就是说，我们的迭代算法会收敛到这个唯一的不动点。需要注意的是，变分贝叶斯推断方法在强化学习中的应用需要设计合适的变分分布和优化算法，以保证其在实际问题中的有效性和效率。首先，我们需要明白巴纳赫不动点定理的基本内容：在一个完备的度量空间中，如果有一个压缩映射（即，该映射将任意两点之间的距离缩短），则该映射存在一个唯一的不动点，即一个点，映射到自身。
2023-12-06 11:27:54
215
原创 什么是Ros(四) - ros1和ros2的区别
参考：【ros/ros2】ros1和ros2的区别-要点记录_shuaixio的博客-CSDN博客
2023-12-02 16:58:30
86
原创 什么是Ros（一）- 名词解释和架构概述
ROS(Robot Operating System，机器人操作系统)操作系统：任何其他软件都必须在操作系统的支持下才能运行。操作系统是用户和计算机的接口，同时也是计算机硬件和其他软件的接口。操作系统的功能包括管理计算机系统的硬件、软件及数据资源，控制程序运行，改善人机界面，为其它应用软件提供支持，让计算机系统所有资源最大限度地发挥作用，提供各种形式的用户界面，使用户有一个好的工作环境，为其它软件的开发提供必要的服务和相应的接口等。Ros和其他的操作系统最大的区别：进程之间的通信。
2023-12-02 15:56:07
1191
原创 人工智能三要素：算法、算力、算据（数据）
由ai直接产生，或者和人类，和其他事物交互产生。有更即时的反馈，更快速地纠错，以及更贴合实际应用的数据价值，有利于高校训练。这就犹如在一堆0-100分的答案中找最优答案，和在一堆80-120分的卷子中找最优答案，显然后者更快，效果更好。：互联网已经产生的，但是斑驳纷杂，从算法原理上讲，难以找到需要注意的数据。
2023-12-01 00:58:22
1721
转载 软体机器人
传统方法将传感器集成于执行部件端的模式有效解决了上述对加工工件尺寸有较大限制的问题，但力传感器体积过大、重量较重，将会给执行部件（刀具、磨盘等）引入更大的载荷和更加狭小的工作空间，并且多数情况下需要对原有的加工装置进行全面改造，需要耗费大量的时间和费用，加工效果也很难维持在原有的水平。3) 原位在线检测。在表面形态的检测过程中，柔性传感器与被测表面发生相对运动，由于不同表面形态之间的差异，柔性传感器会发生不同程度的振动，并生成不同信号，通过对信号的分析，即可对表面形态的相关参数量进行实时计算和判断。
2023-11-29 22:55:00
108
原创 强化学习 - 策略梯度（Policy Gradient）
强化学习常见的方法为基于值函数或者基于策略梯度。值函数：值函数最优时得到，即状态s下，最大行为值函数maxQ(s,a)对应的动作。总结：用值函数Q求解连续空间action，也能用但不好用，所以出现了，策略梯度法。
2023-11-10 18:27:51
264
1
原创 强化学习 - DQN及进化过程（Double DQN,Dueling DQN）
DQN相对于Q-Learning进行了三处改进：1.引入神经网络：如下图所示希望能从状态A中提取Q(s,a)2.经验回放机制：连续动作空间采样时，前后数据具有强关联性，而神经网络训练时要求数据之间具有独立同分布特性，简单理解，就是前后输入的数据之间要有独立性，所以对于连续空间数据，采用随机采样法，3.设置单独目标网络：下式中θ为权重参数，为目标网络，为目标网络和当前网络的差值，利用该误差不断更新θ。
2023-11-10 16:30:00
239
原创 如何写好一篇学术论文
选择几篇和自己方向相关的论文，去分析论文结构、相关工作、研究方法、实验设计、绘图风格和结论分析等。一个醒目悦耳的标题可以极大提高读者的兴趣，科技论文的题目往往是短语或完整的句子，可以发挥自己的想象力，将本研究最核心的发现用最简练的词句表示出来（标题精简但又新颖这里注意选择必要的关键词时，要便于潜在读者进行检索，进而提高自己文章的影响力（高度总结，反映文章所用的方法有些杂志对题目的字数有明确限制，需要格外注意（字数限制。
2023-11-05 23:35:07
958
4
原创 强化学习代码实战(3) --- 寻找真我
本文内容来自于南京大学郭宪老师在博文视点学院录制的视频，课程仅9元地址，配套书籍为深入浅出强化学习编程实战 郭宪地址。我们发现多臂赌博机执行一个动作之后，无论是选择摇臂1，摇臂2，还是摇臂3之后都会返回原来的状态，也就是说它的状态并没有改变，而右边的寻金币游戏，从1到2，智能体执行动作之后位置（状态）发生了变化，而强化学习就是寻找当前状态下最优的动作，或者说不同状态下最优动作合集（策略）。从下图右可以看出，P和R都和s，a有关系，无模型就是因为缺P和R。
2023-10-25 21:10:03
317
原创 强化学习代码实战(2) --- 多臂赌博机
本文内容来自于南京大学郭宪老师在博文视点学院录制的视频，课程仅9元地址，配套书籍为深入浅出强化学习 编程实战 郭宪地址。
2023-10-24 12:02:16
181
原创 强化学习代码实战---多臂赌博机---AttributeError: ‘EntryPoints‘ object has no attribute ‘get‘
配置window10，python3.7，tensorflow1.14.0，运行第一节多臂赌博机代码时遇到AttributeError: ‘EntryPoints‘ object has no attribute ‘get‘。
2023-10-24 11:05:53
315
原创 强化学习问题（env_tracker）(2) ---FutureWarning: Passing (type, 1) or ‘1type‘ as a synonym of type is deprec
运行基于tensorflow1版本写的基于强化学习的纸牌游戏，遇到以下错误。
2023-10-22 18:33:50
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人