- 博客(130)
- 收藏
- 关注
RSS订阅原创 云计算任务调度仿真05
在最新版本的 Matplotlib 中，set_color_cycle 方法已经被弃用，取而代之的是 set_prop_cycle 方法。运行launcher，这是基于TensorFlow1版本的，所以最好安装TensorFlow1的虚拟环境运行，会更顺畅一点，可以直接在CPU上跑。所以，与其这样不断的递归的解决问题，倒不如直接对matplotlib进行降级处理，满足它编写程序时所需的包版本要求，这是最简单快速的解决方案。不过CPU还是慢的，我这已经跑298次了，还没结束，几个小时了。
2024-01-22 21:46:26
547
原创 pycharm中无法使用anaconda虚拟环境
里面有一个选项“use conda package manager”，这个默认是勾选的，但是勾选了的话，就看不到conda虚拟环境中安装的新的包，只有一些创建环境时已有的包，所以把它取消掉就有了你安装在环境中所有的包。anaconda里创建了虚拟环境，然后在虚拟环境中明明安装了TensorFlow1.12，但是到pycharm中使用anaconda的虚拟环境时，就是没有TensorFlow1.12，注意下面这幅图。
2024-01-22 12:22:19
1148
原创 云计算任务调度仿真03
前面陆续分享了基于policy gradient和DQN实现的深度强化学习任务调度仿真，上次的DQN没有实现fix-qtarget和experience replay，这次再分享实现了这两个方法的DQN任务调度仿真。代码是基于TensorFlow1.x实现的，可以在此基础上再修改优化，完整的代码可根据名字去GitHub上下载获取。经验重放，定义存储和存放次序，这里也可以自行修改。在学习过程定期更新网络。
2024-01-11 13:35:13
736
2
原创 云计算任务调度仿真02
前面已经分享过一个仿真项目，但是基于policy gradient方法实现的，考虑到许多人从零到一实现DQN方法有点难度，所以这次分享一个基于DQN实现的仿真项目，非常简单。这里之所以简单主要得益于它是用pytorch实现的，而pytorch各个版本之间差异不是非常大，可以互用。然后构建DAG，因为云计算中的任务大多是具有关联性的，是有向无环图。构建DQN的智能体，有Q值的计算和更新，才是基于值的强化学习方法。环境类，定义云计算资源，以及调度过程中状态的转移，训练过程等等。我添加了打印损失函数值的代码。
2024-01-10 13:27:04
1220
1
原创 云计算任务调度仿真01
这个是1和2的大版本差异导致，tensorflow._api.v1.random，这种代码的出现，一般就是为了在2值应用1的代码，但往往会有许多问题，如果我们的TensorFlow版本就是1的，那直接tf.categorical就行了。这个代码以来的是比较老的TensorFlow版本，我们都知道TensorFlow1.x和TensorFlow2.x之间有很大差别，但其实，不同的1.x之间也有许多差异，可能就是版本的不同导致代码跑不了。云计算任务调度的研究大多数以来仿真研究，现梳理一些做过的代码研究。
2024-01-09 18:36:55
556
原创 大坑-MATLAB图片转存时需注意的点
MATLAB中图片的保存和转存有一个巨大的陷阱，我也是在吃了大亏后发现的，正常情况下，MATLAB跑完实验，生成的图片如下放大后这样可以方便修改坐标轴标题，最初我就是因为想修改坐标轴标题才给它放大的，因为不放大是这样的如图中标志的，显示不出来，没法修改所以只能放大后修改。
2023-10-16 14:18:12
1590
原创 gym原来是这样用的
总是报没有该环境，思想半天，然后发现这是自己写的环境，需要到gym中去注册才能使用。构建gym环境可以参考。今天down了一个深度强化学习的程序，但是试来试去总是跑不成功，第一句就出问题了。这位大佬写的非常详细，我按着流程操作了一遍就完成了。
2023-10-16 14:03:30
1246
原创 笔记本电脑没有麦克风，声音无法找到输入设备
这让我想起来上次电脑没有热键的问题，所有问题的终极解决方案，都在源头那里，网上的这些东西都是大家从源头那里吸收消化过的，各自的问题都不一样，借鉴意义并不大。就这么简单，但我一开始却走错了路，绕了一大圈，又是更新系统又是进入策略组什么的乱七八糟，耽误时间，又浪费流量。新买的电脑没有扬声器，电脑声音没有输入设备，在开腾讯会议的时候才发现竟然有这个问题。根据自己电脑型号选择，型号见笔记本底部，我这里就是缺了声卡，因此，download。网上找原因，哎，找了一大堆每一个靠谱的。所以，正确的打开方式，进入联想官网。
2023-09-20 19:45:50
2240
原创 TensorFlow与pytorch特定版本虚拟环境的安装
TensorFlow与Python的版本对应，注意，一定要选择对应的版本，否则会让你非常痛苦，折腾很久搞不清楚原因。建议使用国内镜像源安装没有GPU后缀的就表示是CPU版本的，不加版本就是最新还可以指定版本GPU版本完成虚拟环境配置以及包的安装就可以运行程序啦如下，成功了pytorch也是一样，但是要注意去pytorch官网上进行版本的匹配和选择这里有不同模块的版本对应，一定要看清楚了再安装下载，不然很容易失败。torchvision是专门做视觉的，如果不需要可以不下。
2023-09-11 10:38:25
2238
1
原创 conda常用命令及问题解决-创建虚拟环境
TensorFlow与Python的版本对应，注意，一定要选择对应的版本，否则会让你非常痛苦，折腾很久搞不清楚原因。pytorch也是一样，但是要注意去pytorch官网上进行版本的匹配和选择。通过创建虚拟环境，就可以运行任何不同版本的程序了，再也不担心版本问题啦。注意，以上语法均是临时使用清华源加速，若想默认，则使用以下语句设置。没有GPU后缀的就表示是CPU版本的，不加版本就是最新。激活环境，这也是从base环境进入新创建环境的命令。conda包清理，许多无用的包是很占用空间的。
2023-09-11 09:36:56
377
原创 使用Photoshop证件照制作
分辨率350dpi尺寸大小26mm×32mm像素大小358像素（宽）×441像素 颜色模式24位RGB真彩色。然后保存为PNG格式，如果你想要高清的话。3，好了，下面开始修修人脸，变白一点，如果你本来就很白就算了。1，抠图，用魔棒工具三秒钟搞定，如果不太复杂的图像的话。半价，对比度，移动边缘调整到合适的值，可以实时显示效果。主要修改通道为绿，混合为滤色，不透明度为合适的值即可。利用Photoshop从普通照片制作出证件照。然后输出到图层蒙版，就自动实现了切割，即白底。2，右键->调整边缘。
2023-06-08 14:47:09
1043
原创 CSDN无法登录，无法发布文章，无法进入博文管理解决
感觉这应该是一类问题，即网络正常，其他网站都能访问，就是某个网站访问出现问题，应该就是DNS，系统代理的问题，更换使用新的代理就可以了，总之代理是解决问题的方向，朝这个方向走就对了。所以，如果TensorFlow2.x改起来过于复杂或者没法改，索性你就使用TensorFlow1.x老版本，就是重新装一个虚拟环境的事情，也不复杂，比大量修改代码简单多了。本来今天早上兴致勃勃，五点多就起来学习了，每次当你想努力的时候就会给你迎头棒击，这也是一个需要跨越的坎，或许有一天你冲破这些阻碍的时候，就不会失望了。
2023-05-31 08:18:09
1095
原创 你若在患难之日胆怯，你的力量便微小
如果你在做一件事情之前就过分放大它的困难，这就会逐渐降低自己去做它的动机和动力，还没开始你就已经削弱了自己的行动能力，在气势上就已经输了。不要害怕困难，勇敢的去面对问题，解决问题，你就会在气势上更盛。1、什么事务（1）事务是数据库操作最基本单元，逻辑上一组操作，要么都成功，如果有一个失败所有操作都失败（2）典型场景：银行转账。
2023-05-24 17:35:51
751
原创 强化学习路线规划之深度强化学习
学到如今，我实在明白了一个至关重要的东西，那就是目标很重要，有了清晰的目标我们就知道该做什么，不至于迷茫，否则每天都在寻找道路。所以我一直在规划这样一条道路，让想学习的人可以抛下不知道该怎么做的顾虑，不至于每天迷茫在该怎么做当中。力量是宝贵的，应该被花在真正知识的学习上，而不是被消耗在寻找道路的迷惘上。所以，我自己也一直在探索学习方法，如何不偏离主线。其次，学习一样东西，一定要先弄清楚其本源，要搞明白它是什么，原理、机制、应用…在此基础之上去学习就会少走许多弯路。今天跑代码时突然遇到一个问题结合代码。
2023-05-22 00:30:05
1605
1
原创 强化学习代码规划之深度学习预备
因此，AutoEncoder通过编码器和解码器的组合，可以学习到数据的紧凑表示，该表示捕捉了数据中的关键特征。虽然编码器和解码器都涉及维度的变化，但它们的目的是通过学习有用的数据表示来提供更高级别的抽象和数据重建，而不仅仅是简单地降低和增加维度。通过解码器的工作，AutoEncoder可以通过低维表示重新生成与原始数据相似的数据，实现数据的重建或还原。在训练过程中，AutoEncoder的目标是最小化重构误差，使得解码器能够尽可能准确地重建原始输入，同时编码器能够学习到数据的有用特征。
2023-05-19 20:49:54
408
原创 强化学习路线规划之深度学习代码练习预备
前面已经练习过神经网络的相关代码，其实弄明白了你会发现深度学习其实是个黑盒，不论是TensorFlow还是pytorch都已经为我们封装好了，我们不需要理解深度学习如何实现，神经网络如何计算，这些都不用我们管，可能最需要我们自己操心的就是逻辑，我们自己算法的逻辑，即如何借助这些工具实现我们的想法。
2023-05-19 17:24:00
620
原创 为什么ChatGPT等AI应用使用强化学习而不是监督学习
我也是无意中入了强化学习的领域，因为我原本研究云计算的任务调度，我发现近几年的工作都是基于强化学习的。所以感觉强化学习一定是大趋势，恰好现在ChatGPT这些人工智能产品出现，更是助推了强化学习的风。那么为什么ChatGPT使用强化学习而非监督学习，其实监督学习在图像识别等等人工智能应用中已经非常成熟了。我的理解是：监督学习只会墨守成规，而强化学习会创新，如乔布斯总是说“用户不知道自己想要什么，我们要为其创造出来，引导其使用”，这一点从乔布斯引导用户使用鼠标到全触屏手机得到了明显的体现。
2023-05-18 11:03:54
272
原创 强化学习代码路线图之神经网络预备
曾经，我学习的时候一直希望自己能够把控全局，希望能够有清晰的思路，于是我就花费大量时间精力来维护一个学习系统，然而收效甚微，甚至起反作用，我根本搞不懂该怎么做，所以总是做错，所以我决定不再过分苛求全局最优，这样根本是做不到。针对性的解决问题才是王道，不要浪费时间在无意义的事情上话不多说，直接练习代码，注意，这是对深度学习的一个准备工作，因为前面已经学习了强化学习，所以要想会深度强化学习，得对深度学习的知识有所准备。
2023-05-17 11:09:56
103
原创 强化学习路线规划之深度强化学习代码
虽然说很多代码都有问题，但是不管它们，我不是为了去debug，紧盯住自己的目标，目标是整理出一条通常的强化学习之路，让自己以及看到这些博客的大家在学习的时候能够少走一些弯路。所以从q-learning和Sarsa开始，这些基础代码不需要借助框架，所以没什么太大问题。但是深度学习的话就要借助TensorFlow或者pytorch框架，而这两个框架都分别出了两个版本，就导致前后的兼容性较差，前人的经验工作无法得到有效的利用。
2023-05-16 14:53:30
1311
原创 用人工智能帮我做PPT啦，试试chatPPT
然而我自己也由于不满意，就修改关键词让它再次给我制作，就这样，我在无形之中“浪费”掉了两次机会，我猜的没错，按国内的尿性，不会给你免费试用的。完整的PPT内容可以下载查看，如左下角的提示，整体来说还有点模样，但是仍旧是无法直接用的，需要进行修改。然后尝试输入一段描述，让它给我制作一份PPT。好吧，等了半天啥也没出来。
2023-05-16 14:22:14
1454
原创 吐槽jdbcTemplate.queryForObject中的BeanPropertyRowMapper
而jdbcTemplate.queryForObject中的BeanPropertyRowMapper有着严格的命名限制，比如你在spring封装的类的属性名称必须要和数据库中的字段名称相同，包括类型和名字。真的是个大坑，jdbcTemplate.queryForObject中的BeanPropertyRowMapper的功能太弱了，虽说它也能实现spring orm功能，但是相比之下，还是很弱。是一种将对象和关系型数据库进行映射的技术，它使得在Java应用程序和关系型数据库之间进行数据转换变得更加容易。
2023-05-12 15:44:34
154
原创 强化学习的学习路线规划，尤其是代码练习指引
感觉没什么好的学习材料和网站，网上资料本就很少，有代码的更少，而且呢，这些代码还基本上都是TensorFlow1.x版本的，和2.x不兼容，需要修改。我想了想既然我一直在debug，那不如把这一篇文章写成一个debug集锦，也方便以后解决问题。'variables’替换tf.GraphKeys.GLOBAL_VARIABLES。问题成环了，这就是死循环啊。回到了error No1。
2023-05-12 10:17:59
1996
2
原创 再多练习几个神经网络代码吧全连接，卷积神经网络
tf.keras.layers.Conv2D(32, (3, 3), activation=‘relu’, input_shape=(32, 32, 3))：第一层卷积层，使用了 32 个 3x3 的卷积核，激活函数为 ReLU，输入形状为 32x32x3 的图像；tf.keras.layers.Conv2D(64, (3, 3), activation=‘relu’)：第二层卷积层，使用了 64 个 3x3 的卷积核，激活函数为 ReLU；总之，需要多练习，才能真正的理解并记忆。
2023-05-11 17:16:40
361
原创 tensorboard如何使用
完成上述步骤后，启动 TensorBoard 工具，输入命令 tensorboard --logdir=logs/fit，其中 logs/fit 是日志文件的保存路径，即可在浏览器中打开 TensorBoard 的可视化界面。它提供了各种可视化工具，包括神经网络结构图、损失函数曲线、评估指标曲线、输入数据分布图等，使得用户可以通过图形化界面更加直观地观察模型的训练和评估过程，发现模型存在的问题，并优化模型的性能。3，在训练模型的方法中添加tensorboard回调函数。
2023-05-11 14:38:50
959
原创 神经网络的建立-TensorFlow2.x
激活函数为 ReLU。x_train.reshape(60000, 784)：将训练数据的形状从原来的 (60000, 28, 28) 重塑为 (60000, 784)，其中 784 表示每个图像的像素数量，也就是将每个图像转换为一个长度为 784 的一维数组。这两行代码是将输入的训练数据 x_train 和测试数据 x_test 进行预处理，使它们具有相同的数据形状和数据类型，并进行了归一化处理。通过反复迭代训练，模型的权重和偏置将不断被更新，以使得模型能够更好地适应数据集，并获得更好的性能。
2023-05-11 14:05:11
270
原创 Sarsa增强版之Sarsa-λ依然走迷宫
在Sarsa-λ算法中，我们不仅考虑当前状态的奖励和下一个状态的Q值，还考虑了之前所有状态的Q值，并使用“λ衰减”参数来平衡它们的重要性。通常情况下，Eligibility值会根据时间衰减，即先前的状态-动作对对价值函数的贡献会随着时间的推移而逐渐减少，而当前状态-动作对对价值函数的贡献会更高。在这些算法中，每个状态-动作对都会维护一个相关的Eligibility值，表示该状态-动作对对当前的价值函数有多大的贡献。具体来说，它描述了某个状态-动作对对价值函数的影响程度，可以用于增量式地更新价值函数。
2023-05-10 11:36:38
297
原创 赋予强化学习智能体先验知识-q-learning/Sarsa之走迷宫
前面已经分别写过q-learning和Sarsa的强化学习代码，其实两者差异并不非常大，只是在更新方式上不同，只是一个更加注重探索，一个更加注重应用。那么学习了这两种强化学习方法后，我们来进一步提升其性能，通过赋予强化学习智能体先验知识使其能够更快达到预想的效果，在前面的代码中，我们我们已经将智能体学习后的q表存储下来，现在我们可以在其启动时赋予智能体这些知识。为了实现先验知识的赋予，需要的几个函数进行修改，首先是environment。
2023-05-09 13:33:06
237
原创 使用强化学习Sarsa编写迷宫智能体
Sarsa和Q-learning是两种经典的强化学习算法，它们在更新动作值函数时有一些重要的区别。首先，Sarsa算法使用的是on-policy学习方法，即它在学习时使用当前策略选择的动作更新动作值函数。因此，Sarsa算法对当前策略的评估更加准确，但也可能导致过度探索。相比之下，Q-learning使用的是off-policy学习方法，即它在学习时使用最优策略选择的动作更新动作值函数。因此，Q-learning算法的学习过程更加高效，但它可能会低估当前策略的价值。
2023-05-08 22:42:29
118
原创 10倍速度开发贪吃蛇游戏之AI辅助
今天就来聊聊AI代码辅助神器，即便是零基础也能上手，因为实在是太强了，这以后叫程序员们怎么活啊！话不多说，直接上神器我用的是cursor,其实目前AI辅助代码不止cursor，还有微软家的copilot X这个根植于github上的代码辅助神器，又有ChatGPT的加持，功能也相当强大。我来测试一下用它开发一个小游戏的效率首先得学会提问，先问它知不知道贪吃蛇游戏，回答如下它默认用英文回答，你可以让它用中文都行的然后让它使用JavaScript编写一个贪吃蛇游戏代码，回答如下还有注释，这就完
2023-05-06 11:22:08
727
原创 create connection SQLException, url: jdbc:mysql://localhost:3306/chat, errorCode 1251, state 08004解决
spring使用jdbc操作数据库的时候报了以上错误，数据库无法连接，问了ChatGPT后升级了mysql-connector-Java的版本后就成功了，我的电脑的MySQL是8.0版的，而之前使用的connector版本是7.1.6的，所以现在升级到8.0.26后就可以了。
2023-05-05 14:38:26
1174
原创 Annotations are not allowed here写代码一定要小心仔细
这个问题，原本以为数据库连接池有问题，结果检查后没问题，最后发现原来是xml文件配置错了。testbookservice方法忘记加括号了。
2023-04-22 15:47:55
232
原创 强化学习代码练习q-learning-迷宫
注意：这里的update和main函数知识对该环境的一个简单测试，不是智能体的行动，在使用强化学习训练的过程中，它们并不执行。环境类总结起来就是定义了初始化的参数，构建迷宫，重置函数（每一次游戏结束后需重置到起始的环境），每一步怎么走的。调用前面写好的两个类，并写好更新的过程即可运行，这里可以设定训练的次数，贪婪策略所用的系数以及其动态变化的控制。智能体的部分比较通用和固定，总结起来就是：参数的初始化阶段，动作选择函数，学习数据并更新。
2023-04-21 22:40:26
284
原创 强化学习之代码练习001-treasure
先从简单的q-learning代码练习起步，001的环境也比较简单，训练智能体从左走到右边找到treasure。话不多说，直接写代码最直接。
2023-04-12 14:58:22
155
原创 如何节约时间
学习spring，先从换个IDE开始，education换成专业版的。说实话，与其在网上找半天破解的教程，不如花3块钱去某宝解决，简单省事，一分钟搞定。有那么多破解的时间都可以学好多知识点了。
2023-01-16 22:30:50
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人