- 博客(124)
- 收藏
- 关注
RSS订阅原创 conda修改默认环境安装位置
我们一般不将配置文件直接放置在软件根目录，因为这样不论是谁要启用该软件都会依照相同的配置信息，就无法实现基于用户的软件自定义配置信息设置，大大禁锢了软件使用的灵活性，并且在多人同时使用的时候也极易出现问题，因为每个人的使用偏好都不同。对于windows来说，因为一般都是个人PC，无需关心用户管理，所以放置在系统根目录或者个人用户根目录下都是可以的。目录下，这个目录是用户的个人目录，在该用户下的所有执行命令都以该目录下的。不然系统发现第一个路径无法进行环境的写入便会使用默认存在的C盘路径。
2024-01-21 15:48:35
2295
1
原创 文本词向量嵌入方法对比
下面对文本表示进行一个归纳，也就是对于一篇文本可以如何用数学语言表示呢？- 词袋模型(bag-of-words)：基于one-hot、tf-idf、textrank等的；- 主题模型：LSA（SVD）、pLSA、LDA；- 基于词向量的固定表征：word2vec、fastText、glove- 基于词向量的动态表征：elmo、GPT、bert
2023-08-06 17:59:25
348
原创 如何学好数据结构
如何学好数据结构知道数据结构讲的是什么模块化类型化合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入本文全为干货，没有晦涩难懂的专业名词，只有自己的心得体会和有效的学习方法，希望可以帮到各位被数据结构犯难的同学知道数据结构讲的是什么在我们
2023-08-06 13:16:58
530
原创 RLHF-基于人类反馈的强化学习
智能体通过采取行动与环境进行交互，并返回状态和奖励。奖励我们想要优化的目标，状态只是当前时间智能体所处环境的一种表示，智能体使用策略将该状态映射到一个动作。强化学习的精妙之处在于其学习过程是开放式的，所以智能体只通过看到这些奖励信号并学习如何随着时间的推移对获取到的奖励进行优化，而不去关注奖励实际的来源如何。这样可以使得我们构建一个可以解决复杂问题的智能体，这是为什么我们选用强化学习来解决场景对话这样一个开放式问题的原因，而这也是我们开始讨论RLHF(Reinforcement Learning From
2023-07-11 16:26:36
615
原创 linux服务器连接github
使用ssh-keygen生成密钥-t表示生成的密钥的类型，通常生成rsa类型的秘钥-b表示生成的密钥的长度，通常使用2048或4096-f表示指定密钥对文件生成的位置，Linux下通常生成到``/.ssh/my_keymy_key`表示秘钥对文件的名字，可以根据情况自行修改。
2023-07-05 14:56:58
1903
原创 Thundersvm源码查看学习
也就是说`sklearn.base`中**函数构建的思想**基于以下几点： - 将**参数传入设置等基础函数**和**训练中的函数**的定义分隔开, 因为训练任务类型较多, 所以对每一中训练类型进行相关的函数定义, 然后在具体的训练函数调用中进行实现- 将**参数传入设置等基础函数**作为评估器的**主体部分**作为baseEstimator- 在具体的Estimator中**继承BaseEstimator**中的变量和函数定义, 用于**实现具体的训练细节**- 对于不同类别的训练任务，考虑到*
2023-06-30 09:06:18
126
原创 Linux基于thundersvm使用GPU对svm进行加速
进入thundersvm项目根目录，会发现其下有一个python目录，这就是python下thundersvm的源码存放位置，要调用的thundersvm中的函数也都在这里实现。（按道理来说cmake构建好了之后thundersvm就会添加到程序的执行路径中，然后直接import thundersvm就可以使用了，但是我在使用的时候没有识别到）可以看到thundersvm除了支持python之外还支持MATLAB和R语言，根据语言的函数调用方式可以进行调用然后使用GPU进行加速，实现的都是svm算法。
2023-06-29 14:51:58
1504
3
原创 VScode连接远程服务器
然后vscode会打开一个新的界面, 即进入服务器的连接, 如下所示, 第一次连接要对目标服务器进行操作系统类型的判断, 这里连接的是Linux服务器, 就选择Linux。然后重新点击界面左下角的绿色图标进入连接选项, 即可看到出现了刚刚保存的主机连接选项, 可以选择点击直接进行连接。其目的只是为了下次方便你的连接, 不需要再进行username@ip的服务器连接信息的输入。Host要连接的主机名称, 可依据自己的喜好进行更改。, 这也是是否连接成功的一个判断标志。
2023-06-26 15:49:49
2800
翻译 HuggingFace-RL-Unit2-Part2——初探Q-Learning
Q-Learning是一种离线策略的基于价值的方法，它使用时序差分方法来训练其动作-价值函数离线策略：我们将在本单元的最后讨论这个问题。基于价值的方法：通过训练一个价值函数或动作-价值函数来间接地找到最优策略，该函数能告诉我们每个状态或每个状态-动作对的价值。使用时序差分方法在每一步更新其动作-价值函数，而不是在回合结束时进行更新。Q-Learning是我们用来训练 Q 函数的算法，Q 函数是一个动作-价值函数，用于确定在特定状态下采取特定动作的价值。
2023-06-24 18:41:01
323
翻译 HuggingFace-RL-Unit2-Part1——Q-learning算法介绍
在强化学习中，我们构建一个能做智能决策的智能体。例如，一个学习玩电子游戏的智能体，或一个能够通过决定商品的购入种类和售出时间从而最大化收益的贸易智能体。但是为了做出比较聪明的决策，我们的智能体需要通过反复试验与环境交互并接受奖励（正向或负向）作为唯一反馈，以此进行学习。智能体的目标是最大化累计期望奖励（基于奖励假设）智能体的决策过程称作策略π：给定一个状态，一个策略将输出一个动作或一个动作的概率分布。也就是说，给定一个环境的观察，策略将会输出一个行动（或每一个动作的概率），智能体将会执行该动作。
2023-06-24 18:30:41
199
原创 mmdetection调用模型训练
还有一个关键点，可以看到上述的loss非常大，因为没有加载预训练模型，所以模型是从头开始训练的，而自己的数据集图片总共就六七百张，数量还是很小的，所以想要早小数据集上有一个比较不错的效果，加载预训练模型是比较关键的。如果你想让环境变量的设置在系统中持久保存，你需要将上述命令添加到你的系统环境变量设置中。可以在第一次运行之后把模型产生的配置文件放到自己的配置文件夹中, 然后修改一些必要的属性，再运行，这样基本上回没什么问题和bug。然后再次运行你的脚本，Python解释器就应该能够找到你的。
2023-06-24 16:26:12
989
原创 Hexo博客搭建 —— Next主题配置
你需要在这里设置你的博客网站的域名，这样 Hexo 生成的链接才能正确指向你的网站。然而，如果你没有使用这种特殊命名的仓库，那么你的仓库仅仅是一个用于托管代码的平台。这将确保文章链接是唯一的，从而避免了链接冲突的问题。这样，即使你更新了主题，你的自定义设置仍会保存在根目录下的。在这种情况下，新的链接格式将替代原来的链接格式。为你的自定义域名，或者使用部署服务分配给你的临时域名（例如，该文件的内容和下面的主题配置文件中的内容相同(就是从主题下的。，这是为了避免将来主题更新时，由于新版主题自带的默认的初始的。
2023-06-24 16:24:49
734
原创 mmdetection中模型配置文件的文件命名含义
是两个不同的配置文件，它们用于设置 Faster R-CNN 目标检测算法的参数。没有指明使用从其他框架转换过来的权重，可能直接是用 PyTorch 训练的权重。使用的是从 Caffe 转换过来的模型权重，而。两个配置文件的主要区别在于，
2023-06-24 16:23:01
568
原创 模型权重和深度学习训练框架之间的关系
那么该团队如果使用TensorFlow框架, 权重文件保存的形式就是TensorFlow的。不过要注意的是，虽然神经网络的权重是可以在不同的框架之间转换的，但。如果是Caffe, 那么权重文件的保存形式就是Caffe的。比如使用Caffe的团队发布了Caffe格式的模型权重文件。不同的团队可能会使用不同的深度学习训练框架, 然后使用其。将Caffe格式的权重文件转化为Pytorch格式的即可。但是其保存的都是神经网络层与层之间的权重, 这是不变的。例如，某些特定的层（比如自定义的层）或某些特定的操作。
2023-06-24 16:16:28
1292
原创 torch.cuda模块获取信息
GPU的数量最多是128块, index到127, 不然就溢出了。如果输出True则表示可以使用GPU。输出1就表示只有一块可以用。如果有多块，就写一个循环。
2023-06-24 16:14:31
988
原创 Hadoop启动相关命令
脚本仅用于启动Hadoop分布式文件系统（HDFS）相关的组件，如NameNode、Secondary NameNode（如果配置了）和DataNode。运行此脚本后，HDFS服务将启动并运行。然而，Hadoop生态系统还包括其他组件，如YARN（用于资源管理和任务调度）。这将启动HDFS和YARN组件。如果只关心HDFS功能，那么运行。这将启动ResourceManager和NodeManager。
2023-04-17 16:33:56
363
1
原创 Hbase伪分布安装配置
的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’： http://hbase.apache.org/book.html#basic.prerequisites。这样，在项目更新时，您可以保留您的部署特定设置，而不必担心与默认设置发生冲突。这些"site"配置文件中的设置会覆盖默认配置文件中的相应设置。在Hadoop、HBase等Apache项目中，通常有一些默认的配置文件，如。这些默认的配置文件包含了项目的默认设置。release中的Hbase的。
2023-04-17 16:31:50
708
原创 数据相关性和非独立性与模型过拟合的联系
数据不是独立的带来的问题是数据之间会有一个或多个明显的特征关联，而这会更容易被模型捕捉到，从而导致模型更关注该特征，然而遇到可能是相互之间没有该相关性的测试数据时出现预测误差。例如，在图像分类任务中，如果训练数据中某个类别的样本主要是在特定的光照条件下拍摄的，而测试数据中该类别的样本具有不同的光照条件，那么模型可能会过度拟合训练数据中的光照特征。数据不是独立的确实会导致模型更容易捕捉到这些关联特征，从而在训练集上表现很好，但在遇到新的、未见过的数据时泛化能力较差，这可能导致预测误差。
2023-03-29 07:18:21
739
原创 软件架构generic & stream & Lambda
将类型作为参数, 实现一种算法比如对不同的对象的排序算法, 就可以使用一个**泛型方法**来统一的进行方法声明用**接口**来规范该类**类型的行为特征****算法 对象 算法在对象中的行为特性**对于排序算法, 只要一个对象有可排序的属性, 即可用该对象的类型对排序算法进行调用如果一个对象本身本身是没有继承comparable接口的, 但是该对象又有可排序的属性, 是自己定义的那么只要使得该对象继承comparable接口, 并实现compareTo()方法接口使用排序算法, 因为上述排序
2023-03-27 10:00:12
217
原创 软件架构-ORMapping思想
student和teacher的查询一致, 对Dao泛型化, 利用泛型可以分别改变类型从Dao对象中进行。-> 执行各种各样的sql语句 -> 包装为各种各样的对象进行返回. 最常返回的就是Entity对象。模式化单表的增删改查语句不用再写了, 彻底解决还要去写简单sql语句的苦恼。不想使用具体的Dao对象, 和业务代码有耦合, 想实现解耦。所有想使用sql语句的地方都封装到Dao的一个对象中。有很多sql语句是相同的,只是操作的实例不同。创建一个具体的实现, 但是使用时用的是接口。JPA中约定大于配置。
2023-03-27 09:58:54
888
原创 SFTP和FTP的区别
（一个用于控制连接，另一个用于数据传输），需要开放更多的端口，容易受到网络攻击。综上所述，SFTP比FTP更加安全、功能更加强大，但在某些情况下可能需。，支持对文件进行加密、压缩、校验等处理。安全性：SFTP提供了一种安全的文件传输方式，它。，几乎所有的操作系统和网络设备都支持FTP。，传输的数据不加密，容易被窃听和攻击。高级功能，而FTP通常只能进行基本的。进行数据加密和身份验证。，它需要安装SSH服务器和客户端，（通常是22），而FTP使用。
2023-03-26 17:05:23
2840
原创 IDEA连接Linux上的Hadoop并对HDFS进行操作
完成这些步骤后，就能够从Windows机器上的IDE中成功连接到Linux服务器上的Hadoop并对HDFS进行操作。属性的值为Linux服务器的IP地址，例如hdfs://192.168.1.100:9000，然后。如果你没有该冲突问题, 并且该语句让你的程序运行出了问题, 你可以将其去掉。PS:我在上述文件中加入了以下关于slf4j冲突所以去除依赖的语句。相关问题, 如果按照预先安装中的四个步骤应该没有这个问题。: 将放在Linux上面的Hadoop压缩包(, 不需要担心软件的系统适配问题。
2023-03-26 17:03:52
5800
7
原创 IDEA连接Linux服务器进行文件操作
同时，也避免了使用不同的终端窗口进行文件操作可能出现的不同步和错误问题。在IDEA中添加SFTP连接到Linux服务器，可以实现在IDEA中。安装好之后, 右侧边栏会出现Big Data Tools的选项框。具体来说，添加SFTP连接后，可以使用IDEA中的。测试连接成功之后即已经完成虚拟机Linux的连接。然后在侧边栏中即可看到Linux中的文件。进行编辑、保存和上传操作，避免了。将刚才配置的SFPT进行添加即可。终端窗口进行文件操作的麻烦。注意不是用在windows的。点击选项框, 在左上角的。
2023-03-26 17:00:45
2332
1
原创 python包导入的方式
执行文件和目标导入模块在同一目录直接import比如我要在`ma_main.py`中导入`env包`中的`make_env.py`文件, 从而读取其中的函数因为此时`ma_main.py`和`env包`都在`src`这个根目录下, 所以可以直接import继续导入
2023-03-22 19:37:42
1025
原创 软件架构-B/S结构&httpservlet&JSP/ASP模式&SpringMVC&接口定义
功能说明请求方法body参数说明返回参数说明 你面向接口的编程: 通过写注释生成接口文档。
2023-03-21 05:03:45
187
原创 数据库设计tips & idea自动生成Entity
因为数据关系之间肯定会有外键关系, 但是不在数据库中定义数据库很大, 当涉及到分表 / 分库操作时, 有外键关联很麻烦数据库本身规模较大, 外键关联对数据库集群产生影响案例本身可能不是关系型数据库, 可能会放在非关系型数据库中以便搜索, 会将elasticSearch中的id放到数据库中的id中;可能案例放在关系型数据库不是一个很好的选择, 如果要转移到非关系型数据库要大量的修改代码, 所以外键的关联用代码来进行实现, 不在数据库中进行约束.如果是小系统, 会使用外键关联来保持数据的一致性。
2023-03-21 05:00:58
610
原创 OpenCV图像处理
的源码, 可以看到第二个参数是一个矩阵, 即输入的参数不能是图像的位置,顾名思义, 这个文件中的函数都是处理二维数组数据, 数据至少是二维的。图像左右翻转实质上就是对像素值矩阵进行翻转, 让其左右对称。上下反转那就是像素值矩阵进行翻转, 让其上下对称。图片以下图片就会消失, 当然也可以手动点。opencv中的函数。
2023-03-21 04:59:20
75
原创 报错：OpenCV NoneType object has no attribute shape
打开了项目, 那么图片的路径建议使用。, 又是在该文件夹的。
2023-03-21 04:58:12
564
原创 报错：numpy.core._exceptions._UFuncNoLoopError
在使用gradio的时候, 有一个接口有三个输入参数, 一个是图像, 另外两个是数字, 在我指定interface中的input=[‘image’,‘text’, gr.Slider(0.1,10)]之后就一直报这个错。
2023-03-21 04:54:36
3395
原创 Gradio基础教程
当有多个单独的interface之后, 可以使用combining-interface功能将他们组合起来,展示到同一个页面上(不是同一个标签页)如果各个接口之间的输入是相同的, 并且输出是相关的, 还可以使用其中的功能对并行比较接口之间的输出效果如果各个接口的输入和输出是有前后关联的, 还可以将众多接口组合成一个更完整且庞大的功能。
2023-03-21 04:53:41
964
原创 CR-LF-CRLF概念区分
**CR**（Carriage Return）代表回车**（转义序列\r）**，将光标移动到**当前行**的开头。 **LF**（Line Feed）**代表“换行”**，但你可能更熟悉术语换行符**（转义序列 \n）**。简单地说，这个字符代表一行文本的结束。在 Linux 和 Mac 上，这相当于**新文本行的开始**。这种区别很重要，因为 Windows 不遵循此约定。
2023-03-20 00:45:20
392
原创 Linux-screen相关命令
创建：查看有多少会话：恢复：先恢复没有则创建：删除：指定作业离线： 查看已建的screen ID（保持只有一个会话，多的话可能运行不正常） 连接已经创建的screen窗口screen已经是后台，不需要-d，不需要
2023-03-20 00:42:34
188
原创 windows系统重装相关细节
系统重装分为两个部分，一部分是ISO镜像，一部分是驱动软件驱动是很重要的，比如CPU驱动、显卡驱动、键盘鼠标驱动、声卡驱动、网卡驱动，如果驱动软件没有，那么就无法进行用户的交互行为。
2023-03-20 00:42:00
177
原创 PAT甲级-A+B Format
所以如果是符号, 那么就不要进行索引的判断, 因为这时候len== 7, len%3==1, 在输出符号之后如果还检查索引。核心思想就是使用len%n作为从len%n开始的逗号输出位置，类似一个偏置项。对于-999,111这种情况(假定n为3, 符号为-)因为是%，所以具有周期性，经历了n个数之后才会再输出。就是对负号(或其他符号)的条件判断。这里的3可以替换为任何数n。就会输出-,999,111。
2023-03-20 00:38:37
70
原创 Github配置博客-GitHubPages
当然，如果只能自己看到，这远远是不够的，我们发博客就是为了让我们的文章能够帮助到更多人，这时候你就需要上传到github进行托管，这样别人就可以访问到你的博客，看到你的文章了。public/默认情况下，该文件夹不是（也不应该）上传的，请确保该.gitignore文件包含public/行。Hexo 使用Markdown（或其他渲染引擎）解析文章，在几秒内，即可利用靓丽的主题生成。上传，它实现的原理就是将您的Hexo文件夹的文件推送到存储库。，如果出现以下信息即为配置成功，到这里你已经成功了一大半了。
2023-03-20 00:34:43
252
原创 版本控制系统(VCS)-Git相关概念
git本质上是一种版本控制系统（version control system），快速追踪代码、文件或者文件夹的更改（管理并查看修改历史记录），备份以及恢复以前的版本。 版本控制系统用一系列的快照（snapshot）追踪对文件及文件夹内容的更改，以此来捕获文件夹或者文件的状态及其中的内容 相比于对于一个项目文件夹多次创建然后以时间戳进行区分的备份方式来说更加高效，对于文件内容的修改记录又有更好的追溯和控制能力。
2023-03-20 00:34:02
226
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人