- 博客(23)
- 收藏
- 关注
RSS订阅原创 如何导出与pip库版本相关的requirement.txt文件
在 Python 项目中，导出与pip库版本相关的文件是一个常见的任务。这个文件包含当前环境中所有已安装的包及其版本信息，可以用于在其他环境中再现相同的包安装。
2024-05-29 17:00:50
569
原创 项目的各个阶段如何编写标准的Git commit消息
在每个项目阶段，编写清晰、规范的提交消息是项目维护和协作的重要部分。初始阶段：聚焦于设置项目基础结构和添加基本文件。开发阶段：详细描述新功能的添加、错误修复、优化和文档改进。维护阶段：确保安全修复、依赖更新、文档改进和性能优化的提交消息清晰准确。通过保持一致的提交消息格式，团队成员可以更容易地理解变更内容，追踪问题，协作开发和维护项目。
2024-05-29 16:31:21
506
原创 时间步和CLK之间的区别和联系
时间步的数量：在一个时钟周期内的时间步数量取决于仿真中安排的事件数量和信号更新的复杂性。非阻塞赋值的时间步特性：非阻塞赋值在时间步结束时生效，这确保了所有信号在同一个时间步结束时一起更新，避免竞争条件。仿真器的角色：仿真器在每个时间步内调度和执行事件，并在时间步结束时更新信号。仿真器可以插入额外的时间步来处理复杂的事件和信号更新。通过理解时间步和时钟周期的关系，可以更好地编写和调试Verilog代码，确保时序逻辑的正确性和信号更新的同步性。
2024-05-29 13:39:39
667
原创 conda config包含无效channel解决办法
通过这些步骤，你应该能够解决因无效渠道导致的问题。如果问题仍然存在，请检查网络连接或考虑使用其他镜像源。这个命令会显示当前配置的所有渠道。），你需要将其移除。如果你看到无效的渠道（如。确保配置中只有有效的渠道。
2024-05-27 20:40:13
490
原创 Python版本号的说明
Python 的版本号通常由三部分组成：主版本号（major）、次版本号（minor）和修订版本号（patch）。例如，Python 3.8.10 中的 3 是主版本号，8 是次版本号，10 是修订版本号。
2024-05-27 20:21:50
361
原创 后缀有x86_64和x64的软件各自安装到program file还是program filex86？
x64或x86_64后缀的软件应安装在目录下。x86后缀的软件应安装在目录下。通过遵循这些规则，你可以确保你的软件在合适的环境中运行，从而避免兼容性问题和性能损失。如果有更多问题或需要进一步的帮助，请随时告诉我！
2024-05-21 21:13:51
298
1
原创 如何使用SCP将一个文件或文件夹从Windows系统的电脑上传到Linux系统的服务器上
使用SCP（Secure Copy Protocol）将文件或文件夹从Windows系统的电脑上传到Linux系统的服务器上，可以按照以下步骤进行。我们将使用Windows上的命令行工具（CMD或PowerShell）来执行这些操作。
2024-05-19 17:26:34
1139
1
原创 Llama-recipes 中支持的两种批处理策略
批处理策略是在训练过程中将多个样本组合成一个批次，以便更有效地利用计算资源。Packing（打包）策略Padding（填充）策略打包策略将多个标记化的样本连接成一个长序列，填满模型的上下文长度。效率：这是计算最有效的变体，因为它避免了任何填充（padding），所有序列的长度相同。处理方式：样本在上下文长度边界处被截断，截断后的剩余部分作为下一个长序列的开头。填充策略不会因截断序列而引入额外的噪声。处理方式：通过将长度相似的样本分组在一起，尽量减少填充量。打包策略。
2024-05-19 16:23:09
285
1
原创 分布式深度学习训练中DP,DDP,FSDP这三者之间的区别和联系是什么
Data Parallelism 是最基本的并行训练方法，将数据划分为多个小批次，每个小批次在不同的计算单元（如GPU）上独立计算，然后将结果汇总。Distributed Data Parallelism 是一种改进的Data Parallelism方法，通过高效的通信机制，在多个GPU（可能跨越多个机器）上分布式地并行训练模型。
2024-05-18 20:46:15
1611
原创 LLM微调中的Cost of deployment和Catastrophic forgetting
这段话讨论了在微调大模型（如GPT、BERT等）时所采用的一些方法和技术，以解决部署成本和灾难性遗忘问题。
2024-05-18 20:30:44
265
原创 PyPI安装包和GitHub直接安装包
PyPI：大多数Python第三方库发布和存储在PyPI上，用户通过pip从PyPI安装。GitHub：开发者通常在GitHub上托管源代码。你可以使用pip直接从GitHub安装最新版本的包。通过这些方法，你可以灵活地从PyPI或直接从GitHub安装和使用Python包。
2024-05-18 16:52:24
323
原创 为什么我直接pip install transformers安装的并不是最新的版本，而当我pip install transformers==4.41.0安装的确是最新的版本
在使用pip命令时，安装的并不是最新版本。
2024-05-18 16:51:13
926
原创 什么是Checkpoint？
在机器学习和深度学习中，checkpoint（检查点）是指在模型训练过程中保存的模型状态。这些检查点通常包括模型的参数（权重和偏置）、优化器状态和其他相关的训练信息。通过保存检查点，您可以在训练过程中定期保存模型的当前状态，以便在需要时恢复训练或用于模型评估和推理。Checkpoint 是机器学习和深度学习训练过程中的重要工具。它可以防止数据丢失，帮助调试和优化模型，并在模型评估和推理中发挥重要作用。通过定期保存检查点，您可以在训练过程中随时恢复模型状态，继续训练或进行推理。
2024-05-18 15:36:39
1793
原创 %%bash在ipynb中的作用
在Jupyter Notebook中，%%bash是一个魔法命令，用于指示该单元格中的代码应该在Bash环境中运行。这不同于普通的Python注释，是Jupyter Notebook提供的功能之一，用于方便地执行非Python代码。
2024-05-18 11:41:03
493
原创 下载llama3出现ERROR 403: Forbidden解决方案
在下载llama3时出现ERROR 403: Forbidden原因是需在Git Bash中设置代理。在 Git Bash 中设置环境变量时，应该使用 Unix 风格的命令，而不是 Windows CMD 的set命令。Git Bash 是基于 MinGW064 (Minimalist GNU for Windows)，因此它遵循更接近 Linux 的命令和语法。
2024-05-10 14:52:13
1637
2
原创 git config --global http.proxy http://正确的代理地址:端口和export http_proxy=http://正确的代理地址:端口的区别
简而言之，如果你只是想让Git操作通过代理，而不影响其他程序，你应该使用。如果你希望多个应用或整个会话的网络请求都通过代理，那么使用是更广泛的设置方式。这两种方法可以根据具体需求和上下文灵活使用。如果在一个脚本或自动化环境中，确保代理设置与脚本执行的环境一致，以便正确配置网络访问。
2024-05-10 14:45:53
1279
2
原创 VS Code & PyCharm 远程开发尝试
PyCharm提供了Remote Development插件用于远程开发，但是其中Connect to SSH功能仅支持remote machine为Linux，并且其官网提到Remote Development插件。
2024-01-26 23:40:42
173
1
原创 工具使用-pycharm如何配置 .gitignore 文件
然后搜索ignore并点击安装。正在上传…重新上传取消如果下载不成功，可能是资源被墙了， 需要手动, 然后如下安装。至此，ignore插件安装完成， 重启pycharm之后生效。
2024-01-04 19:33:38
996
1
转载 python调用cplex_DOcplex——怎样成功安装和调用学术版DOcplex
将cplex文件夹拷贝到python 3.7的安装目录中Lib文件夹下site-packages子文件夹中，例如我的路径为：C:\Users\lemur\AppData\Local\Programs\Python\Python37\Lib\site-packages。从cplex的安装目录中，例如我的路径是：C:\Program Files\IBM\ILOG\CPLEX_Studio129\cplex\python\3.7\x64_win64，找到cplex文件夹。因为其他项目用的是自己的虚拟解释器。
2023-11-08 20:43:26
1535
1
原创 C语言中地址与变量名的关系
CPU 访问内存时需要的是地址，而不是变量名和函数名！变量名和函数名只是地址的一种助记符，当源文件被编译和链接成可执行程序后，它们都会被替换成地址。编译和链接过程的一项重要任务就是找到这些名称所对应的地址。假设变量 a、b、c 在内存中的地址分别是 0X1000、0X2000、0X3000，那么加法运算c = a + b;将会被转换成类似下面的形式：0X3000 = (0X1000) + (0X2000);( )表示取值操作，整个表达式的意思是，取出地址 0X1000 和 0X2000 上的值，将
2022-03-29 15:03:05
2049
原创 常用数据下载网站汇总
AI最重要的几大要素：数据、算法、算力。其中最基础也是很重要的一个内容就是数据，一个数据的好坏往往决定了你的模型的性能、效果、泛化能力。但是准备、完善、标注数据的过程往往是耗时耗力，所以如何知道更多的经典数据集，能够快速获取自己需要的资源是非常重要的。本篇主要的目的是网罗汇总个人认知范围内的所有比较好的数据集及其链接地址、相关信息、以及链接地址等。以便于大家使用的时候可以尽快下载，尽快找到足量数据，所以事无巨细全都汇总在一起。主要包括以下几个来源：（1）学术上已经公布发表，或者成为业界检测某种算法性
2022-03-04 20:49:48
13280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人