- 博客(236)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux中每当执行‘mount’命令(或其他命令)时，自动激活执行脚本：输入密码，才可以执行mount
这个包装器脚本会首先提示用户输入密码，如果密码正确，则执行实际的。此外，如果你的系统有多个用户，你可能需要为每个用户设置不同的密码，或者使用集中式认证系统。）需要管理员权限，并且可能会影响系统的稳定性和安全性。务必谨慎操作，并确保你完全理解每一步的后果。另外，出于安全考虑，不建议将明文密码存储在脚本中。可以考虑使用更安全的方法来验证密码，如使用。脚本的路径添加到系统的PATH环境变量中，或者创建一个符号链接，使得。在这个脚本中，首先提示用户输入密码，并进行验证。的脚本文件，这个文件将作为。
2024-05-08 09:44:56
324
2
原创 linux设置挂载指定的usb，自动挂载
使用udev规则可以提供更灵活的控制，例如，您可以在脚本中添加额外的挂载选项或条件。在Linux系统中，如果您只想让系统挂载特定的USB设备，而忽略其他的USB设备，可以通过创建自定义的。另外，如果您想要挂载特定的USB设备，您需要在udev规则中添加挂载命令，或者在。创建一个udev规则文件，当指定的USB设备连接时，自动执行挂载脚本。首先，您需要确定您想要挂载的USB设备的属性，如供应商ID（命令列出所有已连接的USB设备，并找到您想要指定的设备。找到您的USB设备的条目，并复制其UUID。
2024-05-07 16:50:44
585
原创 Linux提示：mount: 未知的文件系统类型“ntfs”
时，确保您使用的是最新版本，因为它对NTFS文件系统的支持最为完整。此外，NTFS文件系统在Linux下的写入权限可能需要额外的配置，特别是如果您需要以非root用户身份写入该文件系统。在Linux系统中，如果遇到“mount: 未知的文件系统类型‘ntfs’”的错误，这通常意味着您的系统没有安装支持NTFS文件系统的软件。首先，确定您的NTFS设备名称，通常是。条目，您可能需要重新挂载所有配置的文件系统或重启系统以使更改生效。找到您的NTFS设备的UUID，然后将其添加到。替换为您的设备名称，
2024-05-07 14:43:28
454
原创 在Linux/Ubuntu/Debian中加密磁盘（U盘）
如果你正在考虑加密 Linux 系统上的根分区或主分区，则可能需要执行其他步骤，建议你查阅你的发行版文档，以获取有关在安装过程中设置加密分区的指导。● 格式化后，映射设备（/dev/mapper/crypto_disk）的行为与任何其他块设备一样。● 此命令打开 LUKS 加密设备 (/dev/sdX) 并将其映射到名为“crypto_disk”的新设备。● 映射设备（/dev/mapper/crypto_disk）将用作加密数据的解密视图。● 完成此步骤后，你将拥有一个格式化、加密且随时可用的设备。
2024-05-07 14:22:50
476
原创 Yarn vs npm的大同小异&Yarn是什么？
目前看来 Yarn 要比 npm 更好用：默认就有锁定文件、更快速地安装依赖以及依赖的更新会自动同步到 package.json 文件中。从 npm 迁移到 Yarn 成本几乎为零，以上优点都让 Yarn 成为了目前 npm 最好的替代品。
2024-04-12 17:22:59
1372
1
原创 关于openai和chatgpt、gpt-4、PyTorch、TensorFlow 两者和Transformers的关系
所以说，PyTorch和TensorFlow是深度学习框架，而Transformers是一个基于这两个框架之一的库，专注于提供预训练的Transformer模型和相关工具。近两年，随着人工智能的火爆，不论通过哪个渠道，相信我们都听说过openai、gpt等这类名词，那么它们到底是什么意思，请看下文。开发的深度学习框架，它提供了丰富的工具和API，使得构建和训练神经网络变得更加简单和高效。Transformers库为自然语言处理任务提供了方便的API和工具，使得使用和微调预训练模型变得更加简单和高效。
2024-04-12 10:42:06
827
1
原创 【Docker】Docker资源(创建容器)CPU/内存/磁盘IO/GPU限制与分配教程
docker资源（创建容器）对CPU、内存、磁盘IO以及GPU的限制和自定义分配管理等方法总结......
2024-03-27 15:26:44
1374
原创 【Anaconda】Linux下Anaconda安装和虚拟环境配置
注：.yaml文件移植过来的环境只是原来环境里用conda install命令安装的包，pip安装的库可能不会移植过来，需要重新安装。接下来提示安装位置，默认是/root/anaconda3，如果需要改位置，则输入路径即可！接下来是协议之类的阅读文章，按↓下键或者S键，直到出现yes/no，输入yes。：安装Miniconda，占用空间要比Anaconda3小很多，大概有3GB。conda导出已有的环境，保存在myenv.yaml文件中。查看已经存在的环境，前方带有*的为正在使用的虚拟环境。
2024-03-27 14:10:25
1657
原创 【AI模型-机器学习工具部署】远程服务器配置Jupyter notebook或jupyter lab服务
随着AI人工智能的崛起，机器学习、深度学习、模型训练等技术也慢慢泛化，java开发有idea，web开发有vscode，那么AI开发神器肯定离不开jupyter lab（基础版jupyter notebook））,这里可以用vim或者用相关ftp工具下载下来修改再覆盖，或者vscode ssh远程连接直接修改.这里你输入的密码，也是后面登入你服务器jupyter的密码，需牢记！python3进入交互模式 ，见图输入以下内容，设置好密码过后。会自动生成一个Verify password复制保存下来！
2024-03-26 11:01:55
707
原创 【Linux】Linux查看物理CPU个数、核数、逻辑CPU个数，以及内存情况
总核数 = 物理CPU个数 X 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数。
2024-03-26 10:15:59
675
原创 jupyter notebook或jupyterlab运行于/切换指定的conda虚拟环境或显示所有环境方法
Jupyter 在一个名为 kernel 的单独进程中运行用户的代码。kernel 可以是不同的 Python 安装在不同的 conda 环境或虚拟环境，甚至可以是不同语言（例如 Julia 或 R）的解释器。
2024-03-21 18:11:35
660
原创 【K8S】docker和K8S(kubernetes)理解？docker是什么？K8S架构、Master节点 Node节点 K8S架构图
docker爆火的原因——轻！，K8S，就是基于容器的集群管理平台，Build、Ship and Run”（构建、运输(发送)、运行）、“Build Once, Run anywhere”（一次构建，多处运行）
2024-03-18 11:36:22
1287
1
原创 Linxu系统docker版本升级或安装
当要以非root用户可以直接运行docker时，需要执行 sudo usermod -aG docker runoob 命令，然后重新登陆，否则会报错。确定已经安装curl命令，没有安装，则运行。（推荐镜像导出，但后面得重新部署），以免升级后丢失或者无法使用。如有正在运行的容器，先停止。查看已经安装的docker。安装docker最新版本。关闭docker服务。
2024-03-14 10:07:22
954
原创 docker启动失败：failed to create task for container:... not a directory: unknown: Are you trying to mount
docker启动失败： failed to create task for container: ...not a directory: unknown: Are you trying to mount a directory onto a file (or vice-versa)
2024-03-08 14:22:23
973
3
原创 【MySQL】lower_case_table_names作用及使用
在使用dataease时，连接外部数据库，启动报错！后查看官方文档，特别要求改数据库配置文件：lower_case_table_names = 1，之后，果然启动使用正常。知识点： lower_case_table_names 是mysql设置大小写是否敏感的一个参数。在mysqld下 添加或修改 lower_case_table_names = 1 之后重启数据库。根据自己需求，更改配置文件即可！更改数据库参数文件my.cnf。
2024-03-07 17:10:32
2027
1
原创 sql判断NULL值：IF()、IFNULL()、NULLIF()、ISNULL()函数的区别使用
如果expr1的值为true，则返回expr2的值，如果expr1的值为false，则返回expr3的值。，如果expr1的值为NULL，则返回expr2的值，如果expr1的值不为NULL，则返回expr1的值。，如果expr1=expr2成立，那么返回值为NULL，否则返回值为expr1的值。，如果expr的值为NULL，则返回1，如果expr1的值不为NULL，则返回0。关于MySQL中对于NULL值的判断以及替换等问题中，我们可以使用。
2024-02-29 11:32:19
1213
原创 开放Gemma而非“开源”，谷歌为何转变大模型竞争策略?
很明显，Gemma代表谷歌大模型策略的转变：兼顾开源和闭源，开源主打性能最强大的小规模模型，希望脚踢Meta和Mistral；关于大模型的开源和闭源，我认为如果想发展大模型还是得比模型规模，这方面开源模型相对闭源模型出于明显劣势，短期内难以追上GPT 4或GPT 4v，且这种类型的大模型，即使是开源也只能仰仗谷歌或者Meta这种财大气粗的大公司，主要是太消耗资源了，一般人玩不起，国内这方面阿里千问系列做得比较好，肯把比较大规模的模型开源出来，更提供了modelscope这样的平台促进技术交流，属实难得。
2024-02-22 18:12:21
1259
原创 cannot import name ‘xxxx‘ from partially initialized module ‘xxxx‘ (most likely due to a circula
查看导入包的依赖逻辑，排查问题，可能依赖先后顺序问题，也可能有重名问题，具体得根据依赖关系来排除！就我的问题来说是因为我的代码文件名为openai，重名，所以出错！
2024-02-22 14:08:46
680
原创 【SQLite】快速使用sqlite实现数据库操作_python版
总的来说，SQLite适用于那些需要轻量级数据库解决方案的场景，比如移动应用、嵌入式设备或者当需要一个简单且易于部署的数据库时。由于其轻量和易于集成的特点，SQLite在开发者中非常受欢迎。，它遵守ACID的关系型数据库管理系统。
2024-02-01 11:25:03
691
原创 apt-get install 报错：E: Error, pkgProblemResolver::Resolve generated breaks, this may
mentohust:i386 : 依赖: libpcap0.8:i386 但是它将不会被安装 或。wps-office : 依赖: libc6:i386 (>= 2.12) 但是它将不会被安装。依赖: libfreetype6:i386 (>= 2.4) 但是它将不会被安装。依赖: libglu1-mesa:i386 但是它将不会被安装。依赖: libxrender1:i386 但是它将不会被安装。依赖: libcups2:i386 但是它将不会被安装。依赖: libsm6:i386 但是它将不会被安装。
2024-01-19 14:31:46
1474
原创 autodl运行ollama报错Failed to connect to bus: Host i&Error, pkgProblemResolver::Resolve generated breaks
发生故障，这可能是有软件包被要求保持现状的缘故。E: 无法更正依赖关系。如果显示没有"aptitude"这个命令，安装它。其实是未安装systemctl；再次安装，问题解决！
2024-01-19 14:28:33
969
2
原创 【根据loss曲线看模型微调效果】如何使用loss曲线诊断机器学习模型性能
如下图所示，overffit时候training loss一直在不断地下降，而validation loss在某个点开始不再下降反而开始上升了，这就说明overfit，我们应该在这个拐点处停止训练。下图也是Underfit情况，这种情况的特点是在训练结束时候training loss还在继续下降，这说明还有学习空间，模型还没来得及学就结束了。然后我们就得到了一个Underfitting模型，如下图所示，在训练结束的时候training loss还在下降，这说明模型还未学习充分。
2024-01-18 17:52:51
3260
原创 大模型基础：PT预训练，SFT有监督微调 基础知识
记住进入transfomer前后数据的维度不会发生变化，把transfomer当作一个黑盒，也就是transformer(X)的维度还是（1，10，768），接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个分类任务，预测下一个token是词表中的哪一个（词表中的每一个词当作一个类别）。现在模型的输入的维度为(1,10)，第一维为batch_size，然后经过embedding层后变为(1,10,768)，这里假设embedding的维度为768。
2024-01-18 15:04:51
2862
2
原创 【大模型评测】常见的大模型评测数据集
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
2024-01-17 10:16:49
4843
原创 GitHub访问慢：分享两个镜像加速网站
GitHub网站，不知道是不是因为我的网络问题，最近一直断断续续，不稳定。非常难受。找到两个镜像网站，使用体验很不错，作以分享！
2024-01-12 09:45:07
16277
2
原创 Qwen-7B-Chat-lnt4微调报错：Found modules on cpu/disk. Using Exllama or Exllamav2 backend requir...解决方法
需要修改一下模型下的文件：config.json。
2024-01-10 16:04:56
1546
1
原创 使用ModelScope运行或者微调模型&ModelScope国内一个“模型即服务”(MaaS)平台
针对不同任务、不同模型抽象了统一简洁的用户接口，3行代码完成推理，10行代码完成模型训练，方便用户使用ModelScope社区中多个领域的不同模型，开箱即用，便于AI入门和教学。构造以模型为中心的开发应用体验，支持模型训练、推理、导出部署，方便用户基于ModelScope Library构建自己的MLOps.针对模型推理、训练流程，进行了模块化的设计，并提供了丰富的功能模块实现，方便用户定制化开发来自定义自己的推理、训练等过程。
2024-01-05 15:15:34
2756
原创 【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.
如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.
2024-01-05 10:53:16
18042
11
原创 windows如何查看端口占用情况
在Linux中，我们都知道使用 lsof -i :8080，这种方式去查看端口被哪个进程占用，然后kill掉就行。我在执行一个测试类，它使用到8090端口做websocket连接。快捷键Ctrl+Alt+Delete，打开任务管理器，可查看PID对应的进程。其实，我的那个Java程序就是我的项目启动了，没有关闭就去执行测试类导致的。这个很明显是8090端口被占用导致的，那么到底是哪个进程在占用？这就得查看端口占用情况，打开cmd输入命令。查看到该PID对应的程序为java.exe。
2023-12-26 10:23:16
565
原创 【Docker】升级docker或者docker到docker-ce完全保留镜像和容器，不影响原容器使用方法
CentOS自带的docker是早期的版本，支持的功能比较少，而且已经没有人维护了。最新的版本存在于docker团队维护的版本，社区版本是docker-ce，企业版本是docker-ee。由于默认CentOS自带的是早期的版本的docker，所以yum默认也是下旧的docker。我当时没太在意，就正常使用，装了几个容器，并有数据在里面。后来在拉取一个镜像时，报错：missing signature key，于是参考博文，需要升级docker。那么如何升级docker并且不能丢失我的容器和数据呢？
2023-12-20 14:42:30
2679
1
原创 【Docker】except yum.Errors.RepoError, e:-yum-config-manager --add-repo报错
将第一行的python改为python2即可！
2023-12-20 14:28:36
716
原创 【Windows系统C盘爆红】之扩展C盘大小详细步骤
而运行的时候，之所以需要保留一定的空间，是因为系统部分文件在运行软件的时候，是需要调动硬盘的空间来进行操作的。我们在安装软件的时候，如果不特别进行位置选择，那么一般都是默认保存在C盘中，而软件程序的数据文件缓存位置，也会默认为C盘。若正常则进行下一步，如果出现问题，则逆向执行第2步操作(更改新的D盘的盘符为其他，更改之前D盘的盘符为D)。当然有一些聪明的朋友会在安装软件的时候都会选择安装在别的盘，来保持C盘的空间，这是非常健康的操作！所以，保持一定的C盘空间，是很有必要的，也很重要的！
2023-12-19 11:44:01
630
原创 【Git】解决fatal: unable to access..Failure when receiving data from the peer或者OpenSSL SSL_read: Connect
因为git在拉取或者提交项目时，中间会有git的http和https代理，但是我们本地环境本身就有SSL协议了，所以取消git的https代理即可，不行再取消http的代理。在项目文件夹的命令行窗口执行下面代码，然后再git commit 或git clone。取消git本身的https代理。
2023-12-17 00:05:42
12620
1
原创 【idea】idea尾部自动删除空格，idea2023.1.2关闭自动去除行尾空格的功能
这个功能是由于git或者svn上的代码有许多空格的时候，会自动把空格去掉，就会导致出现许多更改的地方，会自动删空格。尾部刚打好空格准备写代码，自动就删掉空格，又得重打空格后继续编码，非常不爽。设置如下：取消下面勾选✔即可。
2023-12-15 17:50:37
1211
原创 如何退回chrome旧版ui界面？关闭Chrome浏览器新 UI 界面
在 Chrome 浏览器的搜索栏中输入并访问。重启浏览器后即可使用 Chrome 的新外观。在 Chrome 浏览器的搜索栏中输入并访问。重启浏览器后即可关闭 Chrome 的新外观。”显示与新设计相关的所有标志，包括。”显示与新设计相关的所有标志，包括。（Mac端中还有 #（Mac端中还有 #
2023-12-13 17:38:06
3833
10
原创 【git】ssh: connect to host github.com port 22: Connection refused fatal: Could not read from remote r
git 远程仓库两种协议：ssh，https。在解决问题之前，先要了解git远程仓库的两种协议连接。ssh协议连接github1.在git的命令行，输入然后就会在用户的.ssh下生成了两个SSH Key的秘钥对，id_rsa是私钥，不能泄露出去，id_rsa.pub是公钥。2.将公钥配置在github上设置里找到👇打开本地的id_rsa.pub(公钥)，将内容复制进去即可。3.github端配置完毕后，看本地的git 如何添加远程仓库：第一步,查看当前git的远程仓库版本：此时若什么都没有显示
2023-12-08 15:54:05
1196
原创 velocity-engine-core是什么？Velocity模板引擎的使用
除此以外，Velocity还提供了 Velocity-Tools工具包，他是Veloctiy下的一个子模块，参考gitee，Veloctiy-Tools主要包含2个部分：GenericTools和VelocityView ,前者提供了一些常用的工具类，比如DateTool, MathTool等等，后者主要是应用于web环境。像我使用，使用velocity就是用来生成代码，所以导入 velocity-engine-core 就足够了，也没有导入springboot集成的velocity starter。
2023-12-08 15:17:35
2146
原创 spring-boot-starter-validation是什么&Validation参数校验使用概要
Valid 是 JSR303 声明的，JSR是Java Specification Requests的缩写，其中 JSR303 是JAVA EE 6 中的一项子规范，叫做 Bean Validation，为 JavaBean 验证定义了相应的元数据模型和 API，需要注意的是，JSR 只是一项标准，它规定了一些校验注解的规范，但没有实现，二者主要作用在于 都作为标准JSR-303规范，在检验Controller的入参是否符合规范时，使用@Validated或者@Valid在基本验证功能上没有太多区别。
2023-12-08 14:42:12
1457
QQ聊天室/MFC/C++源代码，学习
2020-12-04
关于0和1 是否直接使用
2022-10-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人