- 博客(267)
- 资源 (33)
- 收藏
- 关注
原创 一个大参数低精度和一个小参数高精度的模型有可能尺寸接近么?那么他们的表现会有什差异?
而另一个原本就很小、只有 1-2B 参数但精度很高的“学生”BERT 模型,在。将原始的大参数量模型进行压缩或稀疏化(例如使用 MoE 架构),使其本身在存储时就倾。FP32大模型,并且在一定程度上牺牲了精度(相对于其小型/低比特版本的目标)的模型。个小参数量但能模拟其性能(即高精度)的“学生”模型。上小很多,但在部署时可以使用较低精度的数据类型来运行,从而实现类似的效果。涉及到对“模型尺寸”和“参数数量”这两个相关但不同的概念。: 一个“尺寸接近”的大参数低精度模型,并不意味着它只是。
2025-06-13 09:16:13
629
原创 一个大参数低精度和一个小参数高精度的模型有可能尺寸接近么?那么他们的表现会有什差异?
大参数低精度模型与小参数高精度模型在存储尺寸上可能相近,但存在本质差异。大参数模型通过量化技术(如INT8/FP16)降低精度以减小体积,虽保留大部分功能但准确率可能下降;小参数模型则通过精简架构保持高精度(FP32),但参数总量较少。两者尺寸相近的关键在于量化压缩和结构优化技术。实际应用中,大参数低精度模型计算效率更高,而小参数高精度模型更注重精确度。这种权衡体现了模型优化中体积、精度与性能的平衡关系。
2025-06-13 09:14:39
351
原创 Linux下OLLAMA安装卡住怎么办?
网络环境不理想,经常在官方的linux安装脚本执行时卡住,其实主要是下载文件卡住,于是我想到了是否可以把其中下载的过程显化、分步,这样更可控,于是修改了官方的install.sh。只要在本地运行bash install.sh即可,在安装中会提示你手动下载指定的文件到指定的目录,手动下载后,回车继续执行。记住把 /home/xgocn/下载 改为你指定的下载目录。
2025-06-12 19:58:26
489
原创 基于KAN+Transformer的专业领域建模方法论
领域 | 典型函数形式 | KAN分解策略 |建议优先在具有明确数学表达的专业领域(如工业诊断、金融建模)开展实验,逐步扩展到更复杂的跨领域场景。| 分子轨道基函数分解 || 空间-频域联合分解 || 法律条文向量空间分解 |• 医学影像:采用小波变换基函数分解图像特征。• 知识嵌入:将领域先验知识编码为约束条件。二、专业领域数学拟合逻辑。
2025-05-17 18:19:07
1016
原创 基于KAN+Transformer的专业领域建模方法论
建议优先在具有明确数学表达的专业领域(如工业诊断、金融建模)开展实验,逐步扩展到更复杂的跨领域场景。:在Transformer的FFN层嵌入KAN模块。:针对专业领域特性设计专用基函数组合。:将领域先验知识编码为约束条件。:用KAN替代Q-K-V计算。
2025-05-17 18:17:45
797
原创 如何开发专业小模型
若将通用词汇表(如包含5万个词)压缩至专业领域词汇表(如5000个词),理论上可减少约90%的Embedding层参数。通过系统性应用词汇表精简、分词器定制和模型压缩技术,在专业领域场景下实现大模型参数规模的"瘦身"是完全可行的。在专业领域场景下,通过针对性优化大模型的词汇表、分词器和模型结构,确实可以实现参数规模的显著缩减而不损失专业能力。• 知识蒸馏:用专业领域数据微调教师模型,可将知识迁移至小型学生模型(如从175B参数的GPT-3蒸馏至6B参数模型)
2025-05-17 18:00:29
742
原创 安装 OpenSSL 1.1.1 的完整脚本适用于 Ubuntu 22.04 系统
echo "下载 OpenSSL 源码失败,请检查网络连接或链接地址是否正确。echo "OpenSSL 1.1.1 安装完成!# 下载 OpenSSL 1.1.1 源码。# 创建软链接指向新安装的 OpenSSL。# 安装编译工具和依赖库。# 更新动态链接库配置。# 检查下载是否成功。# 进入解压后的目录。
2025-03-21 14:34:53
1228
1
原创 Docker部署全攻略:Ollama安装、本地大模型配置与One-API接入
Ollama作为一款开源工具,为用户提供了便捷的本地大模型部署和调用方式,其卓越的兼容性和灵活性使得在多种操作系统上运行大规模语言模型变得更加简易。通过Docker的安装与部署,用户可以快速上手并灵活使用各类大型模型,为开发和研究提供了强有力的支持。然而,由于Ollama缺乏内置的鉴权访问机制,用户在生产环境中应采取适当的安全措施,以防止潜在的访问风险。总的来说,Ollama在推动本地AI模型的应用和开发中,具备了极大的实用价值,未来若能完善鉴权机制,将无疑成为AI开发者的得力助手。
2025-01-05 18:27:28
2262
原创 当知识图谱遇上文本智能处理,会擦出怎样的火花?
目前以理解人类语言为入口的认知智能成为了人工智能发展的突破点,而知识图谱则是迈向认知智能的关键要素。达观数据在2018AIIA人工智能开发者大会承办的语言认知智能与知识图谱公开课上,三位来自企业和学术领域的专家分别从不同角度讲述的知识图谱的应用和发展。文本根据达观数据副总裁王文广演讲内容《知识图谱与文本智能处理》整理所得,内容略有删减。人们一些模糊词义的表达,比如:以前没有钱买华为,现在没有钱买华为。”这两句“没有钱”的意思很不一样,我们人理解这样的句子很容易,但对于计算机来说理解便很困难。
2025-01-02 19:57:04
837
原创 知识图谱在教育智能化中的应用
利用这个图谱,可以把知识点间的关系,通过可视化的形式展示给学生,一目了然,可以很天然的用来帮助学生构建知识体系,查阅知识要点,发现知识点之间的关联,帮助学生做总结沉淀,消灭知识盲区。基于知识图谱,大数据分析等方法对学习者客观的学习过程进行挖掘,从多种维度去做分析,数据可以挖掘的维度众多,不限于测试成绩,错题本,学习记录等行为轨迹中挖掘的知识掌握情况,薄弱知识这些显性的特征,同样可以挖掘一些深层次的学习速度,学习偏好,认知水平等隐形特征。通过知识图谱,更加精准的刻画学生知识掌握情况,更加准确的刻画资源。
2025-01-02 19:54:56
1408
原创 Langchain-Chatchat 0.3.1最新 win系统-安装教程,踩坑2小时,5分钟拿去!
Langchain-Chatchat最新升级版 0.3.1 -win11系统安装部署手把手教程。踩坑半天,根据教程快速上手!官网教程基本上适合linux系统。· 2024-08-01 21:10:59 发布。
2024-12-23 13:12:17
736
1
原创 如果你想在 Android 上使用 Python 开发应用
Kivy:适合需要图形界面的跨平台应用,支持 Android。BeeWare:适合开发跨平台本地应用,但相对较新。Chaquopy:如果你习惯于使用 Android Studio,Chaquopy 是一个很好的选择,它允许你在现有的 Android 项目中使用 Python。SL4A:适合快速开发脚本和小型应用。:如果你已经有了 Python 后端,可以通过 WebView 与 Android 前端交互。你可以根据你的需求选择合适的方案。
2024-12-13 08:24:44
1630
原创 目前区块链服务商备案支持的区块链技术类型
status "success" data 1- name "比特币/Bitcoin/BTC" 3- name "以太坊/Ethereum/ETH" 875- name "超级账本/Hyperledger" 5- name "柚子/EOS/EOS" 6- name "恒星链/Stellar/XLM" 1055- name "Quorum"
2024-11-13 22:50:58
1081
原创 正向代理VPN vs 反向代理Nginx
正向代理是指位于客户端和原始服务器(origin server)之间的服务器,它代表客户端向原始服务器发送请求并获取内容,然后将这些内容返回给客户端。VPN的工作原理正是如此,它为用户的网络请求提供代理服务,使得用户可以通过VPN安全地访问各种网站和服务,同时隐藏用户的真实IP地址,保护用户的隐私和网络安全。代理服务器充当了客户端和目标服务器之间的中间层,负责将客户端的请求转发给目标服务器,并将目标服务器的响应返回给客户端。3.代理不同:正向代理是客户端架构,而反向代理是服务器架构。
2024-11-11 08:43:03
915
原创 Android 代码设置开机自启动代码设置开机自启动App的方法
您可能感兴趣的文章您可能感兴趣的文章:Android开机自启动程序详解android开机自启动app示例分享Android编程实现应用程序开机自启动的方。以上这篇Android 代码设置开机自启动App的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多。2个 category 分别是 home 和 launcher 2个都可以。我用的是小米我用的是小米NOTE手机测试。大部分手机都有管家类软件限制了不允许开机自启动。有的时候想要用户一旦打开手机。我们的APP就自动运行了。
2024-07-08 16:50:35
966
原创 docker里日志分割的方法
如果内置日志驱动的功能不满足需求,您也可以考虑使用如`logrotate`这样的外部日志管理工具。在这个示例中,`max-size=10m` 表示日志文件达到10MB时会进行分割,`max-file=3` 表示除了当前写入的日志文件外,最多保留3个旧的日志文件。Docker的默认日志驱动是`json-file`,它支持日志轮转。通过上述任一方法,都可以实现对Docker容器日志按大小进行有效的分割,帮助管理日志文件的大小和数量,防止磁盘空间快速消耗。#### 配置`logrotate`示例。
2024-07-08 16:45:56
1105
原创 go代码补充go.mod和go.sum配置文件
go mod init 项目名。go run 主要的go文件。根据报错,复制缺少的包地址。go get 包地址。
2023-11-01 09:25:29
453
原创 geth 1.11.+创建三个节点的一条私链,不要bootnode,节点之间互联,列出事无巨细的步骤
按照这些步骤,您应该能够成功地创建一个不使用bootnode的三节点以太坊私链,并实现节点之间的互联。在实际操作过程中,您可能需要根据实际情况对某些步骤进行调整。方法将其他节点的enode URL添加到已知节点列表中。在每个节点上创建一个新账户,并解锁它以便进行挖矿。这是一个简单的genesis文件,您可以根据需求修改其中的参数。在文件系统中为每个节点创建一个单独的数据目录。在每个节点上启动挖矿进程。在每个节点的控制台中,使用。为每个节点使用刚刚创建的。在其他节点上重复此过程。在其他节点上重复此过程。
2023-10-31 08:36:05
594
原创 高性能服务器之mysql数据库连接池设计与实现
学习路线图谱:https://www.0voice.com/uiwebsite/html/courses/v12.5.html。链接:https://pan.baidu.com/s/1ISZ1Sy087GUeaekW3sV_oA?链接:https://pan.baidu.com/s/1huf-hvdKEu7ey8mFg_bDEw。链接:https://pan.baidu.com/s/1XYP_mCNwAl34e9R5pp9FUQ。高性能服务器之mysql数据库连接池设计与实现。
2023-10-17 23:00:11
816
原创 树莓派和arduino的恩恩怨怨
ClientAliveInterval指定了服务器端向客户端请求消息 的时间间隔, 默认是0, 不发送.而ClientAliveInterval 60表示每分钟发送一次, 然后客户端响应, 这样就保持长连接了.ClientAliveCountMax, 使用默认值3即可.ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值, 就自动断开. 正常情况下, 客户端不会不响应.https://pypi.org/project/pyserial/ —下载的地址。
2023-10-16 20:18:54
187
原创 geth -h 最新版的geth参数
geth -hNAME:USAGE:VERSION:COMMANDS:ACCOUNTpaths.no cap)
2023-04-25 14:56:42
815
原创 kafka/bin/kafka-run-class.sh: line 342: exec: java: not found
于是毒丸计划开始,JAVA="java"改成JAVA="java1",保存重新在进程管理器点启动,报错,去看日志: /home/kafka/bin/kafka-run-class.sh: line 342: exec: java1: not found。手痒,非要换宝塔的进程守护管理器,选目录为/home/kafka,命令为/home/kafka/bin/zookeeper-server-start.sh /home/kafka/config/zookeeper.properties。
2023-01-11 23:25:02
2801
原创 java: 程序包sun.net.util不存在
IDEA启动项目报错Error:(14, 20) java: 程序包sun.net.util不存在。最后点击apply保存设置,重新启动项目。jdk版本导致的问题。
2022-12-10 09:30:09
2016
转载 使用 Solidity、Web3 和 Vue.js 创建区块链游戏
使用以太坊区块链构建去中心化游戏,游戏主题为三英占吕布,选择其中的角色铸造 NFT 与吕布进行战斗,通过简单的游戏规则逐步了解使用以太坊公共区块链创建去中心化游戏的方法。
2022-12-10 00:34:10
1195
1
转载 Centos7 squid安装与配置
上面的的身份认证示例将会导致OpenVPN提示从标准输入界面输入一对用户名/密码,如果你希望将这些用户凭据放入一个文件中来代替上述输入操作,请使用一个文件名来替换语句中的。2、带用户认证配置(这里通过ncsa认证模块来为我们的squid添加认证)1、如果不需要带用户认证,只需启用这条即可(安全性很差)附带/etc/squid/squid.conf完整配置文件。,该文件的第1行应该放置用户名,第2行放置密码。2.1 验证密码文件。
2022-11-25 11:20:50
1087
1
闭眼交易所Java完整版
2022-12-05
object-c调用swift的最佳简单实践附件
2022-09-12
img.php生成图片
2022-02-07
iis_rewrite.zip
2022-02-07
☆ [百度人才招聘系统4.0 正式版] .rar
2022-02-07
终于解决了windows的文件和文件夹的不自动刷新问题,历时数月
2025-01-05
这是一个模仿喜马拉雅lite的微信小程序demo,完全使用微信小程序原生开发,没有使用组件 所以这是一个初级项目,非常的适合微信
2024-02-27
网上纪念,网上纪念馆,网上祭奠,网上祭拜,网上祭祀,网上礼佛,网上家谱,在线族谱,网上扫墓,清明祭祖,网上墓地,悼念,祭祖
2024-01-05
最新版有范祈福祭祀墓园-2.4.3.zip
2024-01-05
提成计算&工资拆分系统
2023-12-14
UTC-2017-11-21T05-46-23.555205600Z-创世秘钥解密工具
2023-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人