- 博客(49)
- 收藏
- 关注
RSS订阅原创 pretrain Llama3
在训练过程中，程序会定期输出当前的训练步数、损失值、学习率、运行时间以及模型的浮点运算利用率（MFU，模型浮点计算的利用率，表示模型计算效率）。：当验证损失下降时，程序会保存模型的检查点，包括模型的状态、优化器的状态和当前的迭代信息，以便在需要时可以恢复训练。：配置了优化器的学习率、权重衰减系数、β1和β2参数、梯度累积步数等，使用梯度累积来模拟更大的批次训练。：设置了模型的隐藏层维度、层数、注意力头的数量、分组数量、Dropout概率等超参数。
2024-09-20 16:29:15
444
原创 基于Phi-2模型进行LLM微调
微调大语言模型本文记录大语言模型微调流程，供自己学习使用。LLMs通过使用深度学习技术在大量文本数据上进行训练。这些模型能够生成类人的文本并执行各种自然语言处理（NLP）任务。最棒的部分是，你可以使用像Falcon、Llama-2、Mistral、Phi-2等LLMs进行研究和商业用途。在本文中，对微软的Phi-2进行微调。在开始微调之前，先了解一下LLM的训练过程。在大型语言模型中，有两个主要的过程：预训练和微调。
2024-08-23 14:15:49
935
原创 对文本数据进行关键词提取，可以采用哪些算法？具体实现流程是什么样的？
在SQL中，COALESCE函数是一个非常有用的函数，用于从其参数列表中返回第一个非NULL值。如果所有给定的参数都是NULL，那么COALESCE函数将返回NULL。这个函数可以接受多个参数，使其在处理可能出现的NULL值时非常灵活和强大。
2024-03-13 20:03:34
4356
原创 sql中COALESCE函数详解
在SQL中，COALESCE函数是一个非常有用的函数，用于从其参数列表中返回第一个非NULL值。如果所有给定的参数都是NULL，那么COALESCE函数将返回NULL。这个函数可以接受多个参数，使其在处理可能出现的NULL值时非常灵活和强大。
2024-02-28 16:15:09
13333
1
原创 SQL中聚合函数
SQL中的聚合函数是用于对一组值执行计算，并返回单个值的函数。它们通常在SELECT语句的SELECT列表中使用，并与GROUP BY子句结合使用来汇总数据。聚合函数忽略NULL值，只对非NULL值进行计算。
2024-02-02 10:46:42
1566
原创 SQL中的left join和right join及具体实例
主要区别：主要区别在于它们各自关注的表不同。LEFT JOIN关注左表的完整性，而RIGHT JOIN关注右表的完整性。互换性：在大多数情况下，LEFT JOIN和RIGHT JOIN可以互换使用，只需交换它们的表位置即可。例如，的结果可以通过获得，反之亦然。使用频率：在实践中，LEFT JOIN的使用比RIGHT JOIN更为常见，部分原因是人们习惯于从左到右的阅读顺序，使得LEFT JOIN在逻辑上更直观。当需要使用RIGHT JOIN的场景时，很多开发者倾向于调整查询，使用LEFT JOIN。
2024-02-01 19:34:29
7238
原创 Oracle ERP
Oracle ERP (Enterprise Resource Planning) 是一套全面的企业资源规划解决方案，由Oracle公司开发。它旨在帮助企业管理和整合公司的关键业务流程。Oracle ERP涵盖了财务管理、供应链管理、制造、人力资源、项目管理等多个领域，通过提供各种模块化的软件组件来支持这些功能。Oracle ERP的主要特点和组成部分。
2024-02-01 09:37:30
1547
原创 算法设计与分析-Linear Programming 「国科大」卜东波老师
问题建模：设x1x2xn分别为 n 种不同食物的数量，其中每种食物包含 m 种营养成分。第 j 种食物中第 i 种营养成分的含量为aij，而 n 种食物的价格分别为c1c2cn。目标是找到一种配方，其中每种营养成分的含量至少为b1b2bm，同时最小化总成本。线性规划建模：minz∑j1ncj⋅xj∑j1naij⋅xj≥bifori12mx。
2024-01-30 20:19:04
1094
原创 算法设计与分析-Greedy 「国科大」卜东波老师
例如，给定三个字符串“AGCAT”、“AGACT”和“GGAAT”，给定字符串的共识字符串是“AGAAT”，因为“AGAAT”与这三个字符串之间的汉明距离之和是3，这是最小的。在你的总体计划中，每个士兵都有独特的责任，你不希望任何士兵知道其他士兵的计划，这样每个人都只能专注于他的任务。但如果我们分解为1和6或者6和1，其和为7，是最大的。根据这个算法，如果我们要找到数字和为20的最小不同数字组合，我们会从9开始，因为9是最大的单个数字，然后是8，然后是3（因为2已经不能再使用了，否则会超过20）。
2024-01-30 20:12:35
573
原创 算法设计与分析-Dynamic Programming「国科大」卜东波老师
通过这种方法，我们可以按顺序生成丑数，并且保证每次添加的都是当前最小的丑数，从而有效地解决了这个问题。排序后，任何两个相邻的元素，较小的数能整除较大的数的可能性更大。对于每个元素，检查它能整除哪些之前的元素，并更新它能构成的最大子集的大小。给定一组不同的正整数，找出最大的子集，使得该子集中的每一对元素（Si, Sj）满足：Si%Sj = 0或Sj%Si = 0。返回这个子集的最大大小。总体而言，这个动态规划算法通过计算较小问题的解来有效地构建更大问题的解，从而避免了重复的计算工作，并能够准确地计算出给定。
2024-01-30 18:12:17
1393
原创 算法设计与分析-Divide and conquer 「国科大」卜东波老师
因此，算法最终将准确地定位到第n小的值，即2n个值的中位数。因为房间是线性排列的，所以第一个房间之后的每个房间都只与一个房间相邻，所以这个计算是正确的。否则，将点集分为左右两部分，递归地在每部分中找到最近点对的距离，然后在跨越两部分的条带中找可能存在的更近的点对。该算法的时间复杂度为O(1)，因为它只涉及一些基本的算术操作，无论N的大小如何，这些操作的数量都是固定的。(a) 使用暴力算法解决这个问题，分析你实现的暴力算法的时间复杂度，并解释为什么该算法的时间复杂度是O(n^2)，其中n是点的数量。
2024-01-30 17:52:22
1136
原创 图卷积神经网络解密-谱方法-GNN（上）
图卷积神经网络（Graph Convolutional Networks，GCN）是一种专门用于处理图形数据的神经网络架构。图形数据指的是由节点V（vertices）和边E（edges）组成的图形结构，常见于社交网络、分子结构、交通网络等领域。GCN 的核心在于能够直接在图结构上运行，捕捉节点之间的复杂关系和结构特征。卷积运算实际上就是两个函数fff和ggg的数学操作，产生第三个函数hhh。连续情况卷积定义为两个函数乘积的积分，其中一个函数反转并移位。htf∗gt∫ft−。
2024-01-30 17:33:48
1442
原创 一个简单的MIPS-常见MIPS指令
这些指令的编码包括操作码（op）、寄存器指示（rs、rt、rd）、立即数（immediate）、基址（base）和偏移量（offset）。每个字段都有特定的位数和位置，这些位组合起来定义了指令的操作和操作数。
2024-01-09 15:52:08
971
原创 原码和补码之间的相互转化
写个笔记，防止遗忘。补码是一种计算机中用于表示有符号整数的方式，它允许使用相同的二进制加法操作来处理有符号数的加法和减法，简化了计算机的设计。
2024-01-09 10:12:56
6495
1
原创 图卷积神经网络之 - 图傅立叶变换的解释
这表明图傅立叶变换及其逆变换可以无损地在图的空间域和频域之间转换信号。在这个过程中，特征向量定义了图的频域，而特征值类似于传统傅立叶变换中的频率。，这个信号在图的节点上有不同的值。的特征值和特征向量。转换回空间域，结果是原始信号。我们计算了图拉普拉斯矩阵。
2023-12-29 10:39:02
1131
1
原创 图卷积神经网络之 - 图拉普拉斯矩阵的解释
图拉普拉斯矩阵是图论和谱图理论中的一个核心概念，它在图卷积神经网络（GCN）的设计中起着重要的作用。下面我将详细解释图拉普拉斯矩阵和归一化图拉普拉斯矩阵。
2023-12-29 10:38:27
2206
原创 Centos7下修改MySQL8.0数据库文件存放路径过程
如果之前安装了Mysql，卸载后重新安装Mysql启动后可能会发生/var/log/mysqld.sql中没有默认密码生成的问题，此时可以删除/var/lib/mysql 整个文件夹，然后重启mysqld服务就可以让整个数据库重新初始化并在/var/log/mysqld.log中生成默认密码了。查看MySQL安装目录。
2023-12-26 21:57:58
966
原创 数据结构-十大排序算法
十大排序算法分别是直接插入排序、折半插入排序、希尔排序、冒泡排序、快速排序、简单选择排序、堆排序、归并排序、基数排序、外部排序。其中插入排序包括直接插入排序、折半插入排序、希尔排序；交换排序包括冒泡排序、快速排序；选择排序包括简单选择排序、堆排序。
2023-12-26 21:28:09
4092
原创 linux进程创建fork函数详解
行为，即通过复制（包括内存空间和进程状态）创建一个新的进程。由于 Linux 0.11 使用了写时复制（copy-on-write）机制，这个过程在内存管理上是高效的。被调用，执行实际的进程复制。它包括复制 CPU 寄存器状态、内存空间、文件描述符等。用于创建一个新的进程，它是通过复制当前进程（父进程）的方式来实现的。这个过程实现了 Unix/Linux 系统中的典型的。：新进程被创建后，其 PID 被返回给父进程。系统调用时，内核开始执行创建新进程的过程。函数被调用以在进程表中找到一个空闲位置。
2023-12-25 22:54:58
545
原创 高级人工智能之群体智能：蚁群算法
蚁群算法（Ant Colony Optimization, ACO）是一种模拟自然界蚂蚁觅食行为的优化算法。它通常用于解决路径优化问题，如旅行商问题（TSP）。蚁群算法的基本步骤初始化：设置蚂蚁数量、信息素重要程度、启发因子重要程度、信息素的挥发速率和信息素的初始量。构建解：每只蚂蚁根据概率选择下一个城市，直到完成一次完整的路径。更新信息素：在每条路径上更新信息素，通常新的信息素量与路径的质量成正比。迭代：重复构建解和更新信息素的步骤，直到达到预设的迭代次数。
2023-12-24 23:08:33
2436
原创 博弈论：理解决策背后的复杂动态
博弈论可以分为两大类：非合作博弈和合作博弈。非合作博弈论涉及玩家独立行动，没有外部约束力量的情况；而合作博弈论涉及玩家可以通过约定、承诺或协议来联合行动的情况。经典的博弈论模型包括囚徒困境，它揭示了个体理性行为可能导致集体非理性结果的矛盾；鹰鸽博弈则用来解释动物行为以及人类社会中的冲突与合作。这些模型提供了预测个体在特定情境下决策行为的强大工具。
2023-12-24 22:21:12
1279
原创 中国科学院大学2023杨力祥老师操作系统高级教程思考题（2）
国科大操作系统高级教程思考题，参考书是《Linux内核设计的艺术-图解Linux操作系统架构设计与实现原理（第二版）》杨老师上课讲的特别棒，该文章供自己学习使用，参考往年学长学姐的文章。
2023-12-23 16:22:49
1809
1
原创 国科大胡伟武老师计算机体系结构课后答案（最新版）
胡伟武老师计算机体系结构参考答案，参考答案有第一次印刷和第二次印刷，这是第二次印刷，网上的其他版本基本都是第一次印刷，第二次印刷修改部分题目。pdf获取见文末。
2023-12-23 11:54:42
4735
1
原创 ChatGPT 4 测试Algorithm co-pilot prompts
可行解之间的关系是基于给孩子们分配的糖果总数。一个可行解可以变换到另一个可行解，通过增加某些孩子的糖果数以满足评分比邻居高的孩子得到更多糖果的规则。
2023-12-22 11:47:03
1527
原创 中国科学院大学2023杨力祥老师操作系统高级教程思考题（1）
国科大操作系统高级教程思考题，参考书是《Linux内核设计的艺术-图解Linux操作系统架构设计与实现原理（第二版）》杨老师上课讲的特别棒，该文章供自己学习使用，有欠妥当的地方欢迎批评指正，参考往年学长学姐的文章，今年又有一些新题。
2023-12-22 08:47:44
3693
原创 linux0.11源代码目录结构和各个文件实现的功能
Linux 0.11是一个早期版本的Linux内核，由Linus Torvalds在1991年开发。这个版本虽然相对简单，但它已经包含了现代操作系统的许多核心概念和组件。这个版本的Linux内核源代码结构相对较小，易于理解。它为今天的Linux内核和操作系统设计提供了基础。
2023-12-21 23:27:59
620
原创 等式约束问题的乘子法—PH算法
乘子法是求解等式约束优化问题的一种方法，而PH算法（Predictor-Hyperplane Algorithm）是其中的一种变体，常用于处理带有等式约束的优化问题。PH算法通过在每次迭代中构造并求解一个超平面来逼近目标函数的等高线，从而找到最优解。
2023-12-13 17:49:23
1247
原创 模拟退火、遗传算法、分枝定界
模拟退火算法是一种概率型优化算法，用于在大搜索空间中寻找近似最优解。这个算法受到物理退火过程的启发，物理退火过程中材料被加热后再慢慢冷却，原子在高温下获得移动的自由度，并在冷却过程中逐渐减少，最终形成低能量的有序结构。在这张图中，展示了模拟退火算法的一个迭代步骤。这里是这个过程的解释：- 算法计算新的解xnew的目标函数值fxnew与当前解xcurrent的目标函数值fxcurrent之差，记为δfxnew−fxcurrent。- 如果δ。
2023-12-13 17:09:27
1098
原创 详解运筹学单纯形法
Q1：单纯形法算法核心思想是什么？Q2：可以用一个实际的场景去解释单纯形法吗？Q3：单纯形法一定在边界处取得最优解吗？Q4：单纯形法通常用于求解什么类型的问题?单纯形法（Simplex Method）的核心思想是在线性规划问题的可行域的顶点之间进行系统的搜索，以找到使目标函数值最优（最大化或最小化）的解。：线性规划问题的解（如果存在）总是在可行域的顶点上。单纯形法利用这一事实，只在顶点之间移动，从而大大减少了搜索空间。：在搜索过程中，算法始终保持在可行域内，确保每一步的解都满足所有约束条件。
2023-12-12 16:18:39
2112
原创 算法最优化 - 最速下降法
这种方法使用函数的梯度（gradient）来指导搜索方向，即在当前点的负梯度方向上进行搜索，因为这个方向是函数值下降最快的方向。在二维空间中，想象一个山谷，最速下降法就像是一个人在山坡上直接朝最陡峭的方向下滑。在某些情况下，尤其是当函数的等高线呈延伸状时，最速下降法可能会遇到“之字形”下降或者缓慢逼近最优解的情况。这些方法通过更复杂的方式更新搜索方向和步长，可以更快地逼近最优解，特别是在非线性优化问题中。然而，在延长或狭窄的等高线上，算法可能会在沟壑中振荡，导致收敛速度变慢。
2023-12-12 10:12:00
1571
原创 考研 | 谨以此篇，记录我的23考研 中国科学院大学沈阳计算技术研究所
我看着那片属于我的天空，感受着来之不易的成就，我知道，这一年的颠沛流离不仅是一段辛酸的回忆，更是我人生中一段宝贵的经历。我相信通过攻读研究生学位，我能够在学术和职业道路上迈出更坚实的一步，并为自己的未来奠定更好的基础。茫茫的课本和笔记，仿佛是无边的海洋，每一个知识点都像是波涛汹涌的浪潮，试图把我吞噬。时光匆匆，日复一日，我以无尽的汗水和努力，耕耘着那片属于我的土地。曾有那么多的夜晚，疲惫的身体和心灵告诉我放弃的理由，但是考研是你自己的事情，不到最后一刻谁都不能说一定会输。
2023-07-04 19:54:53
781
胡伟武老师《计算机体系结构（第二版）》参考答案第二次印刷版-中国科学院大学
2023-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人