- 博客(55)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 LLM prompt提示工程调试方法经验技巧汇总
现在接到一个LLM模型任务，第一反应就是能不能通过精调prompt来实现，因为使用prompt不需要训练模型，只需输入指令就可以实现和LLM的交互。按照以往经验，不同的prompt对模型输出影响非常大，如果能构造一个好的prompt，往往可以达到事半功倍的效果。下面总结了目前我经常使用的一些构建prompt的技巧。
2023-11-15 10:34:58
825
原创 LLM大模型——langchain相关知识总结
LangChain 是一个用于开发由语言模型驱动的应用程序的框架。可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LangChain的主要价值支柱是：组件：用于处理语言模型的抽象，以及每个抽象的实现集合。无论是否使用LangChain框架的其余部分，组件都是模块化的，易于使用。现成的链：用于完成特定更高级别任务的组件的结构化组装，可以理解为一个个任务。
2023-07-31 21:15:24
1482
原创 大模型中的注意力机制——MHA、GQA、MQA
GQA（Grouped-Query Attention，GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints）是分组查询注意力，GQA将查询头分成G组，每个组共享一个Key 和 Value 矩阵。与MHA不同的，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。
2023-07-31 11:44:40
3668
原创 python语法常用小技巧，持续补充
grid 会将 grid 中的每个列表作为单独的参数传递给 zip() 函数。这样，zip(*grid) 就会返回一个迭代器，其中每个元素都是一个元组，包含来自 grid 中每个列表的相应位置的元素。这相当于将 grid 矩阵转置（将行变为列，将列变为行）
2023-07-30 15:56:16
171
原创 深度学习常用优化器总结，具详细（SGD,Momentum,AdaGrad,Rmsprop,Adam,Adamw）
优化器的本质是使用不同的策略进行参数更新。常用的方法就是梯度下降，那梯度下降是指在给定待优化的模型参数θ∈Rdθ∈Rd，和目标函数JθJ(\theta)Jθ，算法通过沿梯度∇Jθ∇Jθ的反方向更新权重θ\thetaθ，来最小化目标函数。学习率μ\muμ决定了每一时刻的更新步长。
2023-07-25 15:50:08
1058
4
原创 《统计学习方法》第五章决策树总结
决策树是一种基本的分类与回归方法，是一种描述对实例分类的树形结构。决策树还表示给定特征条件下类的条件概率分布(这已条件概率分布定义在结构空间的一个划分上)。
2022-11-18 17:37:10
677
原创 《统计学习方法》第三章k近邻总结与习题
KNN算法是一种基本分类与回归方法，其假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最邻近的训练实例的类别，通过多数表决等方式进行预测：一般使用的是欧氏距离。也可以使用其他距离：曼哈顿距离、切比雪夫距离、闵可夫斯基距离等。各种距离方法见链接：k值越小，模型整体变得越复杂，越容易过拟合。通常使用交叉验证法来选取最优k值：一般使用多数表决，即在 k 个临近的训练点钟的多数类决定输入实例的类。可以证明，多数表决规则等价于经验风险最小化。
2022-11-13 21:42:49
837
原创 通过Maven仓库下载jar包&解压jar包
maven官网网址下载jar包在官网找到要下载jar包的pom文件下载在终端执行：call mvn -f pom.xml dependency:copy-dependencies就会在当前目录生成target文件夹，里面的内容就是下载的jar包解压jar包cd到对应下载jar包的路径，然后执行jar -xvf 包名.jar即可解压。...
2022-04-17 21:50:41
1135
原创 docker搭建深度学习环境&pycharm配置docker远程调试
前言Pycharm需要专业版。远程服务器：安装docker（ssh默认已经配置好）本地笔记本：安装专业版pycharm
2022-04-11 14:23:42
3683
2
原创 Python随便刷刷
1.九宫幻方题目描述小明最近在教邻居家的小朋友小学奥数，而最近正好讲述到了三阶幻方这个部分，三阶幻方指的是将 1~9 不重复的填入一个 3*3 的矩阵当中，使得每一行、每一列和每一条对角线的和都是相同的。三阶幻方又被称作九宫格，在小学奥数里有一句非常有名的口诀：“二四为肩，六八为足，左三右七，戴九履一，五居其中”，通过这样的一句口诀就能够非常完美的构造出一个九宫格来。4 9 23 5 78 1 6有意思的是，所有的三阶幻方，都可以通过这样一个九宫格进行若干镜像和旋转操作之后得到。现在小明准备
2022-03-16 22:15:15
1171
原创 Pytorch坑——模型可复现性实现，随机种子设置
最近被pytorch的模型复现搞了一波心态，每次训练结果不一样，一开始还以为自己的网络优化有效，谁知每次训练结果是不固定的，调了很久终于让模型固定了下来，在此记录下这个坑。针对pytorch1.7.1进行随机种子的设置，使得网络每次训练结果固定。这样就能方便查看是修改网络导致的精度提升还是随机性导致的。def setup_seed(seed): # 下面两个常规设置了，用来np和random的话要设置 np.random.seed(seed) random.seed(seed)
2021-12-04 21:41:56
5539
7
原创 代码注释生成：《Deep code comment generation with hybrid lexical and syntactical information》论文笔记
原文链接：点此转跳来源：Empirical Software Engineering, 2019一、背景及介绍这篇论文的工作其实是之前他们所提出的一个模型——DeepCom（DeepCom的具体介绍可看我之前的一篇笔记：点此转跳）的升级版，新名字叫混合DeepCom，可以较好地学习代码的词汇和句法信息，从而提高注释生成的质量。主要区别如下：DeepComeHybrid-DeepCom输入仅AST源码+ASTAST遍历策略SBT（包含节点的type和value）S
2021-11-10 23:00:55
2593
8
原创 Leetcode刷题：二分法
用到二分法的题将在此处更新。文章目录笔记相关题目704. 二分查找笔记二分法的关键是对区间的定义，在循环中要始终坚持根据查找区间的定义来做边界处理，这个我也在学习中。相关题目704. 二分查找链接：https://leetcode-cn.com/problems/binary-search/题目描述：*解题思路定义 target 是在一个在左闭右闭的区间里，也就是[left, right]（这个很重要非常重要，当然也可以定义[left, right)，但是区间的定义决定
2021-10-24 14:10:10
119
原创 机器学习：梯度下降法实现多项式对数据的拟合
待拟合曲线为，noise为引入的噪声：现在打算用一个多项式来拟合这个函数：损失计算采用平方损失函数：各个权重的偏导容易计算得出为：代码如下：import numpy as npimport matplotlib.pyplot as pltdef init_data(): # 待拟合曲线f(x)=cos2x*[(x^2-1)^3+0.5] xdata = np.arange(-1, 1, 0.01) y = [((x ** 2 - 1) ** 3 + 0.5)
2021-10-09 22:48:42
1500
原创 编译kotlin项目报错：java.lang.ArrayIndexOutOfBoundsException: Index 11106 out of bounds for length 11106
写了个kotlin的helloworld想试试手动用maven编译，然后报错：[INFO] Compiled 1 Kotlin files using incremental compiler[INFO] ------------------------------------------------------------------------[INFO] BUILD FAILURE[INFO] --------------------------------------------------
2021-09-08 15:12:24
819
原创 Soot配置与生成cfg
Soot主要用于代码或日志的静态及动态分析，是一款用于分析和优化Java程序的软件。一、Soot配置1.下载Soot下载链接：https://soot-build.cs.uni-paderborn.de/public/origin/master/soot/soot-master/自己挑选个版本，我下的是4.0.0，然后下载里面的build/sootclasses-trunk-jar-with-dependencies.jar，这个文件包含soot运行所需的所有依赖包。其他两个得手动添加依赖项，比较麻
2021-09-07 21:38:26
1367
原创 Win10安装与配置Maven，实现java编译
一、下载Maven下载链接：https://maven.apache.org/download.cgi二、安装配置Maven1.新建个文件夹名字可以随意，主要是用来放Maven和默认下载的库文件2.解压下载的压缩包到上面新建的文件夹3.设置环境变量新建环境变量MAVEN_HOME，赋值D:\Apache maven\apache-maven-3.8.2，这里改成你自己的maven路径。在path变量下新建变量验证是否安装成功在CMD下键入命令：mvn -v出现上述内容就说明安
2021-09-04 22:12:08
377
原创 LeetCode刷题：数据结构篇（Java|C++实现）
用到一些典型数据结构的题将在此处更新。文章目录一、哈希表笔记相关题目1. 两数之和二、栈笔记相关题目20.有效括号一、哈希表笔记1.什么是哈希表哈希表离不开哈希函数，哈希函数就是根据key计算出应该存储地址的位置，而哈希表是基于哈希函数建立的一种查找表。2.哈希函数构造方法（1）直接定址法取关键字或关键字的某个线性函数值为哈希地址。即H(key)=key 或 H(key)=a*key+b (a,b为常数)。（2）数字分析法若关键字是以R为基的数（如：以10为基的十进制数），并且哈希
2021-08-21 18:02:58
223
原创 pycharm生成exe文件及关联ico图标
写了个工程想发布给其他电脑用，但别的电脑没有对应的环境怎么办？这时候可以生成个exe文件1.打开pycharm的Terminal2.pip下载个包pip install pyinstaller3.输入打包命令# w就是隐藏运行窗口，F指定py文件，i指定图标pyinstaller -w -i 你的图标.ico -F 你要打包的py文件（一般是主文件）.py运行完会在当前目录生成个dist文件夹，里面就是生成好的exe文件。有可能此时的exe图标并不是自己设定的，把他拖到另外的路径就可以
2021-08-18 11:15:40
1130
原创 关于2021年8月13日github不再支持密码身份验证的解决方案
今天上传个工程到github突然报错remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead.意思就是要用个人令牌连接的，一脸懵逼，没办法，之前没设置过，只好屁颠屁颠去设置。一、生成令牌找到最后点击生成即可。复制你生成的密钥，后面要用，不复制后面再次打开网页时看不到的二、删除之前的git用户密码缓存这一
2021-08-14 22:07:29
8337
8
原创 Attention Is All You Need：论文笔记及pytorch复现【Transformer】
论文链接：https://arxiv.org/abs/1706.03762文章目录一、 背景二、模型架构1.整体框架2.编码器3.解码器4.注意力层Scaled Dot-Product AttentionMulti-Head AttentionApplications of Attention in our Model5.位置前馈网络6.Embeddings 和 Softmax7.位置编码8.整体模型三、模型训练四、德语-英语翻译实战Transformer为许多 NLP 任务提供了一种新的架构，其完全基
2021-08-13 21:41:15
4102
1
原创 配置jupyter虚拟环境
发现conda建好的环境不能直接被jupyter使用，需要简单配置，特此记录：1. 确保已经安装好jupyter终端输入jupyter notebook若出现：并在浏览器可以打开，说明安装成功。2. 新建虚拟环境conda create -n your_env_name python=X.X（2.7、3.6、3.8等）3. 与jupyter建立连接先激活环境：conda activate your_env_name然后下载个包：pip install ipykernel
2021-08-12 21:06:01
17545
10
原创 DP经典回顾：背包问题
在学习动态规划，但是老是把控不住状态的定义和状态方程的转移，因此复习下背包问题，希望能有所提升。先记录下常用的几种类型吧，后面再慢慢记录学习。文章目录01背包完全背包多重背包待续...01背包问题描述有 N 件物品和一个容量为 V 的背包。放入第 i 件物品耗费的费用是 Ci，得到的价值是 Wi。求解将哪些物品装入背包可使价值总和最大。问题分析01背包的特点是：每种物品仅有一件，可以选择放或不放。定义状态：dp[i, v] 表示前 i 件物品恰放入一个容量为 v 的背包可以获得
2021-08-11 20:36:08
322
原创 LeetCode刷题：动态规划（Java|C++实现）
动态规划类型题转帖，持续更新~文章目录笔记练习题目91. 解码方法322. 零钱兑换笔记动态规划（dynamic-programming）大概意思就是先将一件事情分成若干阶段，然后通过阶段之间的转移达到目标。由于转移的方向通常是多个，因此这个时候就需要决策选择具体哪一个转移方向。动态规划所要解决的事情通常是完成一个具体的目标，而这个目标往往是最优解。且：阶段之间可以进行转移（动态）。达到一个可行解(目标阶段) 需要不断地转移，通过设计合适的转移达到最优解（规划）。动态规划和查表递归有很
2021-08-09 21:19:51
420
原创 LeetCode刷题：矩阵快速幂
有关矩阵快速幂的题都记录在此，持续更新~文章目录笔记1137.第N个泰波那契数笔记矩阵快速幂原理：如果现在要算X8一般思路：即XXXXXXXX一个一个往上面乘，则乘法运算进行7次。换个思路：采用(XX)(XX)(XX)(XX)这种求法，先进行乘法得X2,然后对X2再执行三次乘法，这样乘法运算执行4次。已经比七次要少。快速幂思路：快速幂思路和上一个思路类似，就是划分乘法，使得总乘法次数尽可能少所。现在要考虑应该怎么分让计算比较快。快速幂采用的则是二进制的加权划分方法：例如计算X19次方
2021-08-08 19:37:31
459
原创 LeetCode刷题：滑动窗口（Java|C++实现）
有关滑动窗口类型的题目都记录在此~持续更新文章目录笔记练习题目209. 长度最小的子数组笔记滑动窗口算法广泛应用于网络协议等，滑动窗口算法是一种思路，可以解决很多问题，比较适合滑动窗口解决的问题通常是题目要求连续的情况。滑动窗口主要用来处理连续问题。比如题目求解“连续子串 xxxx”，“连续子数组 xxxx”，就应该可以想到滑动窗口。能不能解决另说，但是这种敏感性还是要有的。类型主要有：固定窗口大小窗口大小不固定，求解最大的满足条件的窗口窗口大小不固定，求解最小的满足条件的窗口（上面的
2021-08-08 12:00:54
222
原创 LeetCode刷题：字符串（Java|C++实现）
有关字符串类型的题目都会总结记录在此，方便自己日后查看。1002.查找常用字符题目链接：https://leetcode-cn.com/problems/find-common-characters题目描述：给定仅有小写字母组成的字符串数组 A，返回列表中的每个字符串中都显示的全部字符（包括重复字符）组成的列表。例如，如果一个字符在每个字符串中出现 3 次，但不是 4 次，则需要在最终答案中包含该字符 3 次。你可以按任意顺序返回答案。个人解题思路：个人的一般思路（不得不说官方还是巧妙的很），
2021-08-07 16:05:16
2519
3
原创 Java代码AST分析：从依赖包安装到具体代码实现
最新想要学习分析java的AST，发现eclipse可以实现，但无奈网上大多都直接贴代码，没有告诉需要下什么jar包以及怎么导入，而eclipse并无自带AST的相关jar包，需要我们自己去找来下载。于是具体记录下，使用eclopse分析AST的具体流程，从依赖包的安装到具体代码实现。一、安装 ASTView打开Eclipse编辑器，点击Help->Eclipse Marketplace，搜索AST安装。二、ASTView的使用打开ASTView: Window > Show Vie
2021-08-06 18:02:36
2899
3
chn2eng_seq2seq.rar
2021-08-04
attention-seq2seq.rar
2021-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人