- 博客(51)
- 收藏
- 关注
RSS订阅原创 大模型理论基础5
只包含解码器（Decoder-only）的模型（例如，GPT-3）：计算单向上下文嵌入（contextual embeddings），一次生成一个token。只包含编码器（Encoder-only）的模型（例如，BERT）：计算双向上下文嵌入。编码器解码器（Encoder-decoder）模型（例如，T5）：编码输入，解码输出。然后像GPT-2一样对输出进行自回归解码。首先像BERT一样对输入进行双向编码。
2024-01-24 00:08:21
960
原创 大模型理论基础4
大模型数据大语言模型背后的数据为了实现高度的能力（如语言和世界知识），这些文本应涵盖广泛的领域、类型、语言等。WebText和OpenWebText数据集WebText数据集被用于训练GPT-2模型可以利用OpenWebText来进行一些原本需要WebText数据集的实验和研究Colossal Clean Crawled Corpus（C4）C4语料库被用来训练T5模型Benchmark的数据污染问题若基准数据在模型的训练数据中出现过，基准性能就可能会产生偏差。一般而言，在
2024-01-22 00:34:12
427
原创 大模型理论基础3
首先要知道：语言模型 p 是建立在词元（token）序列的上的一个概率分布输出，其中每个词元来自某个词汇表V，词元(token)一般在NLP（自然语言处理）中来说，通常指的是一个文本序列中的最小单元，可以是单词、标点符号、数字、符号或其他类型的语言元素。解释：Transformer的关键是注意机制，我们可以将注意力看作是具有多个方面（例如，句法、语义）的匹配。为了适应这一点，我们可以同时使用多个注意力头，并简单地组合它们的输出。自注意力使得所有的词元都可以“相互通信”，而前馈层提供进一步的连接。
2024-01-21 00:33:05
423
原创 大模型理论基础2
困惑度，自然语言处理和语言模型中的一个重要概念，用于衡量语言模型的性能（如果一个模型的困惑度较低，那么它在预测下一个词的时候就会更加准确。Penn Tree Bank：是自然语言处理中的一个经典数据集，最初是为了进行句法解析而标注的。
2024-01-18 00:03:45
426
原创 大模型理论基础1
T=∞：从整个词汇表上的均匀分布中采样 然而，如果我们仅将概率提高到 1/T 的次方，概率分布可能不会加和到 1。我们将标准化版本 p T(x i∣x 1:i−1)∝p(xi∣x 1:i−1)1/T称为退火条件概率分布。是一个较新的架构（于2017年为机器翻译开发），再次返回固定上下文长度n，但更易于训练（并利用了GPU的并行性）。，包括长短期记忆（LSTMs），使得一个令牌x i 的条件分布可以依赖于整个上下文 x 1:i−1（有效地使 n=∞ ），但这些模型难以训练。
2024-01-15 21:53:13
475
原创 Vue 基本语法
常见问题：Windows上运行vue，提示无法加载文件，表示用户权限不足。解决方案：用管理员身份打开终端，输入set-ExecutionPolicy RemoteSigned，然后输入y1.2 基本概念script部分export default对象的属性：...
2022-06-02 23:58:42
114
原创 JavaScript 2 基本语法
1.6 对象英文名称：Object 一切皆对象由key:value对构成value可以是变量、数组、对象、函数等函数定义中的this用来引用该函数的“拥有者”let person = { name: "yxc", age: 18, money: 0, add_money: function (x) { this.money += x; }}对象属性与函数的调用方式：person.name、person.add_money()
2022-05-30 01:24:21
184
原创 第五章：SQL高级处理
第五章：SQL高级处理5.1 窗口函数5.1 窗口函数窗口函数也称为OLAP函数。<窗口函数> OVER ([PARTITION BY <列名>] ORDER BY <排序用列名>) 窗口函数最关键的是搞明白关键字 PARTITON BY 和 ORDER BY 的作用。PARTITON BY 是用来分组，即选择要看哪个窗口，类似于 GROUP BY 子句的分组功能，但是 PARTITION BY 子句并不具备 GR
2022-05-27 19:43:39
98
原创 第四章：集合运算
第四章：集合运算4.1 表的加减法4.1.1 什么是集合运算4.1.2 表的加法–UNION4.1.2.1 UNION （并集）SELECT product_id, product_name FROM product UNIONSELECT product_id, product_name FROM product2;UNION 等集合运算符通常都会除去重复的记录4.1.2.2 UNION 与 OR 谓词-- 使用 OR 谓词SELECT * FROM P
2022-05-26 00:35:11
2798
原创 JavaScript 1基本语法
1.1 JS的调用方式与执行顺序使用方式常见使用方式有以下几种： - 直接在<script type="module"></script>标签内写JS代码 - 直接引入文件：<script type="module" src="/static/js/index.js"></script> - 将所需的代码通过import关键字引入到当前作用域常用第三种方法例如：let name = "acwing";function print() {
2022-05-24 00:13:33
143
原创 第三章 复杂一点的查询
第三章 复杂一点的查询3.1 视图3.1.1 什么是视图视图是一个虚拟的表操作视图时会根据创建视图的SELECT语句生成一张虚拟表3.1.2 视图与表有什么区别3.1.3 为什么会存在视图通过定义视图可以将频繁使用的SELECT语句保存以提高效率。通过定义视图可以使用户看到的数据更加清晰。通过定义视图可以不对外公开数据表全部字段，增强数据的保密性。通过定义视图可以降低数据的冗余。3.1.4 如何创建视图创建视图的基本语法如下：CREATE VIEW <视图名称&
2022-05-23 00:30:13
123
原创 第二章：基础查询与排序
第二章：基础查询与排序2.1 SELECT语句基础2.1.1 从表中选取数据SELECT语句（查询语句）SELECT <列名>, FROM <表名>;2.1.2 从表中选取符合条件的数据WHERE语句（条件判断）SELECT <列名>, …… FROM <表名> WHERE <条件表达式>;2.1.3 相关法则星号（*）代表全部列的意思。SQL中可以随意使用换行符，不影响语句执行（但不可插入空行）。设
2022-05-19 22:40:28
89
原创 第一章：初识数据库
1.1 初识数据库1.1.1 DBMS的种类DBMS 主要通过数据的保存格式（数据库的种类）来进行分类，现阶段主要有以下 5 种类型1. 层次数据库2. 关系数据库3. 面向对象数据库4. XML数据库5. 键值存储系统1.1.2 RDBMS的常见系统结构客户端 / 服务器类型（C/S类型）1.2 初识 SQLSQL 语句可以分为以下三类DDL ：DDL（Data Definition Language，数据定义语言） 用来创建或者删除存储数据用的数据库以及数据库中的表等对象。
2022-05-17 23:33:53
123
原创 模型搭建和评估
第三章：模型搭建和评估前期导入import pandas as pdimport numpy as np# 这是一个基于matplotlib进行高级封装的可视化库，相比之下，绘制图表更为集成化、绘图风格具有更高的定制性。import seaborn as snsimport matplotlib.pyplot as plt#Pyplot 是 Matplotlib 的子库，提供了和 MATLAB 类似的绘图 API。from IPython.display import Image%m
2022-03-23 00:53:31
1945
原创 数据分析之数据可视化
第二章：数据可视化前期准备# 加载所需的库# 如果出现 ModuleNotFoundError: No module named 'xxxx'# 你只需要在终端/cmd下 pip install xxxx 即可%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pyplot as plttext = pd.read_csv(r'result.csv')text.head()2.7：如何让人
2022-03-21 23:44:33
505
1
原创 数据分析之数据重构
第二章：数据重构2.4：数据的合并2.4.1：将data文件夹里面的所有数据都载入，与之前的原始数据相比，观察他们的之间的关系text_left_up = pd.read_csv("data/train-left-up.csv")text_left_down = pd.read_csv("data/train-left-down.csv")text_right_up = pd.read_csv("data/train-right-up.csv")text_right_down = pd.read
2022-03-19 15:46:46
567
原创 数据清洗及特征处理
第二章：数据清洗及特征处理2.1 缺失值观察与处理2.1.1 ：缺失值观察#方法一df.info()#方法二df.isnull().sum()#请查看Age， Cabin， Embarked列的数据df[['Age','Cabin','Embarked']].head(3)2.1.2 ：对缺失值进行处理#方法一df[df['Age']==None]=0df.head()#方法二df[df['Age'].isnull()] = 0 # 还好df.head()#方法三
2022-03-17 15:15:28
441
原创 pandas基础
第一章：数据载入及初步观察1.1：载入数据1.1.1：导入numpy和pandasimport numpy as npimport pandas as pd1.1.2：导入数据#相对路径导入数据pd.read_csv('train.csv') #使用相对路径载入数据df.shape #查看数据行和列df.head() #查看头部和尾部数据df.T #将数据转置#绝对路径导入数据import os os.path.abspath('train.csv') #查看数据的绝对路径p
2022-03-14 15:38:09
461
原创 165. 小猫爬山
题目链接https://www.acwing.com/problem/content/description/167/ 题意 将小猫放入不同的盒子中，求最少要用多少个盒子。思路 暴力搜索，全部遍历一遍坑点 无，模板题代码 #include<bits/stdc++.h>using namespace std;const int N=20;int ans=N;int n,w;int cat[N],sum[N];void dfs(int u,int k)
2021-12-22 16:45:36
91
原创 题目 1346. 回文平方
题目链接 题意 第一个表示满足平方值转化为 B 进制后是回文数字那个数，第二个数表示第一个数的平方。所有满足条件的数字按从小到大顺序依次输出。 思路 将字符串改成数字再将数字反转 坑点 10用A表示，11用B表示 代码 #include<bits/stdc++.h>using namespace std;int n;int main(){ cin>>n; for(int i=1;i<=300;i++) ..
2021-12-19 19:45:32
190
原创 题目 1345. 序号命名
题目链接 题意 每行包含一个由大写字母构成的字符串，表示可接受名字名单中的一个名字。 思路 先判断后排序大模拟题 坑点 无 代码 #include<bits/stdc++.h>using namespace std;int get(char c){ if(c=='A'||c=='B'||c=='C') return 2; if(c=='D'||c=='E'||c=='F') return 3; if(c=='G'||c=='..
2021-12-19 19:15:52
251
原创 题目 1344. 转换
题目链接 题意 给定两个矩阵，判断是否可以通过题目中所给的6种变换从第一个矩阵变换到第二个矩阵。 思路 手写矩阵变换的函数 坑点 无 代码 #include<iostream>#include<stdio.h>#include<fstream>#include<algorithm>#include<cmath>#include<deque>#include<vector..
2021-12-14 16:52:57
3918
原创 题目 1343. 挤牛奶
题目链接 题意 从时间轴的左到右，找出有农民在挤奶的最长时间，以及没有农民在挤奶的最长时间。 思路 判断每一个区间是否与前一个区间重叠，重叠合并，不重叠更新最大值 坑点 时时更新最大值 代码 #include<bits/stdc++.h>using namespace std;struct name{long long int b,e;}num[5005];bool cmp(name x,name y){return x.b&..
2021-12-14 16:38:11
4898
原创 题目 1342. 断开的项链
题目链接 题意 找出从左到右只能是w或r，w或b，并且从右到左只能是w或r，w或b的最大的长度。 思路 破环成链暴力枚举+判断 坑点 w可以看作是两种颜色。 代码 #include<iostream>#include<stdio.h>#include<fstream>#include<algorithm>#include<cmath>#include<deque>#include&l..
2021-12-14 16:29:23
107
原创 题目 1341. 十三号星期五
题目链接 题意 算出n年后，在13号的有多少个星期一，星期二，星期三，星期四，星期五，星期六，星期日 思路 日期题枚举每一天，判断每一个月13号是星期几 坑点 判断平闰年 代码 #include<bits/stdc++.h>using namespace std;bool isleap(int year)//判断是否为闰年 { return (year%4==0 && year%100!=0) || (year%400==0);/..
2021-12-14 11:23:07
4554
原创 题目 1340. 贪婪的送礼者
题目链接 题意 每个人都有送礼和收礼，算出所有人最后剩下多少钱 思路 用结构体，哈希，利用下标表示坑点 无 代码 #include<iostream>#include<stdio.h>#include<fstream>#include<algorithm>#include<cmath>#include<deque>#include<vector>#include<qu..
2021-12-14 11:16:36
144
原创 题目 1339. 你的旅途由此开始
题目链接 题意 将两个字符转换成数字，再将数字相乘，如果两个数字相等则输出GO，否则输出STAY。 思路 利用ASCII码进行从字符到数字的转换 坑点 无 代码 #include<bits/stdc++.h>using namespace std;int main(){ string s,t; int sum1=1,sum2=1; cin>>s>>t; int m=..
2021-12-14 11:01:24
361
原创 2021-10-27新生训练赛 奇数单增序列
《奇数单增序列》题目蒜头君给了一个长度为N（不大于500）的正整数序列（正整数的值不超过N），请将其中的所有奇数取出，并按升序输出。输入格式共 2 行：第 1 行为N；第2行为N个正整数，其间用空格间隔。输出格式增序输出的奇数序列，数据之间以逗号间隔。数据保证至少有一个奇数。Sample Input101 3 2 6 5 4 9 8 7 10Sample Output1,3,5,7,9题意将数列中的奇数取出，递增排序排序可以采用冒泡排序，也可以使用快速排序思路水题，基本数.
2021-10-28 17:33:48
176
原创 2021-09-26 刷DY
刷DY是简单题#include<bits/stdc++.h>using namespace std;int main(){ int a[10005]; int n,m,c,sum=0,num=0,q=0; cin>>n>>m; for(int i=0;i<n;i++) { cin>>c>>a[i]; if(c==2) { a[i]=2*a[i]; } if(c==3) { a[i]=3*
2021-09-26 20:18:48
65
原创 2021-05-18
B思路用结构体代码#include<bits/stdc++.h>using namespace std;int cmp(int a,int b){//定义结构体 if(a!=b)return a<b; return a;}int main(){ int a,b; int num=0; int ans[99999]; long int t=0; while(1){ scanf("%d",&a); if(a!=0){ ans[num]=a;
2021-05-18 20:40:02
51
原创 2021-05-18
C思路每一轮金牌，银牌，铜牌分别相加。坑点无代码#include<bits/stdc++.h>using namespace std;int main(){ int n,jin=0,ying=0,tong=0,sum=0,sum1=0,sum2=0,sum3=0; int num[30][30]; cin>>n; for(int i=0;i<n;i++) { cin>>jin>>ying>>tong; su
2021-05-18 20:31:41
54
原创 输出图形
思路打印图形，分正方形和菱形坑点正方形简单菱形分两个部分打印，控制空格就行，记得换行。代码#include<bits/stdc++.h>using namespace std;int main(){ char m; int n,t=1; cin>>m>>n; if(m=='Z') { for(int i=0;i<n;i++)//有n行 { for(..
2021-05-11 16:10:45
148
转载 2021-05-09
题目一个长度为M的正整数数组A，表示从左向右的地形高度。测试一种加农炮，炮弹平行于地面从左向右飞行，高度为H，如果某处地形的高度大于等于炮弹飞行的高度H（Ai >= H），炮弹会被挡住并落在i - 1处，则Ai−1 + 1。如果H <= A0，则这个炮弹无效，如果H > 所有的Ai，这个炮弹也无效。现在给定N个整数的数组B代表炮弹高度，计算出最后地形的样子。例如：地形高度A = {1, 2, 0, 4, 3, 2, 1, 5, 7}, 炮弹高度B = {2, 8, 0, 7, 6, 5
2021-05-09 09:52:14
101
原创 劳动最光荣 最
题目描述定义一个字符串的无序度为所有位置后面的字母比该位置的字母小的总数之和。比如"DAABEC’'这个字符串的无序度是5，因为D后面有4个位置比它小（AABC），E后面有1个比它小（C），其它位置后面没有比自己小的。" AACEDGG “的无序度为1（E后面有一个D比它小）。” ZWQM "的无序度为6，每个位置后面所有的字母都比它小。现在你的任务是给定一些字符串（只由大写字母组成），把他们按照无序度从小到大排序，如果无序度一样，那么就按照输入的相对顺序排序。输入格式单组测试数据。 第一行有两个整
2021-05-02 23:11:24
126
原创 劳动光荣 动
题目描述由键盘输入一个大写字母（A 到 Z 中的任意一个），输出如下图所示由相关大写字母组成的图形。所输入的字母一定为输出文件的第一个字符（位于图形的左上角），其余部分的字母构成规律和分布由样例给出。一些关于空白的说明：由于样例不是等宽字符，所以看起来比较丑陋。51nod并不对比答案中的空白，所以只需要正确输出每行的内容即可。如果你打算正确输出所有内容，需注意，每行行末没有不可见的空格。输入格式输入只有一行，仅为一个大写英文字母。输出格式输出文件包含一个如样例所示的图形。注意图形的行数与输入
2021-05-02 22:25:36
147
原创 劳动光荣 劳
题目描述蒜术师又为你准备了一个式子，快来看看整除是怎样的吧。给定 3个整数 a,b,c，计算表达式 (a+b)/c的值，/是整除运算。输入格式输入仅一行，包括三个整数 a,b,c, 数与数之间以一个空格分开。(-10,000<=a,b,c<=10,000,c!=0)输出格式输出一行，即表达式的值。样例输入1 1 3样例输出0思路大水题坑点无代码#include<bits/stdc++.h>using namespace std;int main(
2021-05-02 22:15:11
77
原创 最大公约数和最小公倍数问题
题目描述输入二个正整数x 0 , y 0 ( 2 ≤ x 0 ≤ 100000 ， 2 ≤ y 0 ≤1000000 ) ，求出满足下列条件的P ，Q 的个数。条件:1.P ，Q是正整数。2.要求P 、 Q以x 0 为最大公约数，以y 0 为最小公倍数。试求：满足条件的所有可能的两个正整数的个数。输入格式2 个正整数x 0 ,y 0 。输出格式1 个数，表示求出满足条件的P ,Q 的个数。样例输入3 601样例输出4思路用最大公约数的函数，枚举p，用x0*y0/p来求出Q。
2021-04-11 09:28:19
106
原创 2021-03-29
***翻硬币题目描述蒜头君正在玩一个“翻硬币”的游戏。桌上放着排成一排的若干硬币。我们用’*'表示正面，用’o’表示反面（是小写字母，不是零）。比如，可能情形是：“oo*oooo”如果同时翻转左边的两个硬币，则变为：“oooo***oooo”现在小明的问题是：如果已知了初始状态和要达到的目标状态，每次只能同时翻转相邻的两个硬币,那么对特定的局面，最少要翻动多少次呢？我们约定：把翻动相邻的两个硬币叫做一步操作。输入两行等长的字符串，分别表示初始状态和要达到的目标状态。每行的长度<
2021-03-29 18:16:37
223
2
原创 2021-03-27A+B和C
***A+B和C题目描述给定区间[-231, 231]内的3个整数A、B和C，请判断A+B是否大于C。输入输入第1行给出正整数T(<=10)，是测试用例的个数。随后给出T组测试用例，每组占一行，顺序给出A、B和C。整数间以空格分隔。输出对每组测试用例，在一行中输出“Case #X: true”如果A+B>C，否则输出“Case #X: false”，其中X是测试用例的编号（从1开始）。样例输入41 2 32 3 42147483647 0 21474836460 -2
2021-03-27 21:28:07
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人