- 博客(236)
- 收藏
- 关注
RSS订阅原创 15. 自监督学习(Self-supervised Learning)(三) — BERT的奇闻异事
P48 自监督学习(Self-supervised Learning)(三) — BERT的奇闻异事Why does BERT work：
2023-05-10 21:01:17
200
2
原创 14. 自监督学习(Self-supervised Learning)(二) — BERT简介
P47 自监督学习(Self-supervised Learning)(二) — BERT简介Self-supervised Learning：Bert 原理：评估：How to use BERT：Pre-training a seq2seq model：
2023-05-09 21:49:03
172
转载 6. 机器学习策略 -- 1
6.1 训练/开发/测试集划分（Train/dev/test distributions）举个例子，要开发一个猫分类器，然后在这些区域里运营，美国、英国、其他欧洲国家，南美洲、印度、中国，其他亚洲国家和澳大利亚，那么应该如何设立开发集和测试集呢？建议的是将所有数据随机洗牌，放入开发集和测试集，所以开发集和测试集都有来自八个地区的数据，并且开发集和测试集都来自同一分布，这分布就是所有数据混在一起。6.2 开发集和测试集的大小（Size of dev and test sets）你可能听说过一条经验
2022-02-22 15:49:49
329
转载 5. 超参数调试、Batch正则化和程序框架
5.1 调试处理（Tuning process）学习速率是需要调试的最重要的超参数。此外，还有一些参数需要调试，例如Momentum参数，0.9就是个很好的默认值。还会调试mini-batch的大小，以确保最优算法运行有效。还会经常调试隐藏单元，用橙色圈住的这些，这三个是觉得其次比较重要的，相对于而言。重要性排第三位的是其他因素，层数有时会产生很大的影响，学习率衰减也是如此。当应用Adam算法时，事实上，我从不调试β1，β2 和 ε，我总是选定其分别为0.9，0.999和 10−810^{-8}10−
2022-02-09 17:41:37
123
转载 4. 优化算法 (Optimization algorithms)
4.1 理解mini-batch梯度下降法（Understanding mini-batch gradient descent）如果mini-batch大小既不是1也不是m，应该取中间值，那应该怎么选择呢？其实是有指导原则的。首先，如果训练集较小，直接使用batch梯度下降法，样本集较小就没必要使用mini-batch梯度下降法，你可以快速处理整个训练集，所以使用batch梯度下降法也很好，这里的少是说小于2000个样本，这样比较适合使用batch梯度下降法。不然，样本数目较大的话，一般的mini-ba
2022-02-08 16:41:49
194
转载 3. 深度学习的实践层面(Practical aspects of Deep Learning)
3.1 偏差，方差（Bias /Variance）假定训练集误差是1%，为了方便论证，假定验证集误差是11%，可以看出训练集设置得非常好，而验证集设置相对较差，我们可能过度拟合了训练集，在某种程度上，验证集并没有充分利用交叉验证集的作用，像这种情况，我们称之为“高方差”。通过查看训练集误差和验证集误差，我们便可以诊断算法是否具有高方差。也就是说衡量训练集和验证集误差就可以得出不同结论。假设训练集误差是15%，我们把训练集误差写在首行，验证集误差是16%，假设该案例中人的错误率几乎为0%，人们浏览这些
2022-01-17 16:10:27
126
转载 2. 深层神经网络(Deep Neural Networks)
2.1 深层神经网络（Deep L-layer neural network）有一个隐藏层的神经网络，就是一个两层神经网络。当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。2.2 为什么使用深层表示？（Why deep representations?）首先，深度网络究竟在计算什么？如果在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当输入一张脸部的照片，然后可以把深度神经网络的第一层，当成一个特征探测器或者边缘探测器。在这个例子里，会建一个大概有20个隐藏单元的深
2022-01-07 18:27:10
1273
转载 1. 激活函数（Activation functions）
1.1 激活函数（Activation functions）选择激活函数的经验法则如果输出是0、1值（二分类问题），则输出层选择sigmoid函数，然后其它的所有单元都选择Relu函数。这是很多激活函数的默认选择，如果在隐藏层上不确定使用哪个激活函数，那么通常会使用Relu激活函数。有时，也会使用tanh激活函数，但Relu的一个优点是：当是负值的时候，导数等于0。这里也有另一个版本的Relu被称为Leaky Relu。当是负值时，这个函数的值不是等于0，而是轻微的倾斜，如图。这个函数通常比
2022-01-07 18:26:14
514
转载 1055 集体照 (25 分)
拍集体照时队形很重要，这里对给定的 N 个人 K 排的队形设计排队规则如下：每排人数为 N/K（向下取整），多出来的人全部站在最后一排；后排所有人的个子都不比前排任何人矮；每排中最高者站中间（中间位置为 m/2+1，其中 m 为该排人数，除法向下取整）；每排其他人以中间人为轴，按身高非增序，先右后左交替入队站在中间人的两侧（例如5人身高为190、188、186、175、170，则队形为175、188、190、186、170。这里假设你面对拍照者，所以你的左边是中间人的右边）；若
2021-12-26 11:04:10
92
转载 1054 求平均值 (20 分)
本题的基本要求非常简单：给定 N 个实数，计算它们的平均值。但复杂的是有些输入数据可能是非法的。一个“合法”的输入是 [−1000,1000] 区间内的实数，并且最多精确到小数点后 2 位。当你计算平均值的时候，不能把那些非法的数据算在内。输入格式：输入第一行给出正整数 N（≤100）。随后一行给出 N 个实数，数字间以一个空格分隔。输出格式：对每个非法输入，在一行中输出 ERROR: X is not a legal number，其中 X 是输入。最后在一行中输出结果：The average o
2021-12-22 18:21:26
97
转载 1056 组合数的和 (15 分)
给定 N 个非 0 的个位数字，用其中任意 2 个数字都可以组合成 1 个 2 位的数字。要求所有可能组合出来的 2 位数字的和。例如给定 2、5、8，则可以组合出：25、28、52、58、82、85，它们的和为330。输入格式：输入在一行中先给出 N（1 < N < 10），随后给出 N 个不同的非 0 个位数字。数字间以空格分隔。输出格式：输出所有可能组合出来的2位数字的和。输入样例：3 2 8 5输出样例：330解题思路：sum统计所有可能组合出来的两位数字之和
2021-12-21 18:15:30
65
转载 1048 数字加密 (20 分)
本题要求实现一种数字加密方法。首先固定一个加密用正整数 A，对任一正整数 B，将其每 1 位数字与 A 的对应位置上的数字进行以下运算：对奇数位，对应位的数字相加后对 13 取余——这里用 J 代表 10、Q 代表 11、K 代表 12；对偶数位，用 B 的数字减去 A 的数字，若结果为负数，则再加 10。这里令个位为第 1 位。输入格式：输入在一行中依次给出 A 和 B，均为不超过 100 位的正整数，其间以空格分隔。输出格式：在一行中输出加密后的结果。输入样例：1234567 368782
2021-12-12 16:44:54
136
转载 1053 住房空置率 (20 分)
在不打扰居民的前提下，统计住房空置率的一种方法是根据每户用电量的连续变化规律进行判断。判断方法如下：在观察期内，若存在超过一半的日子用电量低于某给定的阈值 e，则该住房为“可能空置”；若观察期超过某给定阈值 D 天，且满足上一个条件，则该住房为“空置”。现给定某居民区的住户用电量数据，请你统计“可能空置”的比率和“空置”比率，即以上两种状态的住房占居民区住房总套数的百分比。输入格式：输入第一行给出正整数 N（≤1000），为居民区住房总套数；正实数 e，即低电量阈值；正整数 D，即观察期阈值。随
2021-12-12 16:20:47
128
转载 1045 快速排序 (25 分)
著名的快速排序算法里有一个经典的划分过程：我们通常采用某种方法取一个元素作为主元，通过交换，把比主元小的元素放到它的左边，比主元大的元素放到它的右边。 给定划分后的 N 个互不相同的正整数的排列，请问有多少个元素可能是划分前选取的主元？例如给定 N=5, 排列是1、3、2、4、5。则：1 的左边没有元素，右边的元素都比它大，所以它可能是主元；尽管 3 的左边元素都比它小，但其右边的 2 比它小，所以它不能是主元；尽管 2 的右边元素都比它大，但其左边的 3 比它大，所以它不能是主元；类似原因，4
2021-12-04 12:16:07
96
转载 1047 编程团体赛 (20 分)
编程团体赛的规则为：每个参赛队由若干队员组成；所有队员独立比赛；参赛队的成绩为所有队员的成绩和；成绩最高的队获胜。现给定所有队员的比赛成绩，请你编写程序找出冠军队。输入格式：输入第一行给出一个正整数 N（≤10410^4104），即所有参赛队员总数。随后 N 行，每行给出一位队员的成绩，格式为：队伍编号-队员编号 成绩，其中队伍编号为 1 到 1000 的正整数，队员编号为 1 到 10 的正整数，成绩为 0 到 100 的整数。输出格式：在一行中输出冠军队的编号和总成绩，其间以一个空格分隔。注
2021-12-04 12:13:08
214
转载 1042 字符统计 (20 分)
请编写程序，找出一段给定文字中出现最频繁的那个英文字母。输入格式：输入在一行中给出一个长度不超过 1000 的字符串。字符串由 ASCII 码表中任意可见字符及空格组成，至少包含 1 个英文字母，以回车结束（回车不算在内）。输出格式：在一行中输出出现频率最高的那个英文字母及其出现次数，其间以空格分隔。如果有并列，则输出按字母序最小的那个字母。统计时不区分大小写，输出小写字母。输入样例：This is a simple TEST. There ARE numbers and other sym
2021-11-29 20:18:04
121
转载 1041 考试座位号 (15 分)
每个 PAT 考生在参加考试时都会被分配两个座位号，一个是试机座位，一个是考试座位。正常情况下，考生在入场时先得到试机座位号码，入座进入试机状态后，系统会显示该考生的考试座位号码，考试时考生需要换到考试座位就座。但有些考生迟到了，试机已经结束，他们只能拿着领到的试机座位号码求助于你，从后台查出他们的考试座位号码。输入格式：输入第一行给出一个正整数 N（≤1000），随后 N 行，每行给出一个考生的信息：准考证号 试机座位号 考试座位号。其中准考证号由 16 位数字组成，座位从 1 到 N 编号。输入保证
2021-11-28 16:11:40
114
转载 1006 Sign In and Sign Out (25 分)
At the beginning of every day, the first person who signs in the computer room will unlock the door, and the last one who signs out will lock the door. Given the records of signing in’s and out’s, you are supposed to find the ones who have unlocked and loc
2021-11-28 09:17:47
102
转载 1007 Maximum Subsequence Sum (25 分)
Given a sequence of K integers { N1,N2,...,NkN_1,N_2,...,N_kN1,N2,...,Nk }. A continuous subsequence is defined to be { Ni,Ni+1,...,NjN_i,N_{i+1},...,N_jNi,Ni+1,...,Nj } where 1≤i≤j≤K. The Maximum Subsequence is the continuous subsequence which has t
2021-11-15 20:08:44
53
转载 1015 Reversible Primes (20 分)
A reversible prime in any number system is a prime whose “reverse” in that number system is also a prime. For example in the decimal system 73 is a reversible prime because its reverse 37 is also a prime.Now given any two positive integers N (<10510^51
2021-11-14 16:08:37
55
转载 1011 World Cup Betting (20 分)
With the 2010 FIFA World Cup running, football fans the world over were becoming increasingly excited as the best players from the best teams doing battles for the World Cup trophy in South Africa. Similarly, football betting fans were putting their money
2021-11-14 16:08:08
72
转载 1008 Elevator (20 分)2021-11-01
The highest building in our city has only one elevator. A request list is made up with N positive numbers. The numbers denote at which floors the elevator will stop, in specified order. It costs 6 seconds to move the elevator up one floor, and 4 seconds to
2021-11-07 09:49:45
67
原创 1005 Spell It Right (20 分)
Given a non-negative integer N, your task is to compute the sum of all the digits of N, and output every digit of the sum in English.Input Specification:Each input file contains one test case. Each case occupies one line which contains an N (≤1010010^{10
2021-10-31 16:25:52
65
转载 1001 A+B Format (20 分)2021-10-27
Calculate a+b and output the sum in standard format – that is, the digits must be separated into groups of three by commas (unless there are less than four digits).Input Specification:Each input file contains one test case. Each case contains a pair of i
2021-10-31 16:25:29
55
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人