Harryline-lx-CSDN博客

原创【PAT甲级复习】专题复习十：入门模拟与算法初步

文章目录专题复习十（9.11）：入门模拟与算法初步1 日期处理2 进制转换3 排序4 散列5 快速幂6 归并排序7 快速排序专题复习十（9.11）：入门模拟与算法初步1 日期处理主要注意平年闰年int month[13][2] = { //第二维为0表示平年，为1表示闰年 {0,0},{31,31},{28,29},{31,31},{30,30},{31,31},{30,30},{31,31},{31,31},{30,30},{31,31},{30,30},{31,31}};bool i

2021-09-20 12:24:16 143

原创【PAT甲级复习】专题复习九：数学相关

文章目录专题复习九（9.10）：数学相关1 最大公约数与最小公倍数2 分数的表示3 素数3.1 判断素数3.2 筛法获取素数表4 质因子分解5 大整数运算6 组合数6.1 求n!中有多少个质因子p6.2 组合数的计算专题复习九（9.10）：数学相关1 最大公约数与最小公倍数最大公约数的代码：int gcd(int a, int b){ if(b == 0) return a; else return gcd(b, a%b);}lcm(a,b) = a / gcd(a,b) *

2021-09-19 10:44:28 151

原创【PAT甲级复习】专题复习八：基础数据结构专题

文章目录专题复习八（9.10）：基础数据结构专题1 栈1.1 codeup 1918 简单计算器1.2 A1051 Pop Sequence (25 分)2 队列3 链表专题复习八（9.10）：基础数据结构专题1 栈通常用数组来实现栈，使用栈顶指针TOP来控制，栈空时TOP为-1。注意STL中的stack没有clear()函数，清空的最好办法是重新定义一个stack。栈的应用：模拟递归，表达式计算，中缀表达式转后缀表达式…void clear(){ TOP = -1;}int si

2021-09-18 15:46:56 162

原创【PAT甲级复习】专题复习七：树专题

文章目录专题复习七（9.9）：树专题1 树与二叉树2 二叉树的遍历2.1 先序中序建树2.2 后序中序建树2.3 层序中序建树2.4 前序后序求中序(结果不唯一 A1119题)2.5 例题 A1053 Path of Equal Weight (30 分)3 二叉查找树3.1 例题 A1043. Is It a Binary Search Tree (25)3.2 例题 7-2 二叉搜索树的插入序列3.3 例题A1099 Build A Binary Search Tree (30 分)4 平衡二叉树 (A

2021-09-17 14:00:59 176

原创【PAT甲级复习】专题复习六：图的遍历与最小生成树

文章目录专题复习六（9.8）：图的遍历与最小生成树1 图的DFS遍历2 图的BFS遍历3 例题解析3.1 **A1034 Head of a Gang (30 分)**3.2 A1076 Forwards on Weibo (30 分)4 最小生成树专题复习六（9.8）：图的遍历与最小生成树1 图的DFS遍历注意：如果已知给定的图是一个连通图，则只需要一次DFS就能完成遍历。伪代码如下：DFS(u){ vis[u] = 1; for(从u出发能到达的所有顶点v){

2021-09-16 17:51:30 233

原创【PAT甲级复习】专题复习五：常用的STL容器及其相关操作

文章目录专题复习五（9.6）：常用的STL容器及其相关操作1 vector的常见用法2 set的常见用法3 string的常见用法4 map的常见用法5 queue的常见用法6 priority_queue的常见用法7 stack的常见用法8 pair的常见用法9 algorithm头文件下的常用函数10 例题解析10.1 A1039 Course List for Student (25 分)10.2 A1047 Student List for Course (25 分)10.3 A1063 Set S

2021-09-14 10:06:38 198

原创【PAT甲级复习】专题复习四：拓扑排序

文章目录专题复习四（9.5）：拓扑排序1 拓扑排序的代码实现2 例题解析——A1146 Topological Order (25 分)专题复习四（9.5）：拓扑排序拓扑排序是将有向无环图G的所有顶点排成一个线性序列，使得对图G中的任意两个顶点u，v，如果存在边u->v，那么在序列中u一定在v的前面。这个序列又被称为拓扑序列。拓扑排序的步骤如下：定义一个队列Q，并把所有入度为0的节点加入队列。取队首节点，输出。然后删去所有从它出发的边，并令这些边到达的顶点的入度减1，如果某个顶点的入

2021-09-13 08:52:11 156

原创【PAT甲级复习】专题复习三：关键路径

文章目录专题复习三（9.4）：关键路径1 求整个DAG中的最长路径2 求整个图中终点为T的最长路径3 一个用关键路径解决的经典例子专题复习三（9.4）：关键路径所谓的关键路径其实就是DAG(有向无环图)的最长路径，使用动态规划解决比较简洁易懂。1 求整个DAG中的最长路径也即不固定起点和终点，这里使用动态规划解决，用dp[i]表示从节点i出发能得到的最长路径，则递推式为dp[i] = max(dp[i], DP(j) + length(i->j))，边界条件为出度为0的节点的dp[i]一定为0

2021-09-12 08:04:03 254

原创【PAT甲级复习】专题复习二：并查集

文章目录1 初始化2 查找根节点+路径压缩3 集合合并4 常见的一些统计数据5 STL中与集合操作相关的函数6 例题解析6.1 A1107 Social Clusters (30 分)6.2 A1118 Birds in Forest (25 分)并查集主要用来处理一些分组和分类的问题，实现起来也比较简单，主要包含以下几个操作：1 初始化int father[N];for(int i=1; i<=N i++){ father[i] = i;}2 查找根节点+路径压缩int fi

2021-09-11 22:34:20 150

原创【PAT甲级复习】专题复习一：最短路径

文章目录1 无负权边的单源最短路径——Dijkstra1.1 邻接矩阵版：适用于V不超过1000的情况，复杂度O(2V22V^22V2)。1.2 邻接表版：复杂度O(V2+EV^2 + EV2+E)1.3 优先队列优化的Dijkstra1.4 记录最短路径1.5 多个标尺如何处理1.5.1 新增边权1.5.2 新增点权1.5.3 求最短路径条数1.6 多个标尺且比较复杂：Dijkstra + DFS1.6.1 Dijkstra默写模板1.6.2 DFS遍历所有最短路径模板2 有负权边的单源最短路径——Bel

2021-09-05 10:12:41 226

原创【PAT甲级复习】1115 Counting Nodes in a BST (30 分)

这个题目算是30分大题里面比较简单的了，按照常规套路构造BST，不过可以在节点的定义中加上深度这个成员变量，在构造BST的过程中把每个成员的深度记录下来，并记录好最大深度以及每个深度的节点数目，最后直接按题意输出即可。#include<bits/stdc++.h>using namespace std;struct Node{ int v, depth; Node* lchild, *rchild;};Node* root = NULL;int maxdps = -

2021-08-30 15:14:20 74

原创【学习笔记】李宏毅2021春机器学习课程第8.2节：自编码器（二）

文章目录1 用自编码器实现特征解耦2 离散隐变量表示3 用自编码器生成文章摘要4 自编码器的更多应用4.1 Decoder 作为生成器4.2 压缩4.3 异常检测1 用自编码器实现特征解耦Auto-Encoder 还有一个有意思的应用：Feature Disentanglement，也就是特征解耦。那为什么会有 Disentangle 这个议题呢，我们来想想 Auto-Encoder 它在做的事情是什么。如果是图片的话，Auto-Encoder 就是把一张图片变成一个 Embedding，再把

2021-08-05 20:44:10 955

原创【学习笔记】李宏毅2021春机器学习课程第8.1节：自编码器（一）

文章目录1 引言：自监督学习框架2 什么是自编码器3 自编码器到底好在哪里？4 自编码器并不是一个新想法5 去噪的自编码器1 引言：自监督学习框架在讲 Auto-Encoder 之前，我们再来回忆一下自监督学习的框架，因为其实 Auto-Encoder 也可以算是Self-Supervised Learning 的一环。首先你有大量的没有标注的资料，用这些没有标注的资料，你可以去训练一个模型做一些不需要标注资料的任务，比如说做填空题，预测下一个 Token 等等。这个不用标注资料的学习就叫做 Sel

2021-08-04 23:33:11 516

原创【学习笔记】李宏毅2021春机器学习课程第7.3节：自监督学习（三）

文章目录1 会写假新闻的GPT模型2 怎么使用GPT模型?2.1 “Few-shot” Learning2.2 “One-shot” Learning2.3 “Zero-shot” Learning3 GPT模型在语音和影像上的应用3.1 Image —— SimCLR3.2 Image - BYOL3.3 Speech Application1 会写假新闻的GPT模型除了BERT以外，还有一个很有名的模型，那就是GPT系列的模型。BERT做的是填空题，GPT要做的任务是预测接下来会出现的token

2021-08-03 20:58:15 538 1

原创【学习笔记】李宏毅2021春机器学习课程第7.2节：自监督学习（二）

文章目录1 为什么BERT有用?2 多语言的BERT2.1 跨语言的阅读理解2.2 跨语言对齐1 为什么BERT有用?最常见的解释是，当输入一串文本时，每个文本都有一个对应的向量。对于这个向量，我们称之为embedding。它的特别之处在于，这些向量代表了输入词的含义。例如，模型输入 “台湾大学”，输出4个向量。这4个向量分别代表 “台”、“湾”、"大 "和 “学”。更具体地说，如果你把这些词所对应的向量画出来，或者计算它们之间的距离，你会发现，意思比较相似的词，它们的向量比较接近。例如，"鸟 "

2021-08-02 19:57:24 298 1

原创【学习笔记】李宏毅2021春机器学习课程第7.1节：自监督学习（一）

文章目录1 什么是自监督学习2 训练 BERT 的方法一：Masking Input3 训练 BERT 的方法二：Next Sentence Prediction4 BERT 的应用案例解析4.1 情感分析4.2 词性标记4.3 自然语言推断4.4 基于信息抽取的问答5 BERT 的训练并不容易6 BERT 胚胎学1 什么是自监督学习首先我们来回忆一下监督学习，当我们做监督学习时，我们只有一个模型，这个模型的输入是x，输出是y。假设我们做情感分析，那就是让机器阅读一篇文章，而机器需要对这篇文章进行

2021-08-01 15:07:24 636

原创【学习笔记】李宏毅2021春机器学习课程第6.2节：生成式对抗网络 GAN（二）

文章目录1 No pain，no GAN2 用 GAN 来生成一个 Sequence3 怎么评估一个 Generator 的好坏3.1 多样性问题 - Mode Collapse3.2 多样性问题 - Mode Dropping3.3 我们不想要一个没有创造力的 GAN.4 有条件的生成1 No pain，no GANGAN是以很难 Train 起来而闻名的，那为什么 GAN 很难被 Train 起来？它有一个本质上困难的地方：Discriminator 做的事情是要分辨真的图片跟产生出来的图片

2021-07-24 23:12:02 323

原创【学习笔记】李宏毅2021春机器学习课程第6.1节：生成式对抗网络 GAN（一）

文章目录1 能够作为生成器的神经网络 GAN2 动漫人物头像生成3 判别器（Discriminator）4 从自然选择看GAN的基本思想5 GAN 的具体实现过程步骤一：固定 generator G 的参数，只更新discriminator D步骤二：固定 discriminator D 的参数，只更新generator G6 动漫头像生成的具体实验结果1 能够作为生成器的神经网络 GAN生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型

2021-07-23 23:05:33 743

原创【论文笔记】跨域推荐（CDR）

文章目录DTCDR（2019）1 核心思想DDTCDR（WSDM-2020）1 核心思想GA-DTCDR（IJCAI2020）1 核心思想2 小知识点ACDN（WWW-2020)1 核心思想2 小知识点最新综述（IJCAI-2021）1 背景介绍2 综述动机3 不同的跨域推荐场景以及挑战4 相关的研究进展5 可用数据集合6 未来研究方向7 结论DTCDR（2019）论文解读系列第一篇：CIKM-19 论文 DTCDR - 知乎 (zhihu.com)1 核心思想[外链图片转存失败,源站可能有防盗链机

2021-07-22 23:17:43 3201 3

原创【学习笔记】李宏毅2021春机器学习课程第5.2节：Transformer（二）

文章目录1 解码器 (AT版) 的具体架构2 解码器 (NAT版) 的特别之处3 编码器与解码器之间的信息传递4 怎么来训练我们的Transformer呢5 训练 Seq2seq model 的一些 Tips5.1 Copy Mechanism5.2 Guided Attention5.3 Scheduled Sampling1 解码器 (AT版) 的具体架构Decoder其实有两种，比较常见的是 Autoregressive Decoder。根据上文内容预测下一个可能跟随的单词，就是常说的自左向

2021-07-21 23:04:04 235

原创【学习笔记】李宏毅2021春机器学习课程第5.1节：Transformer（一）

文章目录1 序列到序列的模型2 Seq2seq model 常见的应用场景2.1 聊天机器人2.2 问题回答 (QA)2.3 文法剖析2.4 多标签分类2.5 对象检测3 Seq2seq model的整体架构4 编码器的具体架构1 序列到序列的模型Transformer本质上就是一个Sequence-to-sequence的model，我们经常缩写为Seq2seq，所有我们就先来讨论一下什么是Seq2seq的model。上一节在讲自注意力机制的时候就提到过，input是一个sequence时，outp

2021-07-20 21:30:17 917

原创【学习笔记】李宏毅2021春机器学习课程第4.2节：自注意力机制（二）

文章目录1 从矩阵的角度来理解Self-Attention的运作2 进阶版本：Multi-head Self-attention3 通过Positional Encoding考虑输入的位置信息4 Self-attention 的应用4.1 Self-attention 在语音上的应用4.2 Self-attention 在图像上的应用4.3 Self-attention 可以替换 RNN4.4 Self-attention 在图神经网络上的应用5 Self-Attention 的未来展望1 从矩阵的角度来

2021-07-19 16:37:44 1073 1

原创【学习笔记】李宏毅2021春机器学习课程第4.1节：自注意力机制（一）

文章目录1 问题引入：为什么需要自注意力机制1.1 更加复杂的输入1.2 更多可能的输出1.2.1 每一个向量都有一个对应的Label1.2.2 输入多个向量，只需要输出一个Label1.2.3 机器要自己决定应该输出多少个Label1.3 处理词性标注问题的困境2 自注意力机制（Self-Attention）3 Self-Attention的具体运作过程1 问题引入：为什么需要自注意力机制在探讨了CNN的架构以后，我们要探讨的另一个常见的Network架构，叫做Self-Attention，至于Sel

2021-07-18 22:38:50 333

原创【学习笔记】李宏毅2021春机器学习课程第三节：卷积神经网络（CNN）

文章目录1 图像分类问题2 观察一：通过某些模式来识别3 简化一：各扫门前雪3.1 经典的 Receptive Field 设计方式3.1.1 看所有的 Channel3.1.2 使用 3×3 的 Kernel3.1.3 使用较小的步长（一般为1或2）4 观察二：同样的 Pattern 可能会出现在图片的不同区域5 简化二：权值共享6 使用卷积层的好处7 CNN 的另一种介绍方式8 观察三：通过池化操作压缩图像大小9 总结：CNN 的一般架构10 应用： AlphaGo10.1 下围棋和图像的共通特性10.

2021-07-17 21:40:07 649

原创【论文笔记】Joint Deep Modeling of Users and Items Using Reviews for Recommendation

文章目录1 概述2 创新点3 实验结果4 论文复现4.1 Environments4.2 Dataset4.3 代码解析4.4 实际训练结果1 概述论文原文链接（arxiv）作者提出了一个 Deep Cooperative Neural Networks（DeepCoNN）的模型，该模型由耦合在最后一层的两个并行神经网络组成，其中一个神经网络使用用户撰写的评论对用户的行为进行建模，另一个神经网络使用物品得到的评论信息对物品的特性进行建模，最后一层将两个并行神经网络分别得到的xux_uxu和yiy

2021-07-16 16:35:49 848

原创【学习笔记】李宏毅2021春机器学习课程第2.5节：Classification

文章目录1 Classification as Regression？2 Class as one-hot vector3 Classification with softmax3.1 Softmax4 Loss of Classification1 Classification as Regression？我们已经知道，Regression就是输入一个向量，然后输出一个数值，我们希望输出的数值跟某一个label，也就是我们要学习的目标，越接近越好。现在问题来到了如何做Classification，

2021-07-15 11:25:18 295

原创【学习笔记】李宏毅2021春机器学习课程第2.4节：Batch Normalization（批标准化）

文章目录解决提出问题的人——改变 error surface特征标准化考虑深度学习的情况考虑 Batch Normalization在测试集中的问题Batch Normalization 确实能帮助我们更好地训练神经网络Batch Normalization 究竟为什么会有帮助呢？附录：其他的标准化方法到目前为止我们讲的都是当我们的error surface非常崎岖的时候，应该怎么样来做optimization，来让我们的训练可以继续下去，但是这种崎岖的error surface让我们在调参的过程中很痛苦

2021-07-14 11:01:57 353

原创【学习笔记】李宏毅2021春机器学习课程第2.3节：Adaptive Learning Rate

文章目录Training stuck ≠ Small GradientDifferent parameters needs different learning rateRoot mean squareAdagradRMSPropAdamLearning Rate SchedulingTraining stuck ≠ Small Gradient首先要明确的一点是，目前当我们用 gradient descend 来做optimization的时候，你真正应该要怪罪的对象往往不是critical poi

2021-07-13 09:31:21 289

原创【学习笔记】李宏毅2021春机器学习课程第2.2节：Batch and Momentum

【学习笔记】李宏毅2021春机器学习课程第2.2节：Batch and MomentumReview： Optimization with BatchSmall Batch VS Large BatchLarger batch size does not require longer time to compute gradientSmaller batch requires longer time for one epoch“Noisy” update is better for training“N

2021-07-12 15:27:53 462

原创【学习笔记】李宏毅2021春机器学习课程第2.1节：局部最小值(local minima)与鞍点(saddle point)

【学习笔记】李宏毅2021春机器学习课程第2.1节：局部最小值(local minima)与鞍点(saddle point)Critical Point我们常常在做Optimization的时候发现，随着参数不断update，loss不会再下降，但是我们对这个loss仍然不满意，有时候我们甚至会发现一开始我们的模型就训练不起来。过去常见的一个猜想，是因为我们现在走到了一个地方，这个地方参数对loss的微分为0，这时gradient descent就没有办法再更新参数了，所以loss当然就不会再下降了。

2021-07-11 20:36:25 1126

原创【学习笔记】李宏毅2021春机器学习课程第一节：机器学习基本概念简介

7月10日一、李宏毅2021春机器学习课程-第一节试了不同的参数,然后计算它的Loss，画出来的这个等高线图叫做Error Surface，是机器学习的第二步。来自model本身的限制叫做model biasReLUReLU 和 sigmoid哪一个更好呢？Deep Learning名称的由来**过拟合（overfitting）**问题反向传播（Backpropagation）：(3条消息) 反向传播——通俗易懂_chengchaowei的博客-CSD

2021-07-11 16:40:27 476 1

原创【学习笔记】李宏毅2021春机器学习课程第二节：机器学习任务攻略

【学习笔记】李宏毅2021春机器学习课程第二节：机器学习任务攻略如何做的更好？Model biasOptimization IssueStart from shallower networksOverfittingCross ValidationMismatch如何做的更好？如果在Kaggle上的结果不满意的话，第一件事情就是检查你的training data的loss。如果你发现你的模型在training data的loss很大，说明它在训练集上面也没有训练好，这边有两个可能的原因，第一个是mode

2021-07-11 16:19:22 353

Harryline的博客