- 博客(144)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【六】BERT：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
本课首先解释了预训练模型：是什么、为什么，引出了bert这个可知语义信息的模型bert自监督学习，资料分为两部分，自己跟自己学，自己产生labelbert通过transformer无限制的self-attention考虑整个序列，给多少内容就能看多少上下文，预测的内容被mask所以不用担心模型会偷看到，目标是预测被盖住的内容。预训练模型往往非常大，很多参数需要存下来，所以只调adaptor的部分预训练模型经过任务的针对性有标记资料的微调之后，可以解决各种下游NLP任务：情感分析、词性标注、NLI、问答
2021-07-17 00:35:18
1354
1
原创 【五】Transformer：Attention is all you need
目录s2stransformer's encodertransformer'sdecoderDecoder两个类别：autoregressive v.s non-autoregressive /缩写为：AT v.s NATdecoder内部结构encoder与decoder相差的就是怎么做训练的？训练transformer（也可以是s2s模型）的tips总结是一个seq2seq模型，输入是一个序列，输出是一个序列，输出序列的长度由机器决定...
2021-07-15 19:30:43
593
1
原创 【四】self-attention
是一个常见的神经网络架构onehot encoding：没有语义的信息wordembedding：有语义信息什么是seq2seqpos tagging词性标注：输入和输出长度一样sentiment analysis情感分析：整个序列只输出一个labeltranslation翻译：输入一个序列，输出也是一个序列，而且机器要自己决定输出的长度——seq2seqFC引入self-attention针对每个输入的向量都对应一个label的情况：（输入数目=输出数目）——seque
2021-07-15 16:06:31
743
原创 2021-07-14
专业李宏毅深度学习课程笔记https://blog.csdn.net/weixin_42431920/category_10292050.html李宏毅2020课程作业https://blog.csdn.net/iteapoy/article/details/105382315李宏毅2020课程作业-和鲸社区https://www.heywhale.com/mw/project/60af4d93a8c5b50017ccff87《深度学习》花书-读书笔记汇总贴（汇总19/19）https://
2021-07-14 20:27:03
247
原创 NumPy 数值计算基础入门
数值类型及多维数组 数组操作及随机抽样 数学函数及代数运算 数组索引及其他用法import numpy as np a = np.array([1.1, 2.2, 3.3], dtype=np.float64) # 指定 1 维数组的数值类型为 float64a, a.dtype .astype()方法在不同的数值类型之间相互转换。a.astype(int).dtype # 将 a 的数值类型从 float64 转换为 int，并查看 dtype 类型Num..
2021-07-12 23:54:40
1285
3
原创 【三】RNN循环神经网络
目录RNN的应用实例slot filling位置填充用前馈网络来进行位置填充？我们需要这个神经网络可以看到上下文，有记忆的神经网络——RNN双向RNN bidirectionalRNNlong short-term memory LSTM LSTM-ExampleLSTM与nn有什么关系？LSTM与RNN的关系？总结RNN的应用实例slot filling位置填充将内容正确填充到不同的位置上去用前馈网络来进行位置填充？输入：一个词汇（每...
2021-07-12 21:32:52
605
4
原创 【二】卷积神经网络CNN
为什么设计神经网络的架构能让结果表现更好？如果没有影像特性，就不要用CNNCNN由简入深版本1：由影像分类切入，image classification把所有图像rescale成大小一样，再放进影像辨识系统 目标是分类，所以把所有类别表示为one-hot，dim决定了这个模型能辨识多少类别的东西 模型输出通过softmax得到与one-hot同维度的概率分布，概率值最大的类别决定本图的类别如何把三维的tensor变成向量输入模型？直接拉直排成一排的向量作为输入2个观察对应2种
2021-07-12 14:08:10
837
原创 【一】ML基本概念
李宏毅老师的新课上起来是醍醐灌顶的程度，而且很新！帮助我看懂了令人发愁的论文，您就是我的恩人！会以虔诚的心好好学习的，ღ( ´･ᴗ･` )比心什么是机器学习机器学习是什么，让机器具备一个找函数的能力。如语音辨识（函数输入语音，可以输出文字）影像辨识（函数输入图片，输出文字）下棋（函数输入当前的棋子位置，输出下一步的位置）机器学习的任务：regression回归：是指要找的函数输出是一个scaler数值 classification分类：事先准备好的选项中得到输出，AlphaGo也是一
2021-07-12 10:04:11
2518
2
原创 黑马程序员3天快速入门python机器学习
课程目标是掌握一些机器学习算法技巧，能从某个业务领域切入解决问题1、机器学习概述1.1 人工智能概述机器学习、人工智能、深度学习的关系 机器学习是人工智能的一个实现途径 深度学习是机器学习的一个方法（人工神经网络）发展而来 1.1.2 机器学习、深度学习能做些什么用在挖掘、预测领域： 应用场景：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句安全检测分类 用在图像领域： 应用场景：街道交通标志检测、人脸识别等 用在自然语言处理领域： 应用场景：文本分
2021-07-02 14:14:31
3899
2
原创 记赖世雄英语笔记和心得
2018年1月19日我决定开始学赖世雄，19年6月我六级阅读满分250得了200分通过六级，19年12月我考研英语74。种一棵树最好的时间是十年前和现在。零基础方法：A：发音两周、daliy easy English expressions 每天十期以上大声跟读 不会的单词要记录在有道词典里以便背诵B：语法学前四张，剑桥英语中级语法的英文版C：coach shane的daily dictation 大量阅读真题文章，印证语法规则和单词赖世雄音标一周要学完：听完一课以后要认真仔细的大...
2021-06-06 19:12:08
1622
原创 主干网和本地接入网
主干网：是计算机网络核心部分的重要组成部分，由许多高速通信链路组成，因而能迅速传送数据，主干网中还有许多路由器，能够把分组一步一步转发到正确的目的地。本地接入网：把用户接入互联网，接入网应当使用户可以更快的从计算机网络可靠的下载文件和上传数据...
2021-03-22 10:04:51
3830
原创 IPv4地址缺乏的解决办法以及IPv4的替代方案以及IPv4和IPv6如何相互通信？
IPv4地址缺乏的解决办法以及IPv4的替代方案以及IPv4和IPv6如何相互通信？IPv6扩展了地址空间，地址长度由IPv4的32位扩展到128位 双协议栈：双协议栈的主机同时有两种IP地址，在和ipv6主机通信时采用ipv6地址。使用DNS查询目的主机采用的何种地址 隧道技术：在ipv6数据报进入ipv4网络时，把6封装成4。6变成了4的数据部分。4数据报离开4网络中的隧道时，再把数据部分（6）交给主机的6协议栈...
2021-03-13 12:06:53
2388
原创 DNS 114.114.114.114与8.8.8.8
114.114.114.114是国内移动、电信和联通通用的DNS，手机和电脑端都可以使用，干净无广告，解析成功率相对来说更高，国内用户使用的比较多，而且速度相对快、稳定，是国内用户上网常用的DNS8.8.8.8是GOOGLE公司提供的DNS，该地址是全球通用的，相对来说，更适合国外以及访问国外网站的用户使用...
2021-03-10 15:17:45
13832
原创 PPP与HDLC 同步传输与异步传输
HDLC(high-level data link control)高级数据链路控制协议 ppp(point-to-pint protocol)点对点通信协议 可以实现可靠传输 简单：不提供可靠传输 如今随着技术的发展，数据链路层出现差错的概率不大，使用的最多的是ppp 面向比特 面向字节 实现透明传输使用零比特填充 实现透明传输：同...
2021-03-10 12:45:52
4144
3
原创 虚电路与数据报服务的区别
数据报 虚电路 主机可随时发送数据，无需建立连接 主机负责端到端的差错处理、流量控制 先建立虚电路，通信结束要释放虚电路，路由故障时，经过该路由器的所有虚电路均不能工作。 通信子网负责端到端的差错处理、流量控制 需要更多的开销，每个分组携带目的地址，独立选择路由，不能保证按顺序交付 必须沿着虚电路传送，能保证顺序交付，建立连接时要使用目的地址，连接建立后使用虚电路号 ...
2021-03-10 12:17:18
3422
原创 计算机网络 研究生复试考前最终版
传输层网络层：协议链路层ipv6、移动ip、组播RIP、OSPF、BGPTCP首部组成、IP数据包的首部组成网络设备的区别物理层的功能私有地址三种10.0.0.0到10.255.255.255172.16.0.0到172.31.255.255192.168.0.0到192.168.255.255终点不可达源点抑制超过时间参数错误选择路由ICMP询问报文是四种回送和回答时间戳和回答子网掩码和回答路由器询问和回答什么情况下不发送...
2021-02-14 21:58:16
18760
3
原创 计算机常用英语术语
Computer Vocabulary In Common Use一、硬件类(Hardware) Hardware二、软件类(Software) Software三、网络类(Network) Network四、其它CPU(Center Processor Unit)中央处理单元 cpumainboard主板 mainboard mainborad 主板keyboard键盘 keyboard keyborad 键盘RAM(random access memory)随机存储器...
2021-02-14 21:35:36
1285
原创 Basic English : Speaking
I really look forward to going to this concert with my friends.I think a parent should be careful of what their children watch on TV.你最好的朋友是个什么样的人？what is your best friend like? She is a very kind person. She is a great listener. We have been frien.
2021-01-22 23:38:20
1111
1
原创 496. Next Greater Element I
You are given two integer arrays nums1 and nums2 both of unique elements, where nums1 is a subset of nums2.Find all the next greater numbers for nums1's elements in the corresponding places of nums2.The Next Greater Number of a number x in nums1 is the
2021-01-20 18:25:53
93
原创 *232. Implement Queue using Stacks
Implement a first in first out (FIFO) queue using only two stacks. The implemented queue should support all the functions of a normal queue (push, peek, pop, and empty).Implement the MyQueue class:void push(int x) Pushes element x to the back of the q.
2021-01-19 22:58:05
183
原创 14. Longest Common Prefix
Write a function to find the longest common prefix string amongst an array of strings.If there is no common prefix, return an empty string "".Example 1:Input: strs = ["flower","flow","flight"]Output: "fl"Example 2:Input: strs = ["dog","racecar.
2021-01-18 12:33:41
390
1
原创 13. Roman to Integer
Roman numerals are represented by seven different symbols:I, V, X, L, C, D and M.Symbol ValueI 1V 5X 10L 50C 100D 500M 1000For example,2 is written as II...
2021-01-17 12:24:13
90
原创 9. Palindrome Number
Given an integer x, return true if x is palindrome integer.An integer is a palindrome when it reads the same backward as forward. For example, 121 is palindrome while 123 is not.Example 1:Input: x = 121Output: trueExample 2:Input: x = -121Output
2021-01-14 12:06:58
156
1
原创 计网tips
可用netstat -n 查看传输层建立的连接：查木马 左边红叉表示与交换机连接不通，右边红叉表示交换机与网络连接不通（物理层故障） MAC全球唯一，但是可指定（若指定则使用指定地址，选择不存在则使用默认地址），在通过mac地址认证来访问网络时（交换机中配置了指定mac地址才能上网）.. 数据链路层故障：mac地址冲突、网速不一致、欠费而断网属于链路层故障、接入错误的vlan 在命令行中复制：先右键选择标记，然后回车复制 把本地连接禁用启用，是对网卡重..
2021-01-12 23:50:29
76
原创 计算机网络Computer Network
协议标准化的好处应用程序通信需要协议，分为服务端程序和客户端程序（甲方乙方），是对等实体。 应用层协议：为了实现应用程序的功能，要定义的通信标准。（已经标准化了的多种应用层协议对应着多种应用多种服务） 好处：使不同厂家开发的服务端程序和客户端程序能够通信。以HTTP协议为例理解应用层协议HTTP协议的甲方乙方分别是web服务器和浏览器 该协议规定了浏览器访问网站的方法和规则 定义了客户端能够向服务器发送哪些请求 定义了服务器能向客户端发送那些响应 定义了请求和响应报文格式计算及通信使
2021-01-08 22:06:16
2214
原创 7. Reverse Integer
7. Reverse IntegerGiven a 32-bit signed integer, reverse digits of an integer.Note:Assume we are dealing with an environment that could only store integers within the 32-bit signed integer range: [−231, 231− 1].For the purpose of this problem, ass..
2021-01-07 12:15:43
109
原创 第一周：深度学习引言（Introduction to Deep Learning）
1.2 什么是神经网络？(What is a Neural Network)神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入y，就能得到输出z。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。值得注意的是神经网络给予了足够多的关于????和????的数据，给予了足够的训练样本有关????和????。神经网络非常擅长计算从????到????的精准映射函数。1.3 神经网络的监督学习(Supervised Learning with Neural Networks) 卷积（
2021-01-03 17:12:34
234
原创 1. Two Sum
1. 两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。示例 2：输入：nums = [3,2,4], target...
2021-01-03 15:46:58
550
2
原创 数据结构考前复习最终版，
P18顺序表~ 5.在顺序表中删除值s-t之间（包含s,t）且s<t的所有元素，不合理的范围返回错误信息从前向后扫描顺序表L用k记录下元素值在s-t之间元素的个数（初始k=0）对于当前扫描的元素，若其值不再s-t之间，则前移k个位置，否则k++bool dele_st(sqlist &l,int s,int t){ if(s>=t||l.length==0) return false; int k=0; for...
2020-12-30 09:19:44
1859
原创 树与二叉树 p162
1、根据前序序列和中序序列构造二叉树，假设结点数据值互不相同。确定根节点在中序中的位置，将中序序列分为两个子序列，递归处理直到所处理的子序列只剩下一个元素BTnode *CreateBt(char pre[],char in[],int l1,int r1,int l2,int r2){ BTnode *s; int i; if(l1>r1) return NULL; //递归结束条件 s=(BTnode *)malloc(sizeof(BTnode)); s->lc.
2020-10-22 19:53:14
445
原创 数组、矩阵、广义表 p122
1、设数组A[0~n-1]的n个元素中有多个0元素，设计算法将所有非零元素移动到数组前端。void Move(int A[],int n){ int i=-1,j,temp; for(int j=0;j<n;j++){ if(A[j]!=0){ ++i; if(i!=j){ temp=A[i]; A[i]=A[j]; A[j]=temp; } } }}2、关于浮点型数组A[0~n-1]设计递归算法实现：（1）求数组A的最大值（2）求
2020-10-19 20:42:55
406
原创 串 p103
1、将串str中所有值为ch1的字符转换成ch2的字符，如果str为空串，或者串中不含值为ch1的字符则什么都不做2、实现串str的逆转函数，如果str为空串，则什么都不做3、删除str中值为ch的所有字符，如果str为空，或不含有ch的字符则什么都不做void delete_ch(char str[],char ch,int n){ int i=0; while(str[i]!='\0'){ if(str[i]==ch){ for(int j=i;j<n;j++) str
2020-10-16 21:05:51
804
原创 栈和队列 p71
1、两个顺序栈S0S1共享0~maxSize-1存储区，设计共享栈的出入栈算法2、用栈模拟队列，已知3个栈的基本操作入栈出栈判断栈空
2020-10-14 22:47:15
124
原创 线性表 p35
1、顺序表用数组A[]表示，表中元素下标0~m+n-1，前m个后n个元素递增有序，设计算法使整个表有序void Sort(int A[],int m,int n){ int temp; for(int i=m;i<m+n;i++){ temp=A[i]; for(int j=i-1;j>0&&temp<A[i];j--) A[j+1]=A[j]; A[j]=temp; }}2、对两个递增有序的单链表AB（带有头结点，分别有mn个元素），设计算法
2020-10-13 20:56:59
240
原创 各种排序算法的比较和应用 p327 2-3
2.顺序表A[]中元素存储在下标1~m+n范围内，两部分都递增有序，设计算法使整个顺序表有序从m+1开始，将后n个元素依次插入前面的有序表中（插入排序）void Insert_sort(int A[],int m,int n){ int i,j; for(i=m+1;i<=m+n;i++){ A[0]=A[i]; for(j=i-1;A[j]>A[0];j--) A[j+1]=A[j]; A[j+1]=A[0]; }}3.计数排序：对一个待排序的表（数组表示）进行
2020-10-08 18:36:58
147
原创 选择排序 p314 4-5
4.编写算法，在基于单链表表示的待排序关键字序列上进行简单选择排序每趟在原始链表中摘下关键字最大的结点，插入到结果链表的最前端void selectSort(Linklist &l){ Linknode *h=l,*p,*pre,*max,*maxpre; l=NULL; while(h!=NULL){ p=max=h;pre=maxpre=NULL; while(p!=NULL){ //找最大结点 if(p->data>max->dat
2020-10-08 16:40:32
180
原创 交换排序 p303 2-7
2.双向冒泡算法，在正反两个方向交替进行扫描，即第一趟把关键字最大的元素放在序列最后，第二趟把关键字最小的元素放在序列最前，如此反复进行。奇数趟时，从前向后比较相邻元素的关键字，遇到逆序即交换，直到把序列中关键字最大的元素移动到序列尾部。 偶数趟时，从后往前比较相邻元素的关键字，遇到逆序即交换，直到把序列中关键字最小的元素移动到序列前端。 void bubblesort(ElemType A[],int n){ int low=0,high=n-1; bool flag=true; /
2020-10-07 18:37:09
269
原创 顺序查找和折半查找 p247 6-7
6.折半查找的递归算法ElemType array[];int BinSearchRec(ElemType key,int low,int high){ if(low>high) return -1; int mid=(low+high)/2; if(key>array[mid]) Search(key,mid+1,high); else if(key<array[mid]) Search(key,low,mid-1); else return mid;}
2020-09-28 19:15:49
126
1
原创 图
4.写出从图的邻接表转换成邻接矩阵表示的算法设图的顶点分别存储在数组v[n]中。 首先初始化邻接矩阵。遍历邻接表，在依次遍历顶点v[i]的边链表时，修改邻接矩阵第i行的元素值。若链表边界点值为j，则置arcs[i][j]=1。 遍历完邻接表时，整个转换结束。void convert(ALGraph &G,int arcs[M][N]){ for(i=0;i<n;i++){ //遍历作为表头结点的数组元素 p=(G->v[i]).firstarc; //取
2020-09-21 17:09:53
410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人