- 博客(43)
- 收藏
- 关注
RSS订阅原创 卷积神经网络的计算
我们在使用多重卷积的时候，常常会丢失边缘像素。由于我们使用小卷积核，因此对于单个卷积，我们只可能丢失几个像素。但随着我们应用连着许多卷积层，累积丢失的像素就多了起来。需要特别注意的是一层一的卷积层，即kh=kw=1。它唯一的计算发生在通道上，经常用1X1的卷积层来代替全连接层减少运算。）,为了高效计算或是缩减采样次数，卷积窗口可以跳过中间位置，每次滑动多个元素。224 stride为4，padding为1，核大小为11。):在输入图像的边界填充元素（基本填充的都是0）列填充，则输出的形状为。
2023-03-15 15:06:26
515
原创 sql 中limit和offset
limitselect * from tableName limit i,ntableName 数据表i：为查询结果（默认从零开始）n：为返回的数量offset跳过几行元素牛客sql寻找倒数第三晚入职的员工select * from employeeswhere hire_date = ( select distinct hire_date from employees order by hire_date desc limit 1 offset 2
2021-03-08 14:27:51
122
原创 TASK3-5
梯度消失和爆炸当神经网络的层数较多时，模型的稳定性就容易变差简单的来说，假设一个层数为L的多层感知机的第l层H(l)H^{(l)}H(l)的权重参数为W(l)W^{(l)}W(l)，输出层H(L)H^{(L)}H(L)的权重为W(L)W^{(L)}W(L).在这里我们不考虑偏差参数设所有的激活函数为恒等映射及Φ(x)=x\Phi (x) =xΦ(x)=x。给定输入X，多层感知机第l的输出就会为...
2020-02-19 20:47:57
167
原创 文本预处理、语言模型、循环神经网络基础
文本预处理通过对文章的处理将词或者字来进行处理，建立有索引的标签以及保留词频，是自然语言处理的重要一步、也是最开始的一步。首先读入文件import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as ...
2020-02-14 19:58:21
146
原创 线性回归、softmax
线性回归假设：y=w⋅x+by =w\cdot x+by=w⋅x+b其中w和x都为向量形式损失函数：l(i)(w,b)=12(y^(i)−y(i))2l^{(i)}(w,b)=\frac{1}{2}(\hat{y}^{(i)}-y^{(i)})^2l(i)(w,b)=21(y^(i)−y(i))2L(w,b)=1n∑i=1nl(i)(w,b)=1n∑i=1n(wTx(i)+b−y()...
2020-02-14 19:07:00
139
原创 Leetcode 42.接雨水(栈)
class Solution{public: int trap(vector<int> &h) { int ans = 0; int current = 0; stack<int> st; while(current < h.size()) { while(!st.empty() && h[current] &...
2019-11-30 14:48:02
140
原创 916.单词子集、899有序队列
889、有序队列当K>=2时，我们不难想出，通过多次平移能够移动到最小队列，所以只需要一个sort就够了，当K=1时，进行排列选择最小的，进行返回。我们使用到了substr函数substr(i)表示从i到最后，substr(0,i)表示从0到i，不包括i。下面是代码：class Solution {public: string orderlyQueue(string S, ...
2019-11-20 21:56:47
149
原创 Leetcode 1233删除子文件夹
你是一位系统管理员，手里有一份文件夹列表 folder，你的任务是要删除该列表中的所有 子文件夹，并以 任意顺序 返回剩下的文件夹。我们这样定义「子文件夹」：如果文件夹 folder[i] 位于另一个文件夹 folder[j] 下，那么 folder[i] 就是 folder[j] 的子文件夹。文件夹的「路径」是由一个或多个按以下格式串联形成的字符串：/ 后跟一个或者多个小写英文字母。例...
2019-11-17 12:36:08
175
原创 SQL数据创建
创建数据库：CREATE DATABASE MyDBON PRIMARY ( NAME='MyDB_Primary', FILENAME= 'c:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\data\MyDB_Prm.mdf', SIZE=4MB, MAXSIZE=10MB, FILEGROWTH=1MB),FILE...
2019-11-12 16:21:43
185
原创 随机选择算法
如何从一个无序数组中求出第K大的数？时间复杂度要达到O（n）对A[left,right]进行一次randPartition函数后，主元素左侧的元素个数就是确定的，且他们都小于主元素。假设此时主元为A[p]，那么A[p]就是A[left,right]中的第p-left+1大的数。不妨令M表示p-left+1，那么如果KM成立，说明第K大的数就是主元A[p]，如果K<M则说明第K大的数在主元左...
2019-10-12 19:03:32
354
原创 决策树的公式推导——ID3
ID3算法信息熵：熵是度量样本集合纯度最常用的一种指标，代表一个系统中蕴含着多少信息量，信息量越大表面一个系统不确定性就越大，就存在跟多的可能性，即信息熵越大假定当前样本集合D中第k类样本所占的比例为PkP_kPk(k=1,2,……,|y|)，则D的信息熵为：Ent=−∑k=1∣y∣pklog2pkEnt = -\sum_{k=1}^{|y|} p_k log_2p_kEnt=−∑k=1...
2019-09-25 21:56:48
450
原创 数据库
文章目录1、绪论1.1数据库1.2文件系统1、绪论1.1数据库数据库(Datavase,简称DB)是长期储存在计算机内、有组织的、可共享的大量数据集合其特征为数据按一定的数据模型组织、描述和存储可为各种用户共享数据独立性高易扩展数据库管理系统（Database Management System，简称DBMS）是位于用户与操作系统之间的管理软件。用途为科学地组织和存储数据、高效地...
2019-09-23 20:32:17
269
1
原创 单片机原理及应用
单片机的定义单片机就是将CPU、RAM、ROM、定时器/计数器和多种接口都集成到一块集成电路芯片上的微型计算机英文：Microcontroller、KaTeX parse error: Undefined control sequence: \muC at position 1: \̲m̲u̲C̲、MCU单片机和pc机的联系原理：单片机与pc机都采用冯⋅\cdot⋅诺依曼经典结构功能：...
2019-09-17 20:04:22
5387
原创 计算机网络原理
网络研究对象:电信网络、有线电视网、计算机网络（三网）计算机网络五种的体系结构：物理层（网线等不属于网络层）数据链路层网络层运输层应用层计算机网络向用户提供的最重要的功能连通性——计算机网络上用户可以交换信息，好像这些用户的计算机可以彼此直接连通一样共享——即资源共享。可以是信息共享、软件共享，也可以是硬件共享1.2 因特网的概述网络由若干个结点和连接这些结点的链路...
2019-09-16 21:00:03
531
原创 对Linux0.11计算调度算法的性能
博主在进行Linux0.11实验六的时候发现了py文件不会用的情况，所以自己写了个c来进行Linux调度算法性能的实现#include<stdio.h>#define NR_TASKS 64#define state_N 0#define state_J 1#define state_R 2#define state_W 3#define state_E 4struct...
2019-09-08 16:52:47
362
原创 TASK 7
from __future__ import print_function import argparse import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms...
2019-08-21 19:42:08
117
转载 TASK6
梯度下降法（Gradient Descent）目前梯度下降法，目前分为三种梯度下降法：标准梯度下降法（GD，Grandient Descent），随机梯度下降法（SGD，Stochastic Gradient Descent）及批量梯度下降法（BGD，Batch Gradient Descent）1、标准梯度下降（GD）假设要学习训练的模型参数WWW，代价函数为J(W)J(W)J(W)则代...
2019-08-19 23:20:32
199
转载 TASK5
dropoutdropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。def dropout(x, level, noise_shape=None, seed=None): """Sets entries in `x` to zero at random, while scaling the entire tensor. #...
2019-08-16 21:05:24
130
原创 TASK 4
from torch import nnclass simpleNet(nn.Module): ''' 定义一个简单的三层全连接神经网络，每一层都是线性的 ''' def __init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim): super(simpleNet,self).__init__() ...
2019-08-13 22:15:40
124
原创 TASK3
import torchimport torch.nn as nnimport torchvision.datasets as dsetsimport torchvision.transforms as transformsfrom torch.autograd import Variableinput_size = 784num_classes = 10num_epochs = ...
2019-08-12 19:59:26
111
原创 #TASK2
import torchdevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')#N是批次大小，D_in是输入维度#H是隐藏维度，D_out是输出维度N,D_in,H,D_out=64,1000,100,10#产生随机的输入和输出数据x = torch.randn(N,D_in,device=devic...
2019-08-09 17:36:46
206
原创 TASK1 第八期PYTORCH
1、什么是pytorch？pytorch是使用GPU和CPU优化的深度学习张量库2、pytorch的安装pip install pytorch3、通过代码实现流程CNN数字识别import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchv...
2019-08-07 12:43:04
109
原创 Leetcode38.报数
报数序列是一个整数序列，按照其中的整数的顺序进行报数，得到下一个数。其前五项如下：1. 12. 113. 214. 12115. 1112211 被读作 “one 1” (“一个一”) , 即 11。11 被读作 “two 1s” (“两个一”）, 即 21。21 被读作 “one 2”, “one 1” （“一个二” , “一个一...
2019-08-03 23:55:41
80
原创 基于Tensorflow实现cnn字符级中文分类
代码地址：https://github.com/gaussic/text-classification-cnn-rnn数据集采用了清华NLP组提供的THUCNew新闻文本分类数据集的一个子集。数据集可在此链接http://thuctc.thunlp.org/下载。本次训练有十个分类，每个分类6500条，总共65000条新闻数据。具体类别如下体育、财经、房产、家具、教育、科技、时政、游戏、...
2019-07-15 15:45:25
433
转载 DAY2
逻辑回归相比于线性回归，有何异同？1、逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的本质区别。逻辑回归中，因变量取值是一个二元分布，模型学习出的是：E[y∣x;θ]E[y|x;\theta]E[y∣x;θ]即给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题：y′=θTxy' = \theta^Txy′=θTx是对我们假设的...
2019-07-14 21:19:55
111
转载 DAY1
Q1在空间上线性可分的两类点，分别向SVM分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？answer首先明确是题目中的概念，线性可分的两类点，即通过一个超平面可以将两类点完全分开，如下图所示：假设超平面（对于二维空间来说，分类超平面退化成一条直线）为svm算法计算得出的分类面，那么两类点就完全被分开。我们想探讨的是：将两类点向绿色平面上做投影，在分类直线上得到黄灰两类投...
2019-07-12 22:14:08
210
原创 19.删除链表的第n个节点(c++)
题目给定一个链表: 1->2->3->4->5, 和 n = 2.当删除了倒数第二个节点后，链表变为 1->2->3->5.思路首先先讲一个两遍遍历的方法：很简单，就是首先遍历一遍链表，记录链表长度为L，则我们要删除的为第L-n+1个节点。再次遍历一遍链表即可。emmmmm，此方法较简单就不做论述。一遍遍历的方法：双指针，一指针p比另一指针q...
2019-06-12 23:20:05
1851
原创 22 括号的生成(c++)
22括号的生成题目：给出 n 代表生成括号的对数，请你写出一个函数，使其能够生成所有可能的并且有效的括号组合。例如，给出 n = 3，生成结果为：[ "((()))", "(()())", "(())()", "()(())", "()()()"]思考：括号肯定成对出现，我们只添加正确的括号序列，利用递归，当左边的括号小于n时，添加左括号，再次进入此函数，直至左边...
2019-06-11 18:07:51
904
原创 15 三数之和
三数之和（C++）题目：给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，c ，使得 a + b + c = 0 ？找出所有满足条件且不重复的三元组。注意：答案中不可以包含重复的三元组。例如：nums = [-1, 0, 1, 2, -1, -4]output ： [ [-1,1,0], [-1,-1,2] ]本文采取的方法是排序加对撞...
2019-06-06 18:26:11
84
原创 merge sort
merge sort算法思想：将一个问题分解为两个子问题，两个子问题可以分解为四个子问题，就这样一直分解到最简单的那一层。后拿出未分类中最小的一个。例如：对 5 7 10 12 9 8 6进行排序，将分成5 7 9 1012 9 8 6再进行划分：5 79 1012 98 6再进行划分：5791012986进行合并5 79 109 126 8再次合...
2019-06-02 22:19:00
107
原创 14. 最长公共前缀
14. 最长公共前缀（c++）题目编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串 “”。示例1：输入: ["flower","flow","flight"]输出: "fl"示例2：输入: ["dog","racecar","car"]输出: ""解释: 输入不存在公共前缀。说明：所有输入只包含小写字母 a-z 。方法1 ：水平扫描法定义...
2019-06-02 21:41:11
105
原创 TASK 10
Transformertransform由Google的一篇论文提出：Attention is All You Needtransformer由Encoders和Decoders组成：论文中讲述，每个Encoders和Decoders中分别有六个encoder和decoder组成：对于每个encoder，他们的结构是相同的，但不会共享权值。每层encoder由两个部分组成，如下图：...
2019-05-30 20:14:17
145
转载 attention
原理介绍相关论文Hierarchical Attention Networks for Document ClassificationWord Encoder：①给定一个句子si,例如 The superstar is walking in the street，由下面表示[wi1,wi2,wi3,wi4,wi5,wi6,wi1,wi7]，我们使用一个词嵌入矩阵W将单词编码为向量...
2019-05-28 14:20:11
169
原创 循环和递归神经网络
为什么需要RNN神经网络只能一个个的输入，前一个输入和后一个输入是没有关系的。但某些任务需要能够更好的处理序列的信息，即前面和后面的输入是有关系的。RNN结构x为一个向量，代表输入层和输出层的值；s是一向量，代表着隐藏层的值；U是输入层的权重矩阵，o也为一个向量，它表示输出层的值，V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层s的值不仅仅取决于当前输入的x，还取决于上一次隐藏层的值h。...
2019-05-26 20:13:47
906
原创 TASK 7 卷积神经网络
卷积神经网络此为单个神经元输入层对于数据输入层，主要做的就是对数据进行预处理，其中包括：去均值：把输入数据的各个维度中心化为0，如下图所示，目的是把样本的中心拉回坐标原点上去。归一化：幅度归一化到同样的范围，如下所示，即减少各个维度数据取值范围的差异带来的干扰，比如我们有两个维度的特征A和B，A的特征是0-10，B的特征是0-10000，如果直接使用这两个特征是会有问题的，好的做法...
2019-05-24 20:01:50
235
原创 TASK6
前馈神经网络前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。输入层神经网络的第一层，用来接收、处理数据隐藏层位于输出层和输入层之间的神经网络层次输出层神经网络的最后一层，用来输出激活函数神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经...
2019-05-22 20:08:36
219
原创 NLP Task5
朴素贝叶斯定义：P(C|X)称为C的后验概率，与之相对的，P©称为C的先验概率。而基于贝叶斯公式(公式如下)：但在比较不同的A值的后验概率时，分母P(B)总是为常数，将其忽略掉后，后验概率为P（A|B）=P（B|A）P(A)而先验概率P（A）可以通过计算训练集的每一个类的训练样本所占比例获得，对类条件概率P（X|C）的估计，我们只谈论朴素贝叶斯方法，因为朴素贝叶斯假设事物属性之间相互条件独...
2019-05-20 21:00:40
137
原创 Task 4word2vec
one-hot编码one-hot编码通俗的理解就是创建一个词表，比如[‘a’,‘b’,‘c’,‘d’]，而假如这个词出现则其对应的位置为1，其余为0。a：[1,0,0,0]b：[0,1,0,0]c：[0,0,1,0]d：[0,0,0,1]所对应的问题，有时语料库会达到几百万个词，则每个词的为度都要达到几百万维这样的话计算将会出现极大的麻烦，而且向量过于稀疏，无法与上下文进行联系且不含有...
2019-05-18 20:21:22
128
转载 Task3 文本向量特征 TF-IDF处理
分词统计词频并将其向量化from sklearn.feature_extraction.text import CountVectorizervectorizer = CountVectorizer()corpus = ['I come to China to travel', 'This is a car popular in China', 'I l...
2019-05-16 18:56:47
430
原创 Task2-ngram
原理N-gram 是基于一个假设，即第n个词出现与前n-1个词有关，而与其他任何词不相关（隐马尔可夫当中的假设）。整个句子出现的概率变成了各个词出现的概率乘积。各个词可以通过语料库统计计算得到。假设句子T是由序词序列w1、w2…wn组成，用公式N-gram语言模型如下：P(T)=P(w1)*p(w2)p(w3)……*p(wn)=p(w1)*p(w2|w1)p(w3|w1w2)……*p(wn|w...
2019-05-14 19:33:22
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人