CurryCoder的个人博客

原创 操作系统面试知识点总结2

1.进程与线程对于有线程系统：进程是资源分配的独立单位线程是资源调度的独立单位对无无线程系统：进程是资源调度、分配的独立单位2.进程间的通信方式及优缺点管道有名管道：一种半双工的通信方式，它允许无亲缘关系进程间的通信。优点：可以实现任意关系的进程间的通信缺点：a.长期存于系统中，使用不当容易出错b.缓冲区有限无名管道：一种半双工的通信方式，...

原创 神经网络中参数量parameters和FLOPs计算

一、CNN中parameters和FLOPs计算CNN中的parameters分为两种：W和b，对于某一个卷积层，它的parameters的个数为:(Kh∗Kw∗Cin)∗Cout+Cout\left(K_{h} * K_{w} * C_{i n}\right) * C_{o u t}+C_{o u t}(Kh​∗Kw​∗Cin​)∗Cout​+Cout​其中，KhK_{h}Kh​是卷...

原创 复习02统计学习方法(感知机perceptron machine)---图片版

原创 复习01统计学习方法(机器学习中的重要概念)---图片版

转载 数据库中的基本概念

1.基本概念数据（data）：描述事物的符号记录称为数据数据库（DataBase，DB）：是长期存储在计算机内、有组织的、可共享的大量数据的集合，具有永久存储、有组织、可共享三个基本特点。数据库管理系统（DataBase Management System，DBMS）：是位于用户与操作系统之间的一层数据管理软件。数据库系统（DataBase System，DBS）：是有数据库、数据库管理...

转载 常见的数据预处理方法总结

0.概述一般而言，样本的原始特征中的每一维特征由于来源以及度量单位不同，其特征取值的分布范围往往差异很大。当我们计算不同样本之间的欧氏距离时，取值范围大的特征会起到主导作用。这样，对于基于相似度比较的机器学习方法（比如最近邻分类器KNN），必须先对样本进行预处理，将各个维度的特征归一化到同一个取值区间，并且消除不同特征之间的相关性，才能获得比较理想的结果。虽然神经网络可以通过参数的调整来适应不...

转载 神经网络中的批量归一化Batch Normalization(BN)原理总结

0.概述在深层神经网络中，中间层的输入是上一层神经网络的输出。因此，之前的层的神经网络参数的变化会导致当前层输入的分布发生较大的差异。在使用随机梯度下降法来训练神经网络时，每次参数更新都会导致网络中每层的输入分布发生变化。越是深层的神经网络，其输入的分布会改变的越明显。从机器学习角度来看，如果某层的输入分布发生了变化，那么其参数需要重新学习，这种现象称为内部协变量偏移。解决方法：为了解决内...

原创 ubuntu16.04下ROS最新换源方法，解决Hash sum mismatch 问题

1.更换源备份原始数据cd /etc/apt/sudo cp sources.list sources.list.baksudo gedit sources.list科大源: deb https://mirrors.ustc.edu.cn/ubuntu/ xenial main restricted universe multiverse deb https://mi...

原创 神经网络中的注意力机制总结及PyTorch实战

0.概述当神经网络来处理大量的输入信息时，也可以借助人脑的注意力机制，只选择一些关键的信息输入进行处理，用来提高神经网络的效率。在目前的神经网络模型中，可以将max pooling和gating机制近似地看作是自下而上的基于显著性的注意力机制。此外，自上而下的聚焦式注意力也是一种有效的信息选择方法。例如：给定一篇很长的文章，然后就此文章的内容进行提问，提出的问题只和文章中某个段落中的一两个句子...

原创 从LSTM到GRU基于门控的循环神经网络总结

1.概述为了改善基本RNN的长期依赖问题，一种方法是引入门控机制来控制信息的累积速度，包括有选择性地加入新的信息，并有选择性遗忘之前累积的信息。下面主要介绍两种基于门控的循环神经网络：长短时记忆网络和门控循环单元网络。因为基本的RNN即ht=f(Uht−1+Wxt+b)\mathbf{h}_{t}=f\left(U \mathbf{h}_{t-1}+W \mathbf{x}_{t}+\math...

转载 神经网络中的权重初始化常用方法

1.权重初始化的重要性神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的激活函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。为了打破这...

原创 中文文本中的关键字提取算法总结

0.关键词提取定义：从文本中把与这篇文章意义最相关的一些词语抽取出来。应用：在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用，它不仅是进行这些工作不可或缺的基础和前提，也是互联网上信息建库的一项重要工作。1.关键词抽取的方法-----主要有两种关键词分配：给定一个已有的关键词库，对于新来的文档从该词库里面匹配几个词语作为这篇文档的关键词。关键词提取：针对新文档，通过算法分析...

原创 中文分词工具jieba分词器的使用

1.常见的中文分词工具中科院计算所的NLPIR哈工大LTP清华大学THULAC斯坦福分词器Hanlp分词器jieba分词IKAnalyzer2.jieba分词算法主要有以下三种：1.基于统计词典，构造前缀词典，基于前缀词典对句子进行切分，得到所有切分可能，根据切分位置，构造一个有向无环图(DAG)2.针对DAG图，采用动态规划计算最大概率路径（最优可能的分词结果），根据最...