guanyue.space-CSDN博客

Unigram ModelGame 9 Unigram Model上帝只有一个骰子，这个骰子有V个面，每个面对应一个词、各个面的概率不一每抛一次骰子，抛的面就对应一个词的产生；如果一篇文档有n个词，上帝就独立地抛n次骰子产生n个词变量：p→=(p1,p2,...,pV)\overset{\rightarrow}{p}=(p_1,p_2,...,p_V)p→=(p1,p2,...,pV),样本：语料 W\mathscr{W}W各个面的概率 p→=(p1,p2,...,pV)\over

2021-10-16 22:57:54 221

原创 URI与URL，SecureSocket简记

URI: Uniform Resource Identificationa generalization of URL#mermaid-svg-glwDgWiugi6WUcZ6 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-glwDgWiugi6WUcZ6 .label text{fill:#333}#me

2021-09-05 09:24:22 181

原创无监督学习

无监督特征学习主成分分析（Principal Component Analysis，PCA）稀疏编码(Sparse Coding)训练方法稀疏编码的优点自编码器稀疏自编码器熵堆叠自编码降噪自编码器概率密度估计参数密度估计正太分布 & 多项分布非参数密度估计直方图法核方法K近邻方法Later从无标签的数据中学习出一些有用的模式．无监督学习就是发现隐藏的数据中的有价值信息，包括有效的特征、类别、结构以及概率分布等．典型的无监督学习问题可以分为以下几类：无监督特征学习（Unsupervi.

2021-07-28 10:21:28 451

原创注意力机制与外部记忆

引言注意力注意力机制注意力机制的变体硬性注意力键值对注意力多头注意力小结指针网络自注意力模型人脑中的记忆记忆增强神经网络端到端的记忆网络神经图灵机基于神经动力学的联想记忆Hopfield网络总结神经网络的能力通用近似原理{前馈神经网络 →\rightarrow→ 循环神经网络：有界区间连续函数 →\rightarrow→ 非线性动力系统}，然而优化算法和计算力限制实践中很难达到通用近似的能力（泛化）减少计算复杂度：局部连接、权重共享、汇聚操作 {卷积神经网络开始引入}来简化神经网络结构.

2021-07-20 23:04:18 890

原创网络优化与正则化

任何数学技巧都不能弥补信息的缺失.引言虽然神经网络具有非常强的表达能力，但是当应用神经网络模型到机器学习时依然存在一些难点问题．主要分为两大类：优化问题：非凸优化问题+参数多，训练数据大+梯度消失爆炸泛化问题：模型拟合能力较强 – 正则化网络优化网络优化是指寻找一个神经网络模型来使得经验（或结构）风险最小化的过程，包括模型选择以及参数学习等.网络结构多样性：通用方法；另外超参数较多高维变量的非凸优化：逃离鞍点；（平坦）局部最小值（的等价性）神经网络优化的改善方法：优化

2021-06-30 13:09:05 606

原创 Cuckoo Filter

Cuckoo MapCuckoo FilterConditional Cuckoo FilterCuckoo MapCuckoo FilterConditional Cuckoo Filter

2021-06-23 20:19:54 445

原创循环神经网络

前言短期记忆能力实现延时神经网络（Time Delay Neural Network，TDNN）有外部输入的非线性自回归模型循环神经网络(Recurrent Neural Network，RNN)简单循环网络循环神经网络的计算能力前言处理时间序列数据（语音识别，语言模型，自然语言生成…）前馈神经网络（卷积神经网络）：信息单向传递在一定程度上也减弱了神经网络模型的能力时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变循环神经网络具有短期记.

2021-06-09 11:07:02 745

原创 SMO算法思想

对偶问题优化对偶问题优化最大化：θ(α)=∑i=1Nαi−12∑i=1N∑j=1NαiαjyiyjK(xi,xj)限制条件：∀i=1,...,N,有0≤αi≤C∑i=1Nαiyi=0最大化：\\\theta(\alpha)=\sum_{i=1}^{N}{\alpha_i}-\frac 12 \sum_{i=1}^{N}{\sum_{j=1}^{N}{\alpha_i\alpha_jy_iy_j \quad K(x_i,x_j)}}\\限制条件：\\\forall i=1,...,N ,有 0 .

2021-06-09 11:01:43 139

原创支持向量机

支持向量机（回顾）线性可分训练数据标签：(X,y)，y∈{1,−1}(X,y)， y\in\{1,-1\}(X,y)，y∈{1,−1}寻找一个超平面分离 +1，-1 超平面:WTX+b=0W^TX+b=0WTX+b=0训练集{(xi,yi)}i=1,...,N\lbrace (x_i,y_i)\rbrace_{i=1,...,N}{(xi,yi)}i=1,...,N∃(W,b)\exist(W,b)∃(W,b)使得 ∀i=1,...N有\forall i=1,...N有∀i=1,..

2021-06-08 17:49:34 157

原创卷积神经网络

定义简单分析典型的卷积神经网络LeNet5卷积层由手工设计卷积核变成自动学习卷积核（后向传播算法）定义初始数据Data∈RM∗NData \in R^{M*N}Data∈RM∗N卷积核 W=∣wi,j∣i∈[1,P]j∈[1,Q]W=\vert w_{i,j}\vert \quad i\in[1,P] j\in[1,Q]W=∣wi,j∣i∈[1,P]j∈[1,Q]卷积来实现线性变换 WWW 一次卷积共享步长(Stride):S填充(Padding): P 边缘都进行填充P个.

2021-05-30 11:15:28 158

原创前馈神经网络

神经元激活函数sgn函数Sigmoid型函数Logistic函数Tanh函数Hard-Logistic函数与Hard-Tanh函数ReLU函数带泄露的ReLU带参数的ReLUELU函数Softplus函数Swish函数GELU函数Maxout单元网络结构前馈网络记忆网络图网络前馈神经网络神经元激活函数MP神经元激活函数需要具备以下几点性质：连续并可导（允许少数点上不可导）的非线性函数．可导的激活函数可以直接利用数值优化的方法来学习网络参数．激活函数及其导函数要尽可能的简单，有利于提高网.

2021-05-12 08:22:59 412

原创线性模型

基本形式线性判别函数和决策边界多分类Logistic回归参数学习Softmax回归感知器基本形式???? 维样本 x=[x1,x2,...,xD]Tx=[x_1,x_2,...,x_D]^Tx=[x1,x2,...,xD]T数学表达：f(x;w)=w1x1+w2x2+...+wDxD+b=wTx+bf(x;w)=w_1x_1+w_2x_2+...+w_Dx_D+b\\=w^Tx+bf(x;w)=w1x1+w2x2+...+wDxD+b=wTx+b其中 w=[w1,⋯,wD]Tw=

2021-05-05 12:46:04 334

原创机器学习概述

机器学习概述机器学习是对能通过经验自动改进的计算机算法的研究．机器学习概述机器学习三要素模型学习准则损失函数风险最小化准则优化算法梯度下降法提前停止随机梯度下降法小批量梯度下降法机器学习的简单示例--线性回归参数学习参数估计经验风险最小化补充《向量矩阵数学求导》结构风险最小化最大似然估计最大后验估计偏差-方差分解机器学习三要素模型、学习准则、优化算法模型特征（属性）向量： x标签标量： y样本空间（x,y）中根据经验来假设一个函数集合ℱ（假设空间 Hypothesis Space）

2021-04-26 20:22:56 456

转载 Bloom Filter 概念和原理

Bloom Filter 概念和原理集合表示和元素查询错误率估计最优的哈希函数个数位数组的大小总结参考资料Bloom Filter 概念和原理焦萌 2007 年 1 月 27 日Bloom Filter 是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。 Bloom Filter 的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Fi.

2021-04-24 12:10:07 168

原创 NumPy基础01

简介基础方法简介ProvidesAn array object of arbitrary homogeneous itemsFast mathematical operations over arraysLinear Algebra, Fourier Transforms, Random Number GenerationNumPy 在内部将数据存储在连续的内存块上它包含的每一个元素均为相同类型意图明显…NumPy 的算法库是用C语言编写的，操作内存时，不需要类型.

2021-04-20 19:23:14 181

原创 read:Adaptive Learned Bloom Filter (Ada-BF): Efficient Utilization of the Classifier

摘要前言信息的浪费高度依赖于`Generalization`Motivation我们的贡献回顾BF与LBFA Strict Generalization: 自适应学习的布隆过滤器Simplifying the Hyper-Parameters分析Ada-BFDisjoint Ada-BF（分离的自适应学习BF）简化Hyper-Parameters分析Disjoint Ada-BFExperiment恶意URL检测病毒扫描Hyper-Parameters调节的敏感度Sandwiched LBF和LBF阻止实.

2021-04-18 09:52:48 356

原创 Reading:Think Outside the Dataset: Finding Fraudulent Reviews using Cross-Dataset Analysis

摘要first paragraphsecond paragraph前言others'others'This PaperViewView-EvaluationView-Evaluation-Resfurther相关工作文本与元数据特征时态数据检测虚假数据OneReview 的两大优势真实数据的获取 Ground Truth Creation威胁模型评论数据Think Outside the Dataset: Finding Fraudulent Reviews using Cross-Dataset An.

2021-04-15 18:30:16 300

原创 leetcode算法题

无重复最长字符串寻找两组正序数的中位数无重复最长字符串给定一个字符串，请你找出其中不含有重复字符的最长子串的长度。i,j双指针指向最大字串的首尾 j++ （ok） i变动？查找算法？nono —> 哈希表记录下标 (字符串由英文字母，数字，符号空格组成 --> 元素个数有限 )class Solution: def lengthOfLongestSubstring(self, s): """ i---j 为最大子串首尾 .

2021-04-13 16:03:55 104

原创算法日记---不同的二叉搜索树

题目思考具体算法实现卡特兰数经典问题电影购票题目思考分析：选取i作为根节点则左子树分支为1：i-1 右子树分支为i+1:n 亦即 1：n-i故而问题可转化为： n个节点的树=(所有i) i-1节点 * n-i节点具体示例中 f(3)= f(0)*f(2) +f(1)*f(1) +f(2)*f(0)易知： 0个节点 f(0)=0 1个节点 f(1)=1 2个节点 f(2)=2f(3)= 0*2 + .

2021-04-12 11:16:14 164

原创 Python学习笔记03

内建数据结构TupleList二分检索与二分插入内建序列函数Dict常规setdefaultdefaultdict列表推导式内建数据结构内建数据结构：元组；列表、字典、集合TupleIn [1]: tup1=(1,2,['a','b','c'],4)In [2]: tup2=tup1*3In [3]: id(tup2)==id(tup1)Out[3]: FalseIn [4]: tup2Out[4]: (1, 2, ['a', 'b', 'c'], 4, 1, 2, ['a', 'b.

2021-04-06 17:59:52 166

原创 Python学习笔记02

module 的导入运算符关键字标量类型日期datetimemodule 的导入import module_name as alias # 自己编写的py or 库form module_name import variable运算符关键字标量类型a == b # 判断a与b的值a is b # 判断a与b是否指向同一对象 (检查一个变量是否为None a is None)id(a) # (CPython uses the object's memory ad.

2021-04-06 11:27:41 69

原创 Python学习笔记01

IPython与JupyterIPython 更具交互性的Python解释器，本身不提供任何计算或数据分析工具重点：交互计算与软件开发将生产力最大化Jupyter项目旨在设计一个适用于更多语言的交互式计算工具。IPython可以作为一个内核用于Jupyter中使用Python。IPython自身以作为Jupyter开源项目的一个组件，后者提供交互性、探索性的高效环境。isinstance 和 type 的区别在于：type()不会认为子类是一种父类类型。isinstance()会认为子类是一种

2021-04-04 23:31:04 118

原创国产加密算法

目录加密算法国产加密算法简单使用分组加密回顾运行模式ECB: 一半意义理解CBC: 需要初始向量IV (IV需要进行保护)CFB: 需要初始向量IVOFB模式CTR - CounTeR, 计数器模式（重点，推荐使用）数据填充原理参考源码分析加密算法主流分类方式流密码&分组密码对称密码&非对称密码国产加密算法SM4分组加密算法（对称密码）简单使用参考国产SM4密码算法详解文章中源码链接已失效在SM4的源代码中存在如下几个函数:void sm4_setkey_en

2021-03-31 19:19:18 3100

原创记录一次网站登录分析

前言信息深挖TESTJava验证登录分析前言一定要注重个人信息保护，请勿在任何地方上传包含个人数据的信息。贴吧搜索考研初试信息时经常发现这种帖子，楼主直接将带有考生信息的图片上传到贴吧。。。。一言难尽首先根据图片可以获取考生：姓名、准考证号、报名号信息深挖登录学校研招网，初试成绩查看办法可以直接获取考生的登陆账号，考生密码为身份证后六位（生日+地方+性别（男：奇数女：偶数）+验证码另外根据姓名–>一般可以获取性别可能性： 31*100*5*10）一般的教育网.

2021-03-16 22:38:27 124

原创数据结构思考

问题：已知一维数组A[m+n]中依次存放两个线性表前m项： a1,a2,a3 … am后n项：b1,b2,b3 … bn如何将前m项元素与后n项交换位置???思路整理代码1void swapArray(char **pString, int start, int len, int _start, int _len, int sum) { if (len <= _len) { //前m项少于后n项 int i = 0, j = 0; char .

2020-10-17 18:49:42 125

原创基本排序算法的实现

文章目录前言内排序插入排序直接插入排序折半插入排序希尔排序交换排序冒泡排序快速排序选择排序~~直接选择排序~~堆排序归并排序基数排序前言数据Item[1:len]Item[0] -->不存储数据（功能：哨兵节点OR暂存数据）内排序排序过程在内存中实现插入排序查找位置，移动元素，插入直接插入排序/** * 直接插入排序顺序存储,链式存储 * 0:i-1 查找位置 j+1--->顺序查找 * j+1:i-1 数据移动 * */void Inser

2020-09-23 19:57:42 175

原创直接插入排序哨兵节点

文章目录算法牢骚在《数据结构》直接排序算法中引入了哨兵节点（目的：减少了越界检查）只是为了表明哨兵这种结构的潜在价值???将数据直接放置在A[1…n]上 A[0]作为哨位节点算法void InsertSort(Item *data, int len) { int i, j; for (i = 2; i < len + 1; i++) { data[0] = data[i]; for (j = i - 1; data[0].value &lt

2020-09-22 20:28:34 452

原创 MappedByteBuffer

目录 New I/OByteBufferDirect BuffersMappedByteBuffer示例New I/O旧的I/O包已经使用nio重新实现过，以便充分利用这种速度提高速度的提高来自于所使用的数据集结构更接近于操作系统执行的I/O方式：通道和缓冲器，唯一直接与通道交互的缓冲器ByteBuffer。旧的I/O库中的FileInputStream,FileOutputStream,RandomAccessFile可以用来生成FileChannel;Reader和Writer不能用于产生通道

2020-09-01 21:45:47 506

转载什么是DNS over HTTPS？

我们都知道域名解析系统（DNS）是因特网的核心之一，我们访问一个网站时必须通过DNS服务器才能将域名转换成IP地址。但是老旧的DNS技术一直没有重大的改进，它的数据传输没有经过加密，这导致DNS查询的数据很容易被收集、阻止和更改，我们熟悉的域名劫持就是利用了其未加密的特征。那这个问题有没有办法解决呢？当然有，2016年，谷歌公司启用了DNS Over HTTPS 域名安全查询服务，它提供了DNS请求的端到端验证，可以对DNS请求和响应进行加密，也就是说它可以防止用户的数据遭到泄露，那么域名劫持的问题也在

2020-08-24 19:24:15 8042

空空如也

空空如也