![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实用技巧
文章平均质量分 80
SrdLaplaceGua
https://github.com/RDShi
展开
-
LINUX高频命令
实习中LINUX已经成为必不可少的一部分,但是从来没有系统的学习过LINUX,有时候也会有茶壶倒饺子的感觉。感觉计算机语言和英语差不多,高频使用的命令也无非那几个,今天就把他们总结一下,主要是平时工作中每天必定会用的。1.基础cd dir #Change Directory ls #list (ll [-Ah]) mv file dir #Move file cp file di...原创 2018-05-22 01:27:18 · 1707 阅读 · 0 评论 -
PageRank算法简介
谷歌的两位创始人,当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们的借鉴了学术界评判学术论文重要性的通用方法, 那就是看论文的引用次数。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了,非常简单:1.如果一个网页被很多其他网页链接到的话说明这个网页比较重要2.被一个PageRank值很高的网页链接的网页PageRank的值也应该很高原创 2018-10-23 17:31:52 · 1106 阅读 · 0 评论 -
【阅读笔记】Entity Linking 相关
最近搞一些 Entity Linking 相关的事情看了看下 yahoo 的这两篇工作和开源的(FEL)[https://github.com/yahoo/FEL]Fast and Space-Efficient Entity Linking in QueriesABSTRACTEntity Linking一般需要在在下游的检索之前完成,typically within millisecon...原创 2018-11-27 11:50:25 · 4864 阅读 · 6 评论 -
词向量总结
词向量词向量是自然语言理解的重要工具,它的核心思想是把词映射到一个向量空间,并且这个向量空间很大程度上保留了原本的语义。词向量既可以作为对语料进行数据挖掘的基础,也可以作为更复杂的模型的输入,是现在 nlp 的主流工具。下面就总结一下 nlp 中经典的词向量方法。主要有:onehot、glove、cbow、skip-gram原创 2018-12-03 13:21:27 · 1708 阅读 · 0 评论 -
基于词相关性的排序算法
基于词相关性的排序算法BIM(binary independence model ,二元独立模型)和朴素贝叶斯类似,假设同一篇文档里出现的词之间没有关联,互相独立。Query 包含了若干词项 ttt。对于这个 query ,文档 doc 用一个向量表示d=(x1,x2,…,xn)d=(x_1,x_2,…,x_n)d=(x1,x2,…,xn),词项ttt出现则xt=1x_t=1xt=1...原创 2018-12-11 14:44:59 · 1433 阅读 · 0 评论 -
【阅读笔记】Text Matching as Image Recognition
Pang, Liang, et al. “Text Matching as Image Recognition.” AAAI. 2016.https://github.com/pl8787/MatchPyramid-TensorFlow概述:构建文本与文本的相似矩阵,把相似矩阵当作是图片,然后采用 CNN 对其进行分类二分类(相似与不相似)。构建相似矩阵 M:Indicator fun...原创 2019-01-04 14:27:00 · 803 阅读 · 0 评论 -
【阅读笔记】On the Dimensionality of Word Embedding
Yin Z , Shen Y . On the Dimensionality of Word Embedding[J]. 2018.https://github.com/ziyin-dl/word-embedding-dimensionality-selection引入本文是探讨 Word Embedding 维度的 bias-variance trade-off,提出了 Pairwise ...原创 2019-01-08 14:07:24 · 1244 阅读 · 1 评论 -
【阅读笔记】k-nrm和Conv-knrm
【阅读笔记】End-to-End Neural Ad-hoc Ranking with Kernel PoolingXiong, Chenyan, et al. “End-to-end neural ad-hoc ranking with kernel pooling.” Proceedings of the 40th International ACM SIGIR Conference on ...原创 2019-01-14 17:51:43 · 5439 阅读 · 6 评论 -
lucene 从0到1
Lucene[‘lusen] 是一个高性能的 java 全文检索工具包(引擎),现阶段 Apache 的顶级的开源项目,可基于它开发出各种全文搜索的应用。一个全文检索系统需要做的可以分为两部分,第一部分是建立索引,第二部分是进行检索。下面就结合代码对这两部分进行讲解。先创建一个由 maven 管理的 java 项目,在 pom 中田间 lucene 依赖<dependencies&gt...原创 2019-02-25 15:22:43 · 212 阅读 · 0 评论 -
【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers
本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。原创 2019-02-12 15:07:19 · 10232 阅读 · 3 评论 -
【阅读笔记】Generative Adversarial Nets
GAN 是一个通过对抗过程来估计生成模型的框架。我们同事训练两个模型:a generative model G 来你和数据的概率分布,a discriminative model D来判断数据来自真实数据还是生成数据。训练是一个两人游戏的最大最小化过程,G最大化D判断错误的概率, D最大化判断正确的概率。在任意的函数空间内,G和D的解唯一存在,此时G完全你和训练数据的分布,D的的结果永远为1/2。当G和D被定义为multi-perceptrons时,可通过反向传播训练。原创 2019-02-25 16:28:43 · 606 阅读 · 0 评论 -
【阅读笔记】Adversarially Regularized Autoencoders
Adversarially Regularized AutoencodersKim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.GitHub: https://github.com/jakezhaojb/ARAEadv...原创 2019-02-26 14:02:09 · 2148 阅读 · 0 评论 -
一元方程的求根公式
最近看了看方程的求解方法,感觉挺有意思的,加之最近新换了实习,又要写毕业论文,实在太忙,没时间写博客,就拿这个写一篇博客吧方程的求根公式要得到一元方程的求根公式,就得先定义什么是一元方程,什么是求根公式。方程是指等式连接的两个式子(相信大家都明白),一元方程是指方程中只含有一个未知数的方程。求根公式就是通过方程的系数进行有限次加减乘除开方运算得到的根的值的公式。重点是有限次加减乘除开方,这些运...原创 2019-03-10 15:12:52 · 7459 阅读 · 0 评论 -
【学术】重构具有时间延迟相互作用的动力学网络
Reconstruction of dynamic networks with time-delayed interactions in presence of fast-varying noisesZhaoyang ZhangYang ChenYuanyuan MiGang HuNingbo University中科院脑网中心和国家模式识别实验室Chongqing ...原创 2019-04-13 22:49:16 · 483 阅读 · 0 评论 -
Connectionist Temporal Classification(CTC)、音识别模型小型综述和一个简易的语音识别模型的tensorflow实现
CTC是一种端到端的语音识别技术,他避免了需要字或者音素级别的标注,只需要句子级别的标注就可以进行训练,感觉非常巧妙,也很符合神经网络浪潮人们的习惯。特别是LSTM+CTC相较于之前的DNN+HMM,LSTM能够更好的捕捉输入中的重要的点(LSTM随着状态数目增加参数呈线性增加,而HMM会平方增加),CTC打破了隐马尔科夫的假设,把整个模型从静态分类变成了序列分类。语音识别的评价指标在语音识别...原创 2018-10-17 17:28:52 · 1315 阅读 · 3 评论 -
人工智能与安全论坛:智能与安全的融合与对抗
前几天随公司参加了互联网安全大会(ISC,Internet Security Conference),虽然只参加了半天的会议,感觉收获不。更重要的是偶遇师兄,人生无处不相逢的感觉,记录一下当时的会议内容也当作一下偶遇的纪念。2018.9.5 ISC - 人工智能与安全论坛:智能与安全的融合与对抗合作机构:中国人工智能学会人工智能与安全专业委员会(筹)论坛主席:Dawn Song主...原创 2018-09-23 19:08:18 · 2627 阅读 · 0 评论 -
jupyter快速上手指南
实习之后开始用jupyter notebook,感觉实在太方便。可以灵活的调试,还可以直接写markdown,配合快捷键操作起来简直指哪打哪。下面介绍一下从0开始安装和上手jupyter。安装jupyter之前先把python装上,然后在命令行里输入pip jupyter稍加等待就安装好了,想要运行就在命令行输入jupyter notebook复制命令行里提示的站到浏览...原创 2018-06-03 23:25:13 · 796 阅读 · 0 评论 -
程序员的核心技能
还有不到一年就要毕业,还有两个月就要校招,越来越感觉时间紧迫。身份马上要从student转换到worker,感觉技能和心态上还有很多不足的地方。我现在的想法是做一名程序猿,今天我就来总结一下我了解到的程序猿的核心技能。PROBLEM SOLVING SKILLS能否拆解问题能否能面对质疑能否面对变化COMMUNICATION SKILLS能否讲清思路能否get到要点...原创 2018-06-15 00:27:07 · 688 阅读 · 0 评论 -
数据降维PCA
数据将为的方法很多,可以从两个角度四个象限来分类: 线性 非线性 有指导 LDA/MFA SNE/t-SNE 无指导 PCA/ICA 聚类线面由易到难介绍这几种方法:PCA(principal component analysis, 主成分分析)理论推导有数据x1,x2,...,xnx1,x2,...,xnx_1,x...原创 2018-07-27 01:26:01 · 695 阅读 · 0 评论 -
数据降维LDA,ICA,FA,MFA
书接上文,上文介绍了PCA,接下来介绍几种数据降维的方法。LDA(Linear Discriminant Analysis, 线性判别分析)理论推导线性判别分析是一种有监督的降维方法,核心思想是通过线性变换进行降维,使得不同label下的特征最有区分度 假设有多类数据,类别iii为x∈Xi⇒yix∈Xi⇒yix\in X_i \Rightarrow y_i,均值μi=1|Xi|∑...原创 2018-08-05 02:18:08 · 2996 阅读 · 0 评论 -
数据降维SNE,Symmetric SNE,t-SNE
书接上文,前面介绍了PCA、LDA、ICA、FA、MFA,接下来介绍几种非线性数据降维的方法。SNESNE是通过仿射(affinitie)变换将数据点映射到基本相同的概率分布上,主要包括两个步骤:SNE构建一个高维对象之间的概率分布,使得相似的对象有更高的相似度,而不相似的对象有较低的相似度。SNE在低维空间里在构建这些点的概率分布,使得这两个概率分布之间尽可能的相似。给定一...原创 2018-08-06 02:19:24 · 1180 阅读 · 0 评论 -
机器学习的评价指标
个人觉得机器学习算法的好坏主要由4个因素决定:模型精度判别速度模型占用资源情况模型训练速度后面三个的情况的好坏都比较直观(判别速度就是模型的吞吐量,每秒可以处理多少条数据;模型占用资源就是模型需要占用多少内存;训练速度就是模型训练需要花费多长时间),而精度的评价指标却比较多,而且评价指标在一定程度上相当于损失函数,模型优化的对象。现在就来总结一下常见的模型精度的评价指标。回归...原创 2018-08-11 19:19:33 · 1540 阅读 · 0 评论 -
声纹识别综述+一个简易的tensorflow实现的模型
声纹识别的历史和一个简单的声纹识别模型原创 2018-08-22 13:08:08 · 16334 阅读 · 17 评论 -
优化问题综述(三)在线学习算法
Online learning是指每次来一个样本,利用一个迭代方法更新模型,使得当前期望loss最小。梯度下降类的方法精度不错,但是简单的在线梯度下降很难产生真正稀疏的解,而且对于不可微点的迭代会存在一些问题。SGD:随机梯度下降法每次用一部分数据算梯度,然后梯度下降,但是SGD精度低、收敛慢、很难得到需要的正则化设计的解,特别是几乎得不到稀疏解。TG算法简单截断法...原创 2018-09-04 12:00:21 · 1314 阅读 · 0 评论 -
用不同的损失函数训练神经网络初探
Similarity Learning and Loss FunctionSimilarity Learning也叫metric learning,是为了学习在原特征空间上的线性或非线性变换,使得在新的特征空间上相似度或者距离满足一定的性质。 深度学习在设计很多loss就用到了metric learning的想法。把最后一层特征空间作为新的度量空间,加入一些相应的loss,使得度量空间满足一...原创 2018-08-29 22:54:24 · 2795 阅读 · 0 评论 -
ImageNet训练完整流程
下载数据训练集(138G)验证集(6.3G-50000张)train_label.txtvalidation_label.txtp.s. 用迅雷下还挺快的,3天搞定数据解压tar xvf ILSVRC2012_img_train.tar -C ./train tar xvf ILSVRC2012_img_val.tar -C ./val对于train数据集,...原创 2018-08-29 23:16:10 · 26277 阅读 · 23 评论 -
优化问题综述(四)有约束最优化算法
最优化问题的三种情况无约束条件:梯度下降法等(前面的文章已经有详细的描述)等式约束条件:解决方法是消元法或者拉格朗日法。不等式约束条件:一般用KKT(Karush Kuhn Tucker)条件对偶求解等式约束条件下的优化算法问题的数学描述:minxf(x),s.t.,hi(x)=0,i=1,2,..,Iminxf(x),s.t.,hi(x)=0,i=1,2,..,Imin_x ...原创 2018-09-04 14:27:42 · 16843 阅读 · 0 评论 -
隐马尔科夫模型(HMM)
隐马尔可夫模型(Hidden Markov Model,HMM)是含有隐藏状态的马尔可夫过程的模型。隐马尔可夫模型有两种变量,不可观察到的状态和可观察到的观测。隐马尔可夫模型有两个基本假设:齐次马尔可夫性假设,即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态,与其他时刻的状态及观测无关观测独立性假设,即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态,与其他观测及状态...原创 2018-09-02 01:56:56 · 517 阅读 · 0 评论 -
排序算法总结
def quick_sort(lis,s,e,r): """ 优点:快速简洁,不需要额外内存 缺点:最差为n^2,不稳定,递归层数很深 trick:打乱,tail sort """ if s>=e: return if r<=0 or e-s < 5:原创 2018-07-10 00:09:48 · 239 阅读 · 0 评论 -
优化问题综述(一)无约束最优化问题的解法中用于神经网络的常见算法
优化问题是解决形如 minxg(x)+h(x),s.t.,x∈Xminxg(x)+h(x),s.t.,x∈Xmin_x g(x)+h(x),s.t.,x\in X的问题,g(x)g(x)g(x)是损失函数,h(x)h(x)h(x)是正则化约束,XXX是可行域。 我们令f(x)=g(x)+h(x)f(x)=g(x)+h(x)f(x)=g(x)+h(x),对f(x)f(x)f(x)已知信息的多...原创 2018-08-30 14:57:36 · 3656 阅读 · 0 评论 -
优化问题综述(二)其他无约束最优化算法
无约束最优化问题的解法我们希望得到minxf(x)minxf(x)min_x f(x),我们把f(x)f(x)f(x)泰勒展开可得f(x+Δ)=f(x)+∇f(x)TΔ+12ΔT∇2f(x)Δ+O(Δ3)f(x+Δ)=f(x)+∇f(x)TΔ+12ΔT∇2f(x)Δ+O(Δ3)f(x+\Delta)=f(x)+\nabla f(x)^T\Delta+\frac{1}{2}\Delta^...原创 2018-09-03 17:45:43 · 984 阅读 · 0 评论 -
【读书笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
Zhou G, Mou N, Fan Y, et al. Deep Interest Evolution Network for Click-Through Rate Prediction[J]. arXiv preprint arXiv:1809.03672, 2018.https://github.com/mouna99/dienAbstract对于CTR预测模型,很有必要捕捉用户兴趣的...原创 2019-04-23 00:26:03 · 1258 阅读 · 0 评论