2019年11月_taoqick

转载 DSSM论文阅读与总结

论文的地址：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf1.背景DSSM是Deep Structured Semantic Model的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，...

2019-11-30 21:38:23 1450

转载深度学习中 Batch Normalization为什么效果好？

作者：言有三链接：https://www.zhihu.com/question/38102762/answer/607815171来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这是一个还在被广泛研究的问题，先把简单的总结写起来，后面肯定是要更新的。数据经过归一化和标准化后可以加快梯度下降的求解速度，这就是Batch Normalization等技术...

2019-11-30 21:26:20 422

原创 Linux systemctl 权限管理反思与kibana启动

Linuxsystemctl 在起进程的时候会按照bin文件的所属用户来起service例如安装完kibana后，bin文件的所属用户是kibana，这个时候sudo systemctl start kibana，kibana起不来，用root跑systemctl start kibana也没用，因为kibana要写的几个文件夹都不属于kibana这个用户这个时候把kibana的要写的几...

2019-11-29 17:11:23 886

转载 ElasticSearch常见问题

设计阶段调优针对Index数量1）根据业务增量需求，采取基于日期模板创建索引，通过roll over API滚动索引；2）使用别名进行索引管理；3）采取curator进行索引的生命周期管理；针对存储4）每天凌晨定时对索引做force_merge操作，以释放空间；5）采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行shrink操作，以缩减存储；针对Mapping6...

2019-11-23 17:41:56 485

转载 ElasticSearch节点类型

官方文档写得更好：https://www.elastic.co/guide/en/elasticsearch/reference/6.2/modules-node.html当我们启动Elasticsearch的实例，就会启动至少一个节点。相同集群名的多个节点的连接就组成了一个集群。在默认情况下，集群中的每个节点都可以处理http请求和集群节点间的数据传输，集群中所有的节点都知道集群中其他...

2019-11-23 12:12:19 375

Redis 有哪些数据结构？字符串 String、字典 Hash、列表 List、集合 Set、有序集合 SortedSet。如果你是 Redis 中高级用户，还需要加上下面几种数据结构 HyperLogLog（基数统计）、Geo（GPS坐标）、Pub/Sub（生产者消费者的队列）。如果你说还玩过 Redis Module，像 BloomFilter（布隆过滤器），RedisSearch，R...

2019-11-22 17:24:26 155

转载 BK树拼写检查器

2019-11-20 21:46:01 251

转载 Lucene倒排索引实现原理探秘(1)

Lucene倒排索引实现原理探秘(1)前言在全文检索领域， Lucene可谓是独领风骚数十年。倒排索引构成全文检索的根基，只有深入理解了倒排索引的实现原理，才能算是入门了全文检索领域。本文将对Lucene的倒排索引的实现原理和技术细节进行详细的剖析，这些内容适用于Lucene 5.x至7.x系列版本。文章整体内容组织如下：倒排索引理论 Lucene倒排索引实现 Lucene索引文件...

2019-11-20 20:09:45 880

转载 [译]如何防止elasticsearch的脑裂问题

本文翻译自blog.trifork.com的博文地址是http://blog.trifork.com/2013/10/24/how-to-avoid-the-split-brain-problem-in-elasticsearch/，可以复制后在浏览器观看。我们都遇到过这个 - 在我们开始准备一个elasticsearch集群的时候，第一个问题就是“集群需要有多少节点？”。我想大家都知...

2019-11-18 21:48:15 211

原创 PCA和Fisher LDA

PCAPCA主要用于没有标签的降维，想法就是把数据投影在某个方向上，使得信噪比最大，也就是投影的方差最大。对于给定的一组数据x1,x2,...,xnx_1, x_2,...,x_nx1,x2,...,xn，其中每一个都是列向量，假设投影方向的单位列向量是w，投影后的方差可以表示为D(x)=1n∑i=1n(xiTw)2D(x)=1n∑i=1n(xiTw)T(xiTw)D(x)=wT[1n...

2019-11-10 19:31:13 330

原创 EM算法收敛性推导

EM算法（Expectation-Maximization）,就是用最大似然MLE来递推求模型的参数。顾明思议分为两步：第一步求隐变量的期望，第二步找到让隐变量期望最大化的参数。用公式来表示最终的目标就是：L(θ)=∑ilog(p(xi;θ))θ=arg max⁡θL(θ)L(\theta)=\sum_{i}log(p(x_i;\theta)) \\\theta = \argmax_{\the...

2019-11-10 17:45:38 1314

原创多层感知机Perceptron反向传播BP算法推导（Back Propagation）

看了很多BP的推导，都不够简洁直观，这里总结一下。多层Perceptron就是全连接的网络，定义第l层的输入为x(l)x^{(l)}x(l)，那么全连接的线性输出z(l)=W(l)x(l)+b(l)z^{(l)}=W^{(l)}x^{(l)}+b^{(l)}z(l)=W(l)x(l)+b(l)上面的(l)都表示第l层，如果到了第l+1层，当然要过一个激活函数f，那么z(l+1)=W(l+1)f...

2019-11-04 01:18:17 986

原创 LR（logistic regression）逻辑回归Loss和梯度的推导

LR太简单了，简单到经常被用，但是很多推导仍然迷糊的程度，这篇主要用来总结一下。线性回归的表达式：f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b由于带一个b，我们可以令x′=[1,x]Tx'=[1, x]^Tx′=[1,x]T，同时w′=[b,w]Tw'=[b, w]^Tw′=[b,w]T，这样直线方程就可以简化成f′(x)=w′Txf'(x)=w^{'T}xf′(x)=w...

2019-11-02 16:11:13 2280

原创 ID3 ID4.5 CART 决策树剪枝 Bagging Boosting GBDT XGBoost 总结

ID3ID3是用信息增益作为分割的准则，信息增益=信息熵-条件熵：其中∣Ck∣D\frac{|C_k|}{D}D∣Ck∣表示第k类样本的数据占数据集D样本总数的比例。假设每个记录有一个属性“ID”，若按照ID来进行分割的话，由于ID是唯一的，因此在这一个属性上，能够取得的特征值等于样本的数目，也就是说ID的特征值很多。那么无论以哪个ID为划分，叶子结点的值只会有一个，纯度很大，得到的信...

2019-11-02 00:13:49 1126 1

转载序列标注：Bi-LSTM + CRF

最近在做序列标注的相关任务，为了理解bi-lstm + crf的原理及细节，找了很多相关资料，以及代码实现，这里分享给大家并附上一些自己的理解。CRF相关资料推荐关于crf，我看了很多资料，这里推荐几个 -英文的crf tutorial-李航的统计学习方法这两个讲的很细，公式很多，很多新入坑的小白看了肯定一头雾水,这里推荐一个知乎大神的回答，通俗易懂，有一些机器学习基础的都可以...

2019-11-01 14:17:45 1477

taoqick的专栏