__kingzone__的专栏

学习SVM（四） 理解SVM中的支持向量（Support Vector）版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/chaipp0607/article/details/73716226学习SVM（一） SVM模型训练与分类的OpenCV实现 学习SVM（二） 如何理解支持向量机的最大分类间隔 学习SVM（三）理解SVM中的对偶问题 学习SV...

铜灵 发自 凹非寺 量子位 出品 | 公众号 QbitAI最近，谷歌新开源了可扩展的TensorFlow库TF-Ranking，可用于学习排序。所谓学习排序，也就是对项目列表进行排序，从而将整个功能最大化的过程。 TF-Ranking中有一套完整的学习排序的算法，包含成对或列表损失函数、多项目评分、排名度量优化和无偏见的学习排名。谷歌在官方博客表示，TF-Ranking在创...

从ctr预估问题看看f(x)设计—DNN篇lambdaJihow to model anything已关注吴海波等 223 人赞了该文章上接机器学习模型设计五要素，这一篇接着讲模型结构设计从ctr预估问题看看f(x)设计—LR篇提到ctr预估的f(x)可以分 大规模离散LR，Trees Model，DNN&Embedding，以及Reinforcement-...

【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives2017年12月04日 17:44:15 cskywit 阅读数：1116更多个人分类： 机器学习版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/cskywit/article/det...

N-gram语言模型 & Perplexity & 平滑2018年04月03日 18:16:20 qjf42 阅读数：646版权声明：本文为博主原创文章，欢迎交流分享，未经博主允许不得转载。 https://blog.csdn.net/qjf42/article/details/79761786 文章目录1. N-gram语言模型 2. Perplexity（...

炼丹术的终结——神经网络结构搜索之一2018年04月10日 00:23:14 张雨石 阅读数：2820 标签： 强化学习深度学习网络结构搜索RLNAS 更多个人分类： 论文笔记版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xinzhangyanxiang/article/details/79875007深度学习在2010年燃起来以...

线性回归（Linear Regression）1 最小二乘法（Least Mean Squares）梯度下降（Gradient Descent）2 正规方程组（Normal Equations）3 极大似然法4 Locally weighted linear regression（LWR） ...

  GridSearchCV的verbose参数 grid_search.py813行838行555行if self.verbose > 0:if isinstance(parameter_iterable, Sized):n_candidates = len(parameter_iterable)print("Fitting {0} folds for...

通常情况下，在不均衡学习应用中使用抽样方法的目的就是为了通过一些机制改善不均衡数据集，以期获得一个均衡的数据分布。研究表明，对于一些基分类器来说，与不均衡的数据集相比一个均衡的数据集可以提高全局的分类性能。数据层面的处理方法是处理不均衡数据分类问题的重要途径之一，它的实现方法主要分为对多数类样本的欠抽样和对少数类样本的过抽样学习两种。其主要思想是通过合理的删减或者增加一些样本来实现数据均衡的目...

原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49408131在分类中如何处理训练集中不平衡问题  在很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。即类别不平衡，为了使得学习达到更好的效果，因此需要解决该类别不平衡问题。Jason Brownlee的回答：原...

原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49408131在分类中如何处理训练集中不平衡问题  在很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。即类别不平衡，为了使得学习达到更好的效果，因此需要解决该类别不平衡问题。Jason Brownlee的回答：原...

Python机器学习Numpy, Scipy, Pandas, Scikit-learn, Matplotlib, Keras, NN速查手册 NumpySciPyScikit-LearnPandasKerasMatplotlibNeural Network Zoo 图片来源http://www.asimovinstitute...

本博客用于记录自己平时收集的一些不错的深度学习论文，近9成的文章都是引用量3位数以上的论文，剩下少部分来自个人喜好，本博客将伴随着我的研究生涯长期更新，如有错误或者推荐文章烦请私信。深度学习书籍和入门资源LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. [PDF]（深度学习最权威...

转自：http://albertxiebnu.github.io/fasttext/ Fasttext是Facebook AI Research最近推出的文本分类和词训练工具，其源码已经托管在Github上。Fasttext最大的特点是模型简单，只有一层的隐层以及输出层，因此训练速度非常快，在普通的CPU上可以实现分钟级别的训练，比深度模型的训练要快几个数量级。同时，在多个标准的测试数据集...

FastText是Facebook开发的一款快速文本分类器，提供简单而高效的文本分类和表征学习的方法，不过这个项目其实是有两部分组成的，一部分是这篇文章介绍的 fastText 文本分类（paper：A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, Bag of Tricks for Efficient Text Classification（...

去年实习时，因为项目需要，接触了一下Learning to Rank(以下简称L2R)，感觉很有意思，也有很大的应用价值。L2R将机器学习的技术很好的应用到了排序中，并提出了一些新的理论和算法，不仅有效地解决了排序的问题，其中一些算法(比如LambdaRank)的思想非常新颖，可以在其他领域中进行借鉴。鉴于排序在许多领域中的核心地位，L2R可以被广泛的应用在信息(文档)检索，协同过滤等领域。 ...

原文：https://machinelearningmastery.com/grid-search-hyperparameters-deep-learning-models-python-keras/本文主要想为大家介绍如何使用scikit-learn网格搜索功能，并给出一套代码实例。你可以将代码复制粘贴到自己的项目中，作为项目起始。下文所涉及的议题列表：如何在scikit-learn...

本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记，因此在全文中对它们多次引用。初出茅庐，学艺不精，有不足之处还望大家不吝赐教。  在之前的部分，采用梯度下降或者随机梯度下降等方法优化神经网络时，其中许多的超参数都已经给定了某一个值，在这一节中将讨论如何选择神经网络的超参数。...

下面这个神经网络结构设计指导原则是Andrew NG在coursera的ML课程中提到的：输入层：神经元个数=feature维度 输出层：神经元个数=分类类别数 隐层：  默认只用一个隐层 如果用多个隐层，则每个隐层的神经元数目都一样 隐层神经元个数越多，分类效果越好，但计算量会增大 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.n...

神经网络中隐层数和隐层节点数问题的讨论一 隐层数        一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或...

谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，...

前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent...

顾名思义，Google提出的这篇文章将Wide Model和Deep Model结合起来进行，思路非常值得学习。  1.Wide Model首先说一下Wide Model,就是上图中左边的那一部分，是一个简单的逻辑回归模型。这一部分比较简单，不多有一个新的思路就是交叉特征：  论文中一个比较形象的例子For binary features, a cross...

Google出品，学习一下！ 　文章脉络清晰，主要包括六个部分：YouTube使用DNN的背景、整体推荐系统框架、候选集生成（candidate generation）、排序（ranking）、总结、感谢，其中候选集生成和排序是推荐系统框架的重要组成部分。 本文主要学习下整体推荐系统框架、候选集生成（candidate generation）、排序（ranking）这三个部分 ...

4篇YouTube推荐系统论文, 一起来看看别人家的孩子最近一直在花时间研究和实现一些推荐算法，并且搭建系统在产品中进行测试。我读了一些关于Netflix等网站“如何使用Collaborative Filtering来预测用户对其他影片的打分”的文章，之前也曾在Pinterest目睹了Related Pin从传统的计算co-occurence，到深度学习以及两次打分系统的设计转变。但最...

使用sklearn做单机特征工程目录1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换　　2.6 回顾3 特征选择　　3.1 Filter　　　　3.1.1 方差选择法...

转自：https://www.alibabacloud.com/help/zh/doc-detail/69558.htm#%E7%89%B9%E5%BE%81%E5%BC%82%E5%B8%B8%E5%B9%B3%E6%BB%91特征工程更新时间： 2018-05-02目录 主成分分析 特征尺度变换 特征离散 特征异常平滑 随机森林特征...

本篇文章在 ICML2016 Machine Learning for Music Discovery Workshop前置点评： 这篇文章比较朴素，创新性不高，基本是参照了google的word2vec方法，应用到推荐场景的i2i相似度计算中，但实际效果看还有有提升的。主要做法是把item视为word，用户的行为序列视为一个集合，item间的共现为正样本，并按照item的频率分布进行负样本采...

【说明】　　本文翻译自新加坡国立大学何向南博士 et al.发布在《World Wide Web》（2017）上的一篇论文《Neural Collaborative Filtering》。本人英语水平一般+学术知识匮乏+语文水平拙劣，翻译权当进一步理解论文和提高专业英语水平，translate不到key point还请见谅。何博士的主页：http://www.comp.nus.edu.sg...

本系列已经写了二十篇了，但推荐系统的东西还有很多值得探索和学习的地方。不过在这之前，我们先静下心来，一起回顾下之前学习到的东西！由于是总结性质的文章，很多细节不会过多的涉及，有兴趣的同学可以点击文章中给出的链接进行学习。本文中涉及的大多数算法是计算广告中点击率预估用到的模型，当然也会涉及pair-wise的模型如贝叶斯个性排序以及list-wise的如京东的强化学习推荐模型。好了，废话...

python平台下实现xgboost算法及输出的解释1. 问题描述​ 近来, 在python环境下使用xgboost算法作若干的机器学习任务, 在这个过程中也使用了其内置的函数来可视化树的结果, 但对leaf value的值一知半解; 同时, 也遇到过使用xgboost 内置的predict 对测试集进行打分预测, 发现若干样本集的输出分值是一样的. 这个问题该怎么解释呢? 通过翻阅Sta...

最近阅读论文的过程中，发现推荐系统中的评价指标真的是五花八门，今天我们就来系统的总结一下，这些指标有的适用于二分类问题，有的适用于对推荐列表topk的评价。1、精确率、召回率、F1值我们首先来看一下混淆矩阵，对于二分类问题，真实的样本标签有两类，我们学习器预测的类别有两类，那么根据二者的类别组合可以划分为四组，如下表所示：上表即为混淆矩阵，其中，行表示预测的label值，列表示真实...

转载请注明本文链接：http://www.cnblogs.com/EE-NovRain/p/3810737.html 　　现在做在线学习和CTR常常会用到逻辑回归（ Logistic Regression），而传统的批量（batch）算法无法有效地处理超大规模的数据集和在线数据流，google先后三年时间（2010年-2013年）从理论研究到实际工程化实现的FTRL（Follow-the-re...

交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设XX是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈p(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为： I(x0)=−log(p(x0))I(x0)=−log(p(x0))，可以理解为...

1.sklearn.linear_model.logistic regression一般来说，逻辑回归用梯度下降算法来求解参数比较常见；所以这也导致一开始误以为LogisticRegression模型就是用梯度下降算法来实现的，当遇到SGDClassifier（Stochastic Gradient Descent）随机梯度下降分类器的时候，就有点蒙了。梯度下降明明是一个求解算法，怎么就和分类...

LogisticRegression，一共有14个参数： 逻辑回归参数详细说明参数说明如下：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(over...

敲《Python机器学习及实践》上的code的时候，对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊，查阅了很多资料，这里整理一下：涉及到这两个函数的代码如下：# 从sklearn.preprocessing导入StandardScalerfrom sklearn.preprocessing import StandardScaler# 标准化...

下面，我们结合Kaggle赛题：Avazu：Click-Through Rate Prediction，练习数据挖掘技术在CTR预估中的应用。本文内容包括赛题任务简析，以及基于LR（逻辑斯蒂回归）的初步实现。本文的源码托管于我的Github：PnYuan - Kaggle_CTR，欢迎查看交流。1.任务概述CTR（Click Through Rate，点击率），是“推荐系统/计算广告”等领域的重要...

昨天实验室一位刚进组的同学发邮件来问我如何查找学术论文，这让我想起自己刚读研究生时茫然四顾的情形：看着学长们高谈阔论领域动态，却不知如何入门。经过研究生几年的耳濡目染，现在终于能自信地知道去哪儿了解最新科研动态了。我想这可能是初学者们共通的困惑，与其只告诉一个人知道，不如将这些Folk Knowledge写下来，来减少更多人的麻烦吧。当然，这个总结不过是一家之谈，只盼有人能从中获得一点点益处，受个...

https://github.com/sindresorhus/awesome 大集合https://github.com/iCHAIT/awesome-macOShttps://github.com/jaywcjlove/awesome-machttps://github.com/vsouza/awesome-ios (swift)https://github.com/Awesome-Windo...

一、机器学习中的参数估计问题    在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征以及标签，在Logistic回归的参数求解中，通过构造样本属于类别和类别的概率：这样便能得到Logistic回归的属于不同类别的概率函数：此时，使用极大似然估...

模型用途FM和FFM，分解机，是近几年出的新模型，主要应用于广告点击率预估（CTR），在特征稀疏的情况下，尤其表现出优秀的性能和效果，也数次在kaggle上的数据挖掘比赛中拿到较好的名次。FM原理特征编码时常用的one-hot编码，会导致特征非常稀疏（很多0值）。常用的特征组合方法是多项式模型，模型表达式如下： y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w...

点击率预估算法：FFM@(计算广告)[计算广告]点击率预估算法FFM1FM1 背景11 线性模型12 二项式模型2 FM21 FM基本原理22 数据分析23参数个数24 计算时间复杂度25 梯度26 训练时间复杂度2FFM1 背景及基本原理2模型与最优化问题21 模型22 最优化问题23 自适应学习率24 FFM算法的最终形式3完整算法流程31 计算梯度32 计算累积梯度平方和33 更新隐变量34...

http://www.cnblogs.com/tornadomeet/p/3300132.html没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规...

评分模型开发主要分为变量处理、模型建立、评分转换、模型评估4个步骤。 其中在变量处理的时候涉及IV值和WOE值的计算。基于抽样后得到训练样本集数据，由于变量数量通常较多，不推荐直接采用逐步回归的方法进行筛选。 由于各个变量的量纲和取值区间存在很大的差别，通常会对变量的取值进行分箱并计算 证据权重 WOE值(weight of evidence) ，从而降低变量属性的个数，并且平滑的变量的变化趋势。...

1GBDT和LR融合     LR模型是线性的，处理能力有限，所以要想处理大规模问题，需要大量人力进行特征工程，组合相似的特征，例如user和Ad维度的特征进行组合。     GDBT天然适合做特征提取，因为GBDT由回归树组成所以， 每棵回归树就是天然的有区分性的特征及组合特征，然后给LR模型训练，提高点击率预估模型（很多公司技术发展应用过，本人认为dnn才是趋势）。     例如，输入样本x，...

1、 背景      CTR预估（Click-Through Rate Prediction）是互联网计算广告中的关键环节，预估准确性直接影响公司广告收入。CTR预估中用的最多的模型是LR（Logistic Regression）[1]，LR是广义线性模型，与传统线性模型相比，LR使用了Logit变换将函数值映射到0~1区间[2]，映射后的函数值就是CTR的预估值。LR这种线性模型很容易并行化，处...

摘要： 随着互联网技术飞速发展，在线数据越来越庞大，如何帮助用户从海量数据中找到所需信息是急需解决的问题。 个性化推荐系统能够有效的解决信息过载问题，推荐系统根据用户的历史偏好和约束为用户提供排序的个性化物品（item）推荐列表，更精准的推荐系统可以提升和改善用户体验。随着互联网技术飞速发展，在线数据越来越庞大，如何帮助用户从海量数据中找到所需信息是急需解决的问题。个性化推荐系统能够有效的解决信息...

在信息泛滥的时代，如何快速高效地萃取出有价值信息成为了人们的当务之急，传统的推荐系统由此应运而生；而在诸多领域硕果累累的深度学习也被应用于推荐系统，为后者注入新的动力。机器之心编译的这篇论文，对于深度学习在推荐系统中的应用现状作了综述性调研，以期进一步推动推荐系统研究的进展；对于发现的新问题，文中也给出了潜在的解决方案。原文链接：https://arxiv.org/pdf/1707.07435.p...

近期，IEEE Internet Computing上发表了一篇名为《亚马逊推荐系统二十年》的文章，提纲挈领地回顾了亚马逊推荐系统二十年来的发展，而这二十年的起点，就是基于物品的协同过滤算法，也就是ItemCF算法的发明时间，而文章的作者，也正是当年ItemCF的发明人。作为靠ItemCF算法养家糊口的从业人员，有必要学习一下“祖师爷”的训导。 在翻译的同时，译者根据自己的从业经验和个人想法，对本...

https://blog.csdn.net/michael_r_chang/article/details/39188321https://www.cnblogs.com/wybang/p/3206719.htmlhttps://blog.csdn.net/jteng/article/details/603346281. 伯努利分布伯努利分布(Bernoulli distribution)又名两点...

因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。目前，被广泛的应用于广告预估模型中，相比LR而言，效果强了不少。一、FM背景FM(Factorization Machine)主要目标是：解决数据稀疏的情况下，特征怎样组合的问题。以一个广告分类的问题为例，根据用户画像、广告位以及一些其他的特征，来预测用户是否会点击...

推荐系统总结推荐系统总结数据集分析矩阵分解MF基于概率的矩阵分解PMF小结扩展篇标签推荐首先进行数据集的分析，然后 介绍矩阵分解方法（MF）、基于概率的矩阵分解（PMF）； 在此基础上介绍扩展方法：社交网络、隐语义模型、深度学习（CDL、CNN等）； 最后介绍标签推荐方法。1.数据集分析以movieLens为例，介绍一下现有数据集所包含信息：评分信息 userID，itemID，rating*（这...

原文链接：http://breezedeus.github.io/2014/11/15/breezedeus-feature-processing.html特征工程（Feature Engineering）经常被说为机器学习中的black art，这里面包含了很多不可言说的方面。怎么处理好特征，最重要的当然还是对要解决问题的了解。但是，它其实也有很多科学的地方。这篇文章我之所以命名为特征处理（Fe...

1.指标广告点击率预估是程序化广告交易框架的非常重要的组件，点击率预估主要有两个层次的指标： 1.排序指标。排序指标是最基本的指标，它决定了我们有没有能力把最合适的广告找出来去呈现给最合适的用户。这个是变现的基础，从技术上，我们用AUC来度量。2.数值指标。数值指标是进一步的指标，是竞价环节进一步优化的基础，一般DSP比较看中这个指标。如果我们对CTR普遍低估，我们出价会相对保守，从而使得预算花不...

机器学习是当前最重要的技术发展方向之一。近日，悉尼大学博士生 Thushan Ganegedara 开始撰写一个系列博客文章，旨在为机器学习初学者介绍一些基本概念。本文是该系列的第一篇文章，介绍了 KL 散度（KL divergence）的基本数学概念和初级应用。作者已将相关代码发布在 GitHub 上。代码：https://github.com/thushv89/nlp_examples_thu...

作者：crystalajj链接：https://www.zhihu.com/question/44832436/answer/266068967来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。前言word2vec是如何得到词向量的？这个问题比较大。从头开始讲的话，首先有了文本语料库，你需要对语料库进行预处理，这个处理流程与你的语料库种类以及个人目的有关，比如，如果是英...

     支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文章。文末2013年的PDF是为证。前言    动笔写这个支...

TensorFlow又是好久没有写博客了，上班以来，感觉时间过得飞快，每天时间很紧，过得有点累，不知道自己的博客能坚持到何时，且行且珍惜。本片博文是参考文献[1]的阅读笔记，特此声明TensorFlow，以下简称TF，是Google去年发布的机器学习平台，发布以后由于其速度快，扩展性好，推广速度还是蛮快的。江湖上流传着Google的大战略，Android占领了移动端，TF占领神经网络提供AI服务，...

1.IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个比较复...

在tensorflow中提供了tf.get_variable函数来创建或者获取变量。当tf.get_variable用于创建变量时，则与tf.Variable的功能基本相同。相同点：通过两函数创建变量的过程基本一样，且tf.variable函数调用时提供的维度(shape)信息以及初始化方法(initializer)的参数和tf.Variable函数调用时提供的初始化过程中的参数基本类似。不同点：...

用深度学习（DNN）构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读清凇勇敢闯一闯292 人赞了该文章这篇论文 Deep Neural Networks for YouTube Recommendations 是google的YouTube团队在推荐系统上DNN方面的尝试，发表在16年9月的RecSys会议。虽然去年读过，一...

摘要： 1搜索算法研究与实践 1.1背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应，而淘宝的用户不仅数量巨大，其行为特点以及对商品的偏好也具有丰富性和多样性。因此，要让搜索引擎对不同特点的用户作出针对性的排序，并以此带动搜索引导的成交提升，是一个极具挑战性的问题。1搜索算法研究与实践1.1背景淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应，而淘宝的用户不仅数量巨大，其行为特点以及对商品的偏好也具...

【博客存档】TensorFlow之深入理解VGG\Residual Network想飞的石头夯实基础，埋头苦干 happy coding25 人赞了该文章前言这段时间到了新公司，工作上开始研究DeepLearning以及TensorFlow，挺忙了，前段时间看了VGG和deep residual的paper，一直没有时间写，今天准备好好把这两篇相关的paper重读下。VGGnetVGGnet是Ox...

【博客存档】TensoFlow之深入理解GoogLeNet想飞的石头夯实基础，埋头苦干 happy coding15 人赞了该文章前言GoogLeNet是ILSVRC 2014的冠军，主要是致敬经典的LeNet-5算法，主要是Google的team成员完成，paper见Going Deeper with Convolutions. 相关工作主要包括LeNet-5、 Gabor filters、Ne...

【博客存档】TensorFlow之深入理解AlexNet想飞的石头夯实基础，埋头苦干 happy coding38 人赞了该文章前言前面看了一些Tensorflow的文档和一些比较有意思的项目，发现这里面水很深的，需要多花时间好好从头了解下，尤其是cv这块的东西，特别感兴趣，接下来一段时间会开始深入了解ImageNet比赛中中获得好成绩的那些模型： AlexNet、GoogLeNet、VGG（对就...

之前blog内曾经介绍过SIFT特征匹配算法，特征点匹配和数据库查、图像检索本质上是同一个问题，都可以归结为一个通过距离函数在高维矢量之间进行相似性检索的问题，如何快速而准确地找到查询点的近邻，不少人提出了很多高维空间索引结构和近似查询的算法。    一般说来，索引结构中相似性查询有两种基本的方式：一种是范围查询，范围查询时给定查询点和查询距离阈值，从数据集中查找所有与查询点距离小于阈值的数据另一...

IntroductionKaggle是一个数据建模和数据分析竞赛的平台。企业和研究者可在其上发布数据，统计学者和数据挖掘专家可在其上进行竞赛，通过“众包”的形式以产生最好的模型。Kaggle可以分为Competitions竞赛、Datasets数据集以及Kernel内核三个子平台、配套的Forum论坛模块以及供各类公司或组织招聘人才的Jobs模块。Kaggle首页 Your H

原文首发在个人博客：http://zqhxuyuan.github.io/2016/06/30/Hello-Storm/如需转载，请注明出处，谢谢！缘起事情源于在看基于Storm的CEP引擎：flowmix 的FlowmixBuilder代码， 每个Bolt设置了这么多的Group， 而且declareStream也声明了这么多的stream-id， 对于只

转自：http://blog.csdn.net/gaoyanjie55/article/details/31745111Spark  resource1官方资料Spark官网及文档AMPLab官网Databricks博客2Spark生态系统资源分享2.1SparkSpark hans on 教程2.2Spark SQL a

随着Spark SQL的引入和新的Hive on Apache Spark方向的努力（HIVE-7292），许多人询问我们在这两个项目中的位置，以及它们与Shark的关系。在今天的Spark峰会上，我们宣布，我们停止了Shark的开发，并会专注于Spark SQL，它将提供Shark特性的超集，以便于现有的Shark用户继续使用。Spark SQL提供了从Shark 0.9的无缝升级，以及一些诸如通

也许很多朋友在学习NIO的时候都会感觉有点吃力，对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前，我们今天先来讨论一些比较基础的知识：I/O模型。下面本文先从同步和异步的概念 说起，然后接着阐述了阻塞和非阻塞的区别，接着介绍了阻塞IO和非阻塞IO的区别，然后介绍了同步IO和异步IO的区别，接下来介绍了5种IO模型，最后介绍了两种和高性能IO设计相关的设计模式（Reactor和Pr

mysql中间件研究（Atlas，cobar，TDDL，mycat，heisenberg,Oceanus,vitess,OneProxy）mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们

Heron架构Heron是Apache Storm的一个直接继承者。从架构角度来看，它与Storm截然不同，但是从API的角度看它是完全向后兼容的。 下面的章节指明了Heron和Storm的区别，描述了Heron背后的设计目标，并解释了其架构的主要组件。代码库Heron代码库的详细指南在这里。拓扑你可以认为一个Heron集群是一种管理流式处理实体（称作拓扑）的生命周期机制的机制。更多信息可以查看H

1 jstatd配置需要jdk支持，jre不支持。（可以用jre运行，单独安装jdk，只用jstatd）新建文件jstatd.all.policy（可自定义文件名），内容如下：grant codebase "file:${java.home}/../lib/tools.jar" {    permission java.security.AllPermission;};执行

该文章来自于阿里巴巴技术协会（ATA）精选文章。大家都有过遇到线上程序LOAD突然狂飙的场景，要排查到为何狂飙，我们当务之急就是要找到导致CPU飙升的原因。如果是进程级的应用，如Nginx、Apache等都还比较容易排查，但如果是JVM中的某个线程导致的，估计有人就要开始抓瞎了。很多人都或多或少的知道有这么一个脚本，能帮你大致定位到现场导致LOAD飙升的JVM线程，脚本大概如下

本文的目的是收集最好的100个Java博客，并帮助程序员找到高质量的帖子来阅读。其中一些博客可能并不是Java开发者写的，但是Java开发者应该会从中受益。阅读那些博客不失为一件快事，而且经常会收到启发产生一些新的想法。我对高质量的定义如下：1. 文章可读性较高且是原创。2. 作者醉心于技术。3. 文章的个人理解中有创造性的想法4. 持续更新你可以通过在本文下面添加评论来推

1.介绍如果你是一个开发者或者应用程序员，想要修改Sqoop或者使用Sqoop内部API构建一个扩展，你应该阅读本文档。以下章节描述了每个API的目的，哪里用到了内部API，实现其他数据库的支持需要哪些API。2.支持的发行版本文档适用于Sqoop v1.4.6。3.Sqoop发行版Apache Sqoop是Apache Software Foundatio

Java多线程基础（四）Java传统线程同步通信技术编写代码实现以下功能子线程循环10次，接着主线程循环100次，接着又回到子线程循环10次，接着再回到主线程又循环100次，如此循环50次。分析1）子线程循环10次与主线程循环100次必须是互斥的执行，不能出现交叉，下面代码中通过synchronized关键字实现此要求； 2）子线程与主线程必须交替出现，可以通过线程同步通信技术实现，下面代码中通过

又是一个周末，刚给宝宝喂完牛奶，终于让她睡着了。所以现在我才能腾出手来，坐在电脑面前给大家写这篇文章。今天我要和大家分享的是 AOP（Aspect-Oriented Programming）这个东西，名字与 OOP 仅差一个字母，其实它是对 OOP 编程方式的一种补充，并非是取而代之。翻译过来就是“面向方面编程”，可我更倾向于翻译为“面向切面编程”。它听起有些的神秘，为什么呢？当你看完这篇

Java多线程基础（三）Java传统线程互斥技术java的线程互斥主要通过synchronized关键字实现。下面的示例代码展示了几种使用synchronized关键字的基本用法。package cn.king;public class TraditionalThreadSynchronized { public static void main(String[] args) {

哈哈！有幸在某网站发现这篇文章，读罢，觉得蛮有道理，发来大家一起共勉之    总是被同学们问到，如何学习C和C++才不茫然，才不是乱学，想了一下，这里给出一个总的回复。 　　一家之言，欢迎拍砖哈。 　　1、可以考虑先学习C. 　　大多数时候，我们学习语言的目的，不是为了成为一个语言专家，而是希望成为一个解决问题的专家。做一个有用的程序员，做一个赚钱的程序员。我们

淘宝知名工程师读了《淘宝技术这十年》这本书，感受了下从小网站到大规模系统的变迁，其中不乏技术牛人的贡献，记录下他们的博客，有空都可以翻阅下，一窥深厚的技术功底，排名不分先后 正明（章文嵩） 集团核心系统高级研究员，LVS集群项目创始人与开发者微博：http://weibo.com/wensong8 正祥（阳振坤） Ocea

Eclipse打开时会要求指定一个workspace，在这个workspace中可以创建多个相关的或无关的Project，这些Project的目录位置信息存储在：\.metadata\.plugins\org.eclipse.core.resources\.projects\\.location中。

这也许是自从在笔记本上安装了Windows 7以来Kaijia第一次遇到的不明故障。至今Kaijia仍然无法确认造成错误的具体操作，因为在一次开机后系统，系统任务栏的Aero界面突然消失并且提示“Windows无法连接到System Event Notification Service服务”，对System Event Notification Service服务手动配置并且重启后问题仍然存在

右键“在此处打开命令行窗口”的一个小秘密我们都知道windows7开始，提供了一个便于从当前文件夹打开cmd命令行窗口的快捷方式： Shift+鼠标右键==>“在此处打开命令行窗口” 如此，就能快速的在当前目录打开cmd窗口，以执行命令。 今天，在配置ant的环境变量时，添加了ant的bin目录到path变量中后，使用上述方式打开了想要build的工程的目录，输入ant命令，一直提示：'ant

Java多线程基础（二）定时器类：Timer类和TimerTask类Timer类和TimerTask类是jdk实现定时器功能的早期方法，jdk1.5以前就支持Timer类和TimerTask类。JDK1.5之后引入了新的机制，将在后续博文中研究。1 指定时间间隔后执行任务import java.util.Date;import java.util.Timer;import java.util.T

Java静态代码块、构造代码块、构造方法的执行顺序静态代码优先于非静态的代码，是因为被static修饰的成员都是类成员，会随着JVM加载类的时候加载而执行，而没有被static修饰的成员也被称为实例成员，需要创建对象才会随之加载到堆内存。所以静态的会优先非静态的。 执行构造器（构造方法）的时候，在执行方法体之前存在隐式三步： 1，super语句，可能出现以下三种情况： 1）构造方法体的第一行是

Linux Shell常用快捷键Linux Shell常用快捷键 按键 作用 Tab 补全命令，补全目录，补全命令参数 Ctrl+c 强行终止当前程序 Ctrl+d 键盘输入结束或退出终端 Ctrl+s 暂定当前程序，暂停后按下任意键恢复运行 Ctrl+z 将当前程序放到后台运行，恢复到前台为命令fg Ctrl+a 将光标移至输入行头，相当于Ho

Java多线程传统实现方法Java多线程的传统实现方法有两种：一种是继承Thread类并重写其run方法；另一种是实现Runnable接口，实现其run方法。/** * 多线程的传统实现方法 * */public class TraditionalThread { public static void main(String[] args) { /* *

AT&T汇编enter指令和leave指令enter指令在AT&T汇编中，enter等效于以下汇编指令：pushl %ebp # 将%ebp压栈movl %esp %ebp # 将%esp保存到%ebp， 这两步是函数的标准开头leave指令在AT&T汇编中，leave等效于以下汇编指令：movl %ebp, %esppopl %ebp

存储过程函数触发器的区别存储过程特点缺点基本语法调用语法函数特点基本语法调用语法触发器存储过程、函数、触发器的区别 存储过程 函数 是否有返回值 可以有，也可以没有 是否可以单独执行 可以 SQL语句（DML或SELECT）可否调用 不可以 参数类型 可以使用IN、OUT、IN OUT三种模式的参数 返回值类型 可以通过OUT、IN

Google Java编程风格指南January 20, 2014作者：Hawstein出处：http://hawstein.com/posts/google-java-style.html声明：本文采用以下协议进行授权： 自由转载-非商用-非衍生-保持署名|Creative Commons BY-NC-ND 3.0 ，转载请注明作者及出处。目录前言

Java领域有很多著名的人物，他们为Java社区编写框架、产品、工具或撰写书籍改变了Java编程的方式。本文是《最受欢迎的8位Java牛人》的2.0版本。ChangLog：v2.0：增加了Andy Rubin 和Doug Lea ，更新了人物详细信息，加入了译注说明。《你应当了解的10位Java牛人》编译 by 李隽龙。v1.0：初始创建，《最受欢迎的8位Java牛人》

1 final用于修饰变量final变量只能赋值一次，赋值的方式有三种：1）声明变量时直接赋值；2）非静态成员变量在{}块中赋值，静态成员变量在static{}块中赋值；3）非静态成员变量在构造方法中赋值。三种赋值方式的顺序是1）、2）、3），若有一种方式先行赋值了，则后面的方式就不能再赋值，否则就会编译错误。public class FinalTest { priva

Java在操作ArrayList、HashMap、TreeMap等容器类时，遇到了java.util.ConcurrentModificationException异常。以ArrayList为例，如下面的代码片段：import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.u

byte转化为int有两种情况：1）要保持数值不变应用场景：数值计算，等等。方法：可以直接采用强制类型转换：int i = (int) aByte，例如：若aByte=0xff（即数值为-1），则转化为int后，i为0xffffffff，数值仍为-1。2）保持最低字节中各个位不变，3个高字节全部用0填充应用场景：编解码操作，方法：采用位操作：int i = aB

安装配置完Maven和Nexus后，使用mvn命令行可以创建工程骨架；但使用eclipse存在如下问题。问题截图如下图0：图0. Nexus Indexer为空由于Catalog选Nexus Indexer没有可用骨架列表，先试一下Internal的骨架，选择maven-archetype-webapp后，点击Finish。报错信息如图1所示。从下图报错

问题：执行mvn archetype:generate报错如下图0。（执行mvn -e archetype:generate可以看到更详细的报错信息）图0. 报错信息本地的nexus的public Repositories中没有archetype-common-2.1.jar，但2.2目录下正常。如下图1。这是由于public group使用了Central库，Central库

Nexus创建本地Maven仓库