weixin_44070747的博客

转载 matplot 颜色查询表

原创 FM用于CTR预估

参考：https://tech.meituan.com/2016/03/03/deep-understanding-of-ffm-principles-and-practices.html《推荐系统算法实践》P115FM常用于CTR预估，其可以看成是对逻辑回归的优化，使得逻辑回归也可以用机器来做特征工程。其主要目标是在数据稀疏的情况下，用模型来做特征交叉。（特征交叉可以发掘特征之间的关联性）...

原创 sql 进阶笔记

in 和 exists 的区别：A in/exists B ，exist 会遍历 A中的id，in是直接去内存中对比数据，所以length（A）比length（B）小的话，用exists快，否则用in。子查询和多表联接的区别：子查询都可以用多表联接实现，但是一般用多表联接比较好，因为执行快，容易理解。子查询也有优势：能与insert、update、delete联用。With as 的用法：...

原创 服务器布置jupyter和anaconda

Ssh 用户名@ip登陆服务器新建文件夹安装anacondawget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.shbash Anaconda3-4.2.0-Linux-x86_64.sh记录安装.bashrc的位置生效.bashrcsource /home/name/.bashrc用ana...

原创 深度学习在推荐系统中的应用

深度学习在推荐系统中的应用方向一：Predict，最常见的比如Wide&Deep做CTR 预估，这里不一定指的是点击率，也可以把视频是否看完，用户是否转发收藏作为c。深模型(DL)和宽模型(ML)，由逻辑回归作为最终输出单元，深模型最后一个隐藏层作为特征接入逻辑回归，宽模型的原始特征与之一起接入逻辑回归，然后训练参数。相当于用深模型做了一部分特征组合，缓解了单纯用LR带来的巨大特征工程...

原创 基于深度学习的推荐模型的优势

基于深度学习的推荐模型的优势：非线性变换。与线性模型相反，深度神经网络能够利用非线性激活（例如relu，sigmoid，tanh等）对数据中的非线性进行建模。该属性使得捕获复杂且复杂的用户项交互模式成为可能。诸如MF，FM，稀疏线性模型的常规方法基本上是线性模型。表征学习。深度神经网络有效地从输入数据中学习潜在的解释因素和有用的表示。通常，在实际应用程序中可以获得有关项目和用户的大量描述性信...

原创 Python内存管理

Python作为一种动态类型的语言，其对象和引用分离。变量名没有类型，类型属于对象（因为变量引用对象，所以类型随对象），变量引用什么类型的对象，变量就是什么类型的。Python缓存了整数和短字符串，因此每个对象在内存中只存有一份，引用所指对象就是相同的，即使使用赋值语句，也只是创造新的引用，而不是对象本身；Python没有缓存长字符串、列表及其他对象，可以由多个相同的对象，可以使用赋值语句创建...

原创 矩阵分解常用方式总结

SVD：奇异值分解首先要从矩阵特征值分解讲起。任意一个方阵都可以特征值分解为Q是矩阵A的特征向量组成的矩阵，E则是一个对角阵，对角线上的元素就是特征值。里面的值从大到小排列。我们都知道矩阵可以理解为一种变化包括旋转拉伸等，那么特征值的大小就代表着变化方向的主次。而特征向量则代表着某种变化的方向。而且特征向量之间是相互正交的，我理解就是把矩阵的这种多维度的复杂变化转化为多个正交的的一位方向变化...

原创 Mac电脑配置libsvm步骤

首先下载libsvm.zip文件 2. unzip一下libsvm.zip文件，用终端进入libsvm文件夹 3. 输入make4. 进入libsvm下的python文件夹 5. make一次libsvm->python文件夹 ，上层文件夹会出现一个libsvm.so.2文件现在已经编译好libsvm了，值得注意的是：libsvm.so.2是unix系统所需要的链接库，而且存在于p...

转载 多重共线性问题的解决方案

在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X1，X2，……，Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。所谓多重共线性是指线性回归模型的解释变量之...

原创 word2vec笔记二

在语言模型中（包括word2vec），由于参数空间过大、数据过于稀疏，计算不方便，所以只考虑近邻n个词对其影响，以简化计算。即为N-gram模型，N为超参数。需要定义loss function（一般为交叉熵代价函数），采用梯度下降算法更新W。训练完毕后，输入层的每个单词与矩阵W相乘得到的向量的就是我们想要的词向量（word embedding），也就是说，任何一个单词的onehot乘以这个矩阵都...

原创 推荐系统调参心得

learning rate。学习率决定了这个模型能不能训起来。learning rate 基本能解决80%的调参需求，其他的和普遍经验值相差不大就行了。这个值很重要，太大了会不收敛，太小了会学的太慢（让你以为它不收敛）。最优值从1e-4到1e-1的数量级都碰到过，原则大概是越简单的模型的learning rate可以越大一些。regularization。最普遍的是L2-norm，重要性在不同的...

转载 GBDT调参心得

scikit-learn GBDT类库概述　在scikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参数，...

原创 推荐系统

一 推荐系统简介​ 个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。推荐系统产生背景信息过载 & 用户需求不明确分类⽬录（1990s）：覆盖少量热门⽹站。Hao123 Yahoo...

原创 理解K近邻算法

K近邻算法是一种基于实例的学习方法，学的不是明确的泛化模型，而是样本之间的关系。k 近邻算法先找到高维空间中与未知实例最接近的 k个训练实例，再根据少数服从多数的原则，将这 k 个实例中出现最多的类别标签分配给未知的实例。超参数 k对性能的影响较大，甚至会影响分类结果。从另一个角度看，超参数 k 表示了模型的复杂度，准确地说是和模型的复杂度成反比关系。如果训练集的容量为 N，算法的有效参数数目...

原创 特征工程

1、特征预处理：A、特征缩放：保证所有的特征数值具有相同的数量级，消除特征的不同尺度所造成的偏差。主要手段为标准化和归一化，详见极客时间: https://time.geekbang.org/column/article/9762B、异常点：​ 如果是异常点：判断其是否由于失误造成异常。如果其本身造成，那么判断异常点是否来源于第二套机制，也就是第二套分布？一般在数据量不是很缺的情况下，...

原创 推荐系统的一些问题

原创 推荐系统冷启动问题的处理

1.将Mysql的商品数据表导入到Hive并合并​ a、 数据库为什么是hive：不导入HDFS是因为它无法处理换行符和空格等。不直接使用mysql是因为它是给web访问用的，如果我们的推荐系统也要直接访问它会增加mysql压力，导致web响应变慢。​ b、为什么要导入：一开始一个商品的信息散落在多张表格里，我们把多张表格合并和整理成一张表格，得到完整的汇总商品数据，这个完整的表里，每一行完整...

原创 word2vec专题

在语言模型中（包括word2vec），由于参数空间过大、数据过于稀疏，计算不方便，所以只考虑近邻n个词对其影响，以简化计算。即为N-gram模型，N为超参数。word2vec的用途：如何把词转化为向量。神经网络：​ 目标是层层之间的参数、还有优化后的输入向量。如何优化：求最大似然函数，即为目标函数最大值（词出现在该环境中的最大可能）。用提度上升求最大似然函数。先更新的是层层参数（最大似然函...

原创 慕课总结

1、保持推荐的多样性和聚焦性平衡。2、推荐系统的未来方向：共享经济，共享单车的投放地点时间推荐。新零售：超市里每人都有自己的行走路线，都能看到自己个性化的广告。矿产勘探领域内，有运用推荐系统，可以写第一个工作经验。3、Hive和Hbase的区别：Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，他批量处理任务，有延时性，多用于离...

原创 推荐系统流程

1、用户调研：​ 新用户：兴趣未知，着重多样性​ 对策：注册时尽量让用户填写人口统计学数据；让用户自己填写选择标签。​ 老用户：兴趣已知，着重个性化​2、推荐需要根据类别来​ 内容推荐以用户兴趣为主电商推荐以价格、品牌为主​ 购买频率较少的类别：房、车、装修以专家推荐和互补推荐为主3、推荐在哪里展示​ 个性化首页、商品详情页面、用户个人页面、购物车页面、评论区页面4、用户行...

原创 极客时间推荐学习笔记

1、推荐系统可以把那些最终会在用户（User）和物品（Item）之间产生的连接提前找出来。2、显式反馈：用户评分​ 隐式反馈：用户行为，如点击、浏览等​ 1、数据比显式反馈更加稠密。诚然，评分数据总体来说是很稀疏的。​ 2、隐式反馈更代表用户的真实想法，比如你不是很赞成川普的观点，但还是想经常看到他的内容（以便吐槽他），这是显式反馈无法捕捉…​ 3、隐式反馈常常和模型的目标函...

原创 先验概率和后验概率

条件概率：（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率 。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。...

转载 激活函数

激活函数一个普通的线性神经网络无论怎么移动和反转都无法将一些非线性的情况分类因为给出的样本点就不是线性可分的我记得高数曾教过我们泰勒公式意思就是一个函数f(x) 可以由N次多项式来表达或者近似Ok，那我们假设通过不断叠加简单神经网络得到一个复杂神经网络最后这个复杂的神经网络可以将上述情况分类Output = w7(input1w1 +input2w2)+w8(input1w3+i...