wangzi11111111的博客

原创 深度学习（01）-- 基础学习

文章目录目录1. 深度学习基础1.1 深度学习总览1.2 深度网络训练过程1.2.1 传统神经网络的训练方法为什么不能用在深度神经网络1.2.2 deep learning训练过程1.3 数学知识：2. 九种深度学习模型2.1 受限玻尔兹曼机RBM2.2 自编码器AE（降维）2.3 深层信念网络DBN2.4 深层玻尔兹曼机DBM2.5 循环神经网络RNN2.6 卷积神经网络CNN2.7 其他模型3...

转载 FM系列算法解读（FM+FFM+DeepFM）

　　在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介绍一下FM系列。 　　在传统的线性模型中，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，可能需要人工对特征进行交叉组合。非线性SVM可以对特征进行核变换，但是在特征高度稀疏的情况下，并不能很好的进行学习。现在有很多分解模型可以学习到特征之间的交互隐藏关系，基本上...

原创 推荐算法--总结（08）

一、推荐系统结构二、推荐引擎算法（Algorithm）1、协同过滤推荐算法1.1 关系矩阵与矩阵计算1.1.1 用户与用户（U-U矩阵）1.1.2 物品与物品（V-V矩阵）1.1.3 用户与物品（U-V矩阵）1.1.4 奇异值分解（SVD）1.1.5 主成分分析（PCA）目标：PCA目标是使用使用另一组基去重新描绘得到的数据空间，新的基要尽可能揭示原有...

转载 推荐系统读书笔记（推荐系统实战）

　　随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载的时代。在这个时代，无论是信息消费者还是信息生产者都遇到很大的挑战；对于消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让自己的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决这一矛盾...

原创 推荐算法--其他信息（07）

文章目录目录1.利用上下文信息1.1时间上下文1.2地点上下文2.利用网络社交数据2.1 获取网络社交数据途径2.2 社交网络数据2.3 基于社交网络的推荐2.4 推荐算法2.5 给用户推荐好友目录1.利用上下文信息1.1时间上下文用户的兴趣是随着时间变化的，三天打鱼两天晒网是最好的例子物品也是有生命周期的，新鲜的事物会很热门，但是十年前的就不一定热门了季节效应，夏天吃冰激凌，冬天...

转载 推荐算法--推荐系统架构（06）

外围架构一般来说，每个网站都有一个 UI 系统，UI 系统负责给用户展示网页并和用户交互。网站会通过日志系统将用户在 UI 上的各种各样的行为记录到用户行为日志中。从上面的结构可以看到，除了推荐系统本身，主要还依赖两个条件--界面展示和用户行为数据。推荐系统架构推荐系统联系用户和物品的主要方式如下图所示。如果将这三种方式都抽象一下就可以发现，如果认为用户喜欢的物品也是一种用户特征，或者和用户兴...

转载 推荐算法--时效性(05)

时效性推荐系统应该考虑时间效应，因为用户的兴趣是有时间变化的。用户一年前喜欢的东西现在不一定感兴趣，相比于推荐过去喜欢的物品，推荐用户近期喜欢的物品更有参考价值。而在新闻更是如此，推荐过去跟用户兴趣一致的新闻已经失去了意义。每个系统时间效应的大小不同，比如时间对电影的作用就没有新闻那么明显。要考虑时效性，必须加入时间参数，比如三元组(用户,物品,时间）代替简单的二元组(用户,物品)。给定时间 T ...

转载 推荐算法--利用用户标签数据(04)

文章目录流行的推荐系统通过3种方式联系用户兴趣和物品（1）：利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品，这是基于物品的算法。 （2）：利用和用户兴趣相似的其他用户，给用户推荐那些和他们兴趣爱好相似的其他用户喜欢的物品，这是基于用户的算法。 （3）：通过一些特征（feature）联系用户和物品，给用户推荐那些具有用户喜欢的特征的物品。 特征有不同的表现形式，可以是物品的...

原创 推荐算法--推荐系统冷启动问题（03）

文章目录目录1.什么是冷启动问题？1.1冷启动问题1.2 冷启动问题的分类1. 用户冷启动2 物品冷启动3 系统冷启动2.如何解决冷启动问题？2.1利用用户注册信息2.2选择合适的物品启动用户的兴趣2.3利用物品的内容信息2.4 发挥专家的作用目录1.什么是冷启动问题？1.1冷启动问题对于一个新用户，新物品或者新系统，在没有大量的用户历史数据的情况下，如何如果在一开始的阶段就希望有个性化...

原创 推荐算法--利用用户行为数据（02）

文章目录目录1.什么是用户行为数据？1.1用户行为分类2.用户行为数据如何使用？2.1 用户活跃度和物品流行度的分布2.2 用户活跃度和物品流行度的关系2.3 协同过滤算法3.实验设计和算法评测4.基于邻域的的推荐算法4.1 基于用户的协同过滤算法4.2 基于物品的协同过滤算法4.3 userCF和itemCF的比较5.基于隐语义模型的推荐算法6.基于图模型的推荐算法目录1.什么是用户行为数据...

原创 推荐算法概述（01）

1.什么是推荐系统用户没有明确的需求，你需要的是一个自动化的工具，它可以分析你的历史兴趣，从庞大的电影库中找到几部符合你兴趣的电影供你选择。这个工具就是个性化推荐系统。推荐系统的主要任务 推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢 推荐系统与搜索引擎的区别 和搜索引擎一样，推荐...

原创 推荐算法---FM,协同过滤

文章目录目录1.FM算法产生背景2.FM算法模型3.FM算法VS其他算法4.推荐算法总结目录1.FM算法产生背景在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization model如矩阵分解MF...

原创 kaggle(05)---Event Recommendation Engine Challenge（基础版）

文章目录目录1.比赛相关介绍1.1 比赛介绍1.2 数据集介绍1.3 评价标准介绍1.4 个人理解2. 解决方案2.1 统计用户和event信息2.2 计算用户相似度2.3 用户社交关系信息处理2.4 构建event和event相似度数据2.5 活跃度/event热度数据2.6 构建特征2.7 模型构建和预测3. 遇到的问题4. 总结目录kaggle比赛官网链接下载好的数据集链接（百度云，提...

原创 Event Recommendation Engine Challenge（基础版）---代码

第一步：统计user和event相关信息#查看train_csv的数据import pandas as pddf_train = pd.read_csv('train.csv')df_train.head() user event invited timestamp interested ...

原创 大数据学习（4）--分布式数据库HBase

文章目录目录1.HBase概述1.1BigTable1.2 HBase简介1.3 HBase和传统的关系型数据库之间的区别2.HBase访问接口3.HBase数据模型3.1 数据模型概述3.2 数据模型相关概念3.3 数据坐标3.4 概念视图3.5 物理视图3.6 面向列的存储4.HBase的实现原理4.1 HBase功能组件4.2 表和region4.3 region的定位5.HBase运行机制...

原创 大数据学习（3）- 分布式文件系统HDFS

文章目录目录1.分布式文件系统1.1 计算机集群概念1.2 分布式文件系统结构2.HDFS简介2.1 HDFS设计的目标2.2HDFS的局限性2.3 块的概念2.4 HDFS主要组件及其功能2.4.1 名称节点2.4.2 第二名称节点2.4.3 数据节点3.HDFS体系结构3.1 HDFS体系结构介绍3.2 HDFS体系结构的局限性4.HDFS存储原理4.1 冗余数据保存4.2 数据存取策略4.3...

转载 大数据学习（2-2）- 使用docker安装配置Hadoop环境

我的思路是这样：安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、Slave1、Slave2)---->完成完全分布式1.   安装ubuntu系统(无论你是安装的单系统，...

原创 大数据学习（2-1）-Hadoop安装教程-单机模式和伪分布模式（Ubuntu14.04LTS）

文章目录目录1.linxu的安装1.1安装Linux虚拟机1.2安装Linux和Windows双系统2.Hadoop的安装2.1 Hadoop安装前配置2.1.1 配置Hadoop用户2.1.2 安装 ssh , 配置ssh免密登录2.1.3 安装java环境2.2 Hadoop的安装3.Hadoop单机版配置4.Hadoop伪分布版配置目录1.linxu的安装1.1安装Linux虚拟机...

原创 大数据学习（2）-Hadoop的介绍与安装

原创 机器学习知识总结系列-机器学习中的数学-概率与数理统计（1-3-1）

文章目录目录1.概率与统计1.1 机器学习与概率统计之间的关系1.2 重要的统计量1.2.1 期望1.2.2 方差1.2.3 协方差，相关系数协方差相关系数1.2.4 矩1.3 重要的定理与不等式1.4 用样本估计参数目录1.概率与统计1.1 机器学习与概率统计之间的关系1.什么是概率问题和统计问题概率问题：已知数据的整体分布，然后求取抽样数据的概率。统计问题：是概率问题的逆过程，即...

原创 大数据学习（1）-大数据概述

文章目录目录大数据产生背景大数据概念大数据影响大数据应用大数据关键技术大数据产业大数据，云计算，物联网关系云计算物联网大数据，物联网，云计算三者之间联系目录大数据产生背景三次信息化浪潮根据IBM前首席执行官郭士纳福观点，每15年IT领域就会迎来一次重大的变革。2.大数据产生的技术支撑数据存储+数据处理+数据传输存储设备容量的不断增大和价格的不断降低CPU处理能力的大...

原创 大数据学习（0）-大数据知识框图

原创 机器学习知识总结系列- 模型评估（1-2）

原创 机器学习知识总结系列- 特征工程（1-1）

文章目录目录目录

原创 IT互联网公司的笔试的输入输出- c++ && python

文章目录目录c++方式1：方式2：Python方式1：方式2：方式3：目录c++方式1：第一种情况：输入n个数，存放在数组中#include <iostream>#include <vector>using namespace std;int main(){ int N; // 输入总个数 int temp; while (c...

转载 大数的四则运算（加法、减法、乘法、除法）

大数的四则运算（加法、减法、乘法、除法） 前言：    在计算机中数字表示的范围是有限制的，比如我们熟知的 int、float、double 等数据类型所能表示的范围都是有限的，如果我们要对位数达到几十位、几百位、上千位的大整数进行计算，这些数据类型显然不能满足我们的要求，因此我们需要通过算法来实现这些功能。 1、大数...

原创 剑指offer(刷题61-65)--c++，Python版本

文章目录目录第61题：解题思路：代码实现：c++python第62题：解题思路：代码实现：c++python第63题：解题思路：代码实现：c++python第64题：解题思路：代码实现：c++python第65题：解题思路：代码实现：c++回溯法动态规划法python目录第61题：给定一棵二叉搜索树，请找出其中的第k小的结点。例如， （5，3，7，2，4，6，8） 中，按结点数值大小顺...

原创 剑指offer(刷题51-60)--c++，Python版本

文章目录目录第51题：解题思路：代码实现：c++python第52题：解题思路：代码实现：c++python第53题：解题思路：代码实现：c++python第54题：解题思路：代码实现：c++方法1：方法2python第55题：解题思路：代码实现：c++python第56题：解题思路：代码实现：c++python第57题：解题思路：代码实现：c++python第58题：解题思路：代码实现：c++p...

原创 剑指offer(刷题41-50)--c++，Python版本

文章目录目录第41题：解题思路：代码实现：c++python第42题：解题思路：代码实现：c++python第43题：解题思路：代码实现：c++python第44题：解题思路：代码实现：c++python第45题：解题思路：代码实现：c++python第46题：解题思路：代码实现：c++python第47题：解题思路：代码实现：c++python第48题：解题思路：代码实现：c++python第4...

原创 剑指offer(刷题31-40)--c++，Python版本

文章目录目录第31 题：解题思路：代码实现：c++python第32题：解题思路：代码实现：c++python第33题：解题思路：代码实现：c++python第34题：解题思路：代码实现：c++python第35题：解题思路：代码实现：c++python第 题：解题思路：代码实现：c++python目录第31 题：输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字...

原创 剑指offer(刷题21-30)--c++，Python版本

文章目录目录第 21题：解题思路：代码实现：c++python第22 题：解题思路：代码实现：c++python第 题：解题思路：代码实现：c++python目录第 21题：从上往下打印出二叉树的每个节点，同层节点从左至右打印。解题思路：其实这就是一个二叉树层序遍历的问题，我们可以有以下两种方法来实现使用辅助队列完成对二叉树的层序遍历使用数组辅助来完成对二叉树的辅助遍历代码实现...

原创 机器学习知识总结系列- 基本概念（1-0）

文章目录目录1. 机器学习的定义2. 机器学习的分类2.1根据是否在人类监督下进行训练监督学习非监督学习半监督学习强化学习2.2根据是否可以动态渐进的学习在线学习批量学习2.3根据是否在训练数据过程中进行模式识别实例学习基于模型的学习3. 机器学习中的一些常见名词4. 机器学习的挑战4.1 训练的数据量不足4.2 没有代表性的数据4.3 低质量的数据4.4 不相关的特征4.5 过拟合和欠拟合5. ...

原创 机器学习知识总结系列- 知识图谱（0-0）

文章目录目录机器学习知识图谱目录本系列的文章只是根据个人的习惯进行总结，可能结构与一些书籍上不太一样，开始的内容比较简单，会随着后续的深入，不断丰富和更新图谱，同时也期待有相同兴趣的朋友一起给我留言一起丰富！也非常欢迎各位能够指出错误！机器学习知识图谱...

原创 原 剑指offer(刷题11-20)--c++，Python版本

文章目录目录第11题：解题思路：代码实现：c++python第12题：解题思路：代码实现：c++python第13 题：解题思路：代码实现：c++python第 14题：解题思路：代码实现：c++python第15 题：解题思路：代码实现：c++递归实现python第16 题：解题思路：代码实现：c++python第17题：解题思路：代码实现：c++递归实现python第18题：解题思路：代码实现...

原创 剑指offer(刷题1-10)--c++，Python版本

文章目录目录第一题：解题思路：代码实现：c++顺序查找二分查找Python第二题：解题思路：代码实现：c++python第三题：解题思路：代码实现：c++使用栈辅助反转链表python第四题：解题思路：代码实现：c++python第五题：解题思路：代码实现：c++python第六题：解题思路：代码实现：c++python第七题：解题思路：代码实现：c++第一种：第二种：python第八题：解题思路...

转载 常见8种机器学习算法总结

简介机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就...

原创 机器学习基础-吴恩达-coursera-（第一周学习笔记）----Introduction and Linear Regression

课程网址：https://www.coursera.org/learn/machine-learning Week 1 —— Introduction and Linear Regression目录Week 1 Introduction and Linear Regression目录一 介绍1-1 机器学习概念及应用1-2 机器学习分类二 单变量的线性回归2-1 假设函...

转载 GitHub搜索技巧

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/fengbingchun/article/details/88625374 &lt;/div&gt; &lt;link rel="stylesheet" href="https://csdnimg.cn/release/p...

原创 一文读懂机器学习库graphLab

文章目录目录什么是graphlab为什么使用graphlab?如何安装graphlab?graphlab的简单使用。目录什么是graphlabGraphLab 是由CMU（卡内基梅隆大学）的Select 实验室在2010 年提出的一个基于图像处理模型的开源图计算框架，框架使用C++语言开发实现。该框架是面向机器学习（ML）的流处理并行计算框架，可以运行在多处理机的单机系统、集群或是亚马逊的E...

原创 kaggle（04）---avazu_ctr_predictor（baseline）

比赛的目的：通过分析网上的系统日志和用户行为信息，来预测某些网页上项目的点击率。是一个二分类的问题，只需要预测出用户是否点击即可最好能够输出某个概率，比如：用户点击某个广告的概率。比赛官网文件信息：train - Training set. 10 days of click-through data, ordered chronologically. Non-clicks and ...