技术文档
有石为玉
个性化推荐,图像与视频处理,机器学习,深度学习
展开
-
《用户网络行为画像》笔记
目录第一部分 画像知识工程基础第1章 用户画像概述第2章 用户画像建模第3章 群体用户画像分析第4章 用户画像管理第二部分 推荐系统与用户画像第5章 视频推荐概述第6章 协同过滤推荐方法(CF)第7章 基于内容(Content-based CB)的推荐方法第8章 基于知识的推荐方法第9章 混合推荐方法第10章 视频推荐评测第三部分 应用案例分析...原创 2019-11-12 00:10:17 · 450 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(16)其他广告相关技术
目录16.1 创意优化16.2 实验框架16.3 广告监测与归因16.4 作弊与反作弊16.5 产品技术选型实战16.1 创意优化程序化创意:地域型创意、搜索重定向创意、个性化重定向创意点击热力图创意的发展趋势:视频化、交互化16.2 实验框架发布层实验层:检索层、排序层、展现层16.3 广告监测与归因广告监测广告安全:广告投...原创 2019-11-12 00:10:11 · 255 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(15)程序化交易核心技术
目录15.1 广告交易平台15.2 需求方平台15.3 供给方平台15.1 广告交易平台cookie映射、询价优化15.2 需求方平台定制化用户标签:新客推荐建模DSP中的点击率预测点击价值估计出价策略15.3 供给方平台网络优化...原创 2019-11-12 00:10:05 · 200 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(14)点击率预测模型
目录14.1 点击率预测14.2 其他点击率模型14.3 探索与利用14.1 点击率预测点击率基本模型LR模型优化算法:L-BFGS,置信域法,Spark上的模型优化点击率模型的矫正点击率模型的特征:特征的非线性化、组合特征与静态特征、动态特征、位置偏差与CoEC、常见的偏差特征、点击反馈的平滑点击率模型评测智能频次控制14.2 其他点击率模型...原创 2019-11-11 21:12:49 · 388 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(13)竞价广告核心技术
目录13.1 竞价广告计价算法13.2 搜索广告系统13.3 广告网络13.4 广告检索13.1 竞价广告计价算法不是简单的定价,可能是多种定价策略的综合。13.2 搜索广告系统查询扩展:基于推荐的方法、基于主题模型的方法、基于历史效果的方法广告放置13.3 广告网络短时行为反馈与流计算13.4 广告检索希尔表达式的检索相关...原创 2019-11-11 20:58:00 · 242 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(12)受众定向核心技术
目录12.1 受众定向技术分类12.2 上下文定向12.3 文本主题挖掘12.4 行为定向12.5 人口属性预测12.6 数据管理平台DMP12.1 受众定向技术分类用户标签、上下文标签、定制化标签12.2 上下文定向两种定向:(1)根据广告请求中的参数进行简单运算,比如:地域定向、频道/URL定向、操作系统定向等(2)根据上下文页面的特征标签...原创 2019-11-11 20:53:29 · 460 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(11)合约广告核心技术
目录10.1 广告排期系统10.2 担保式投放系统10.3 在线分配10.1 广告排期系统排期与动态广告混合系统10.2 担保式投放系统流量预测、频次控制10.3 在线分配在线分配问题:供给与需求二部图、需求约束与供给约束、问题框架在线分配问题举例:GD问题、AdWords问题、极限性能研究、实用优化算法...原创 2019-11-11 20:38:55 · 648 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(10)基础知识储备
目录10.1 信息检索10.2 最优化方法10.3 统计机器学习10.4 统计模型分布式优化框架10.5 深度学习10.1 信息检索倒排索引、向量空间模型10.2 最优化方法拉格朗日法与凸优化、下降单纯形法、梯度下降法、拟牛顿法10.3 统计机器学习最大熵与指数族分布、混合模型与EM算法、贝叶斯学习10.4 统计模型分布式优化框架...原创 2019-11-11 20:35:40 · 273 阅读 · 0 评论 -
《计算广告》_刘鹏_[三]计算广告关键技术_(9)计算广告技术概览
目录9.1 个性化系统框架9.2 各类广告系统优化目标9.3 计算广告系统架构9.4 计算广告系统主要技术9.5 用开源工具搭建计算广告系统9.1 个性化系统框架分布式计算平台-------->离线特征--------->在线投放引擎<----------在线特征<-----------流计算平台 | ...原创 2019-11-11 20:28:55 · 280 阅读 · 0 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(8)信息流与原生广告
目录8.1 移动广告的现状与挑战8.2 信息流广告8.3 其他原生广告相关产品8.4 原生广告平台8.5 原生广告与程序化交易原生广告产品:8.1 移动广告的现状与挑战移动广告市场规模越来越大。移动广告的传统创意形式:横幅与插屏、开屏与锁屏、推荐墙与积分墙移动广告的挑战:行为数据割裂、广告主移动化程度不够、移动产品广告形式需要革命8.2 信息...原创 2019-11-11 20:09:56 · 370 阅读 · 0 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(7)数据加工与交易
目录7.1 有价值的数据来源7.2 数据管理平台7.3 数据交易的基本过程7.4 隐私保护和数据安全7.1 有价值的数据来源用户标识、用户行为、用户属性、地理位置、社交关系7.2 数据管理平台三方数据划分:第一方和第二方指广告主和广告平台,其他数据来源成为第三方数据第一方数据管理平台:管理广告主数据第三方数据管理平台产品案例:BlueKai, Au...原创 2019-11-11 19:58:29 · 277 阅读 · 0 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(6)程序化交易平台
目录6.1 实时竞价6.2 其他程序化交易方式6.3 广告交易平台6.4 需求方平台6.5 供给方平台程序化交易平台产品:6.1 实时竞价(1)用户标识映射设计cookie映射(2)广告请求RTB2.1 用户接触到媒体网站广告位时,前端向ADX发起广告请求2.2 ADX向各DSP发送URL和用户标识,发起询价请求2.3 媒体网站从胜出的...原创 2019-11-11 19:48:38 · 300 阅读 · 0 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(5)搜索广告与竞价广告
目录5.1 搜索广告5.2 位置拍卖与机制设计5.3 竞价广告网络5.4 竞价广告需求方产品5.5 竞价广告与合约广告的比较竞价广告产品:5.1 搜索广告5.1.1 搜索广告产品形态5.1.2 搜索广告产品新形式超越文字链的创意弱相关广告形式原生化探索5.1.3 搜索广告产品策略查询扩展:精准匹配、短语匹配、广泛匹配、否定匹配广告放...原创 2019-11-11 19:23:51 · 422 阅读 · 0 评论 -
推荐系统实践_项亮(1)好的推荐系统
目录第1章 好的推荐系统1.1 什么是推荐系统1.2 个性化推荐系统的应用1.2.1 电子商务1.2.2 电影和视频网站1.2.3 个性化音乐网络电台1.2.4 社交网络1.2.5 个性化阅读1.2.6 基于位置的服务1.2.7 个性化邮件1.2.8 个性化广告1.3 推荐系统评测1.3.1 推荐系统实验方法1.3.2 评测指标1.3.3...原创 2018-11-21 18:04:29 · 734 阅读 · 0 评论 -
操作系统原理_田丽华(5)CPU调度
5.1 CPU调度基本概念5.2 CPU调度算法:先来先服务FCFS5.3 CPU调度算法:短作业优先SJF5.4 CPU调度算法:优先级算法PS和RR时间片轮转(1)优先级算法PS(2)时间片轮转RR5.5 CPU...原创 2019-06-27 17:20:16 · 255 阅读 · 0 评论 -
操作系统原理_田丽华(4)线程
目录4.1 线程的引入4.2 用户线程和内核线程4.3 多线程模型4.1 线程的引入4.2 用户线程和内核线程4.3 多线程模型...原创 2019-06-27 16:33:28 · 210 阅读 · 0 评论 -
操作系统原理_田丽华(3)进程
目录3.1 进程概念3.2 进程状态3.3 进程控制块PCB3.4 操作系统调度3.5 进程操作3.6 进程创建3.7 进程通信:共享存储3.8进程通信:消息传递3.1 进程概念3.2 进程状态3.3 进程控制块PCB3.4 操作系统调度...原创 2019-06-27 16:06:38 · 383 阅读 · 0 评论 -
推荐系统实践_项亮(4)利用用户标签数据
联系用户与物品的几种途径:打标签:专家;普通用户(UGC,user generated content)4.1 UGC标签系统的代表应用4.1.1 delicious:用户给每个网页打标签4.1.2 citeulike:论文打标签4.1.3 last.fm:音乐打标签4.1.4 豆瓣:对图书和电影打标签4.1.5 Hulu:对视频打标签标签系统最大优...原创 2019-06-20 16:34:15 · 185 阅读 · 0 评论 -
推荐系统实践_项亮(5)利用上下文信息
目录5.1 时间上下文信息5.2 地点上下文信息用户上下文信息也很重要:时间、地点、心情等。举例:衣服:季节美食:时间、地点音乐:心情视频:时间5.1 时间上下文信息5.1.1 时间效应简介(1)用户兴趣随时间变化(2)物品有生命周期(3)季节效应5.1.2 时间效应举例用户兴趣随时间的变化5.1.3 系统时间...原创 2019-06-20 17:03:44 · 191 阅读 · 0 评论 -
推荐系统实践_项亮(8)评分预测问题
目录8.1 离线实验方法8.2 评分预测方法总结TOPN和评分预测问题8.1 离线实验方法优化RMSE8.2 评分预测方法8.2.1 平均值全局平均值、用户评分平均值、物品评分平均值、用户分类对物品分类的平均值(q:全局平均值、用户分类对物品分类的平均值在q的应用中最多)8.2.2 基于领域的方法基于用户的领域算法:预测一个用户对物品的评...原创 2019-06-20 17:50:19 · 244 阅读 · 0 评论 -
推荐系统实践_项亮(6)社交网络数据
目录6.1 获取社交网络数据的途径6.2 社交网络数据简介6.3 基于社交网络的推荐6.4 给用户推荐好友6.5 扩展阅读社交网络的重要性,广告推荐举例:第(3)效果最好。(1)xxx个用户关注(2)您的好友谁关注(3)实时推送年的好友关注了yyy品牌讨论2个问题:(1)利用社交网络给用户推荐商品(2)利用社交网络给用户推荐好友6.1 获取...原创 2019-06-20 17:25:28 · 209 阅读 · 0 评论 -
推荐系统实践_项亮(3)推荐系统冷启动问题
目录3.1 冷启动问题简介3.2 利用用户注册信息3.3 选择合适的物品启动用户的兴趣3.4 利用物品的内容信息3.5 发挥专家的作用3.1 冷启动问题简介分3类:(1)用户冷启动。新用户到来时,无历史行为怎么预测?(2)物品冷启动。新物品怎么推荐给感兴趣的用户?(3)系统冷启动。新网站,还没有用户,只有新物品,怎么个性化推荐?解决方案:(1)...原创 2019-06-20 16:09:00 · 247 阅读 · 0 评论 -
操作系统原理_田丽华(6)进程同步
目录6.1 进程同步背景6.2 临界区问题6.3 信号量6.4 哲学家问题6.5 生产者消费者问题6.6 读写问题6.1 进程同步背景6.2 临界区问题临界区:进程中访问临界资源的一段代码算法1:轮流:算法2:申请6.3 信号量6.4 哲学...原创 2019-06-27 19:54:12 · 185 阅读 · 0 评论 -
操作系统原理_田丽华(7)死锁
目录7.1 死锁基本概念7.2 死锁的必要条件7.3 死锁的预防7.4 死锁避免7.5 银行家算法7.6 死锁检测和恢复考试:7.1 死锁基本概念7.2 死锁的必要条件资源分配的例子:两个例子:(1)会死锁 (2)...原创 2019-06-27 20:57:17 · 295 阅读 · 0 评论 -
2018面经(1):机器视觉工程师岗位
时间:20180806岗位:机器视觉工程师公司:H面试流程:一开始是40分钟的笔试。之后是2轮技术面,1个小时。一、笔试4页纸,40分钟1.C语言基础选择题运算符优先级,指针操作,内存分配2.算法问答题(1)非线性激活函数从反面说,如果神经网络的激活函数都是线性函数,那么输出就是输入的线性组合,那么根本没必要用隐藏层。(2)sigmoid函数...原创 2018-08-09 09:09:41 · 7880 阅读 · 3 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(4)合约广告
目录第4章 合约广告4.1 广告位合约4.2 受众定向4.3 展示量合约第4章 合约广告接下来开始对在线广告的一些主要产品和响应商业逻辑进行讨论。这章是合约广告。合约广告有两种结算方式:结算方式 技术方式 CPT 简单的广告排期系统 CPM 受众定向(定向方法,标签体系),在线分配 4.1 广告位合约描述:某一段时间内,广...原创 2019-09-27 20:01:07 · 317 阅读 · 0 评论 -
《计算广告》_刘鹏_[一]在线广告市场与背景_(2)计算广告基础
目录第2章 计算广告基础2.1 广告有效性原理2.2 互联网广告的技术特点2.3 计算广告的核心问题2.4 在线广告相关行业协会第2章 计算广告基础理解广告产生效果的过程,并分解各个过程的关键影响因素,可以更好的理解广告中技术点。大多数广告产品,通过计算优化的主要是:收入。eCPM是最为核心的指标之一。eCPM = 点击率*点击价值2.1 广告有效性原...原创 2019-09-27 19:28:17 · 545 阅读 · 0 评论 -
《计算广告》_刘鹏_[二]在线广告产品逻辑_(3)在线广告产品概览
目录第3章 在线广告产品概览3.1 商业产品的设计原则3.2 广告系统的产品接口3.2.1 广告主层级组织玉投放管理3.2.2 供给方管理接口SSP3.2.3 供需之间多种接口形式第3章 在线广告产品概览广告发展有4个阶段:(1)合约广告产品(2)竞价广告产品(3)程序化交易广告产品(4)原生广告产品在线广告产品进化示意图3.1 商...原创 2019-09-23 11:03:14 · 312 阅读 · 0 评论 -
《计算广告》_刘鹏_[一]在线广告市场与背景_(1)在线广告综述
写在前面内容提要计算广告,涉及领域:大规模搜索和文本分析、信息获取、统计模型、机器学习、分类、优化以及微观经济学等本书系统介绍计算广告的产品、问题、系统和算法以广告系统业务形态的需求和变化为主线,依次介绍合约广告系统、竞价广告系统、程序化交易市场等前言1、互联网最关键的思维模式正面的免费服务是为了获得流量和数据,而背面的广告业务就是将这些流量和数据变成金钱。...原创 2019-08-22 10:38:46 · 404 阅读 · 0 评论 -
操作系统原理_田丽华(10)文件系统
目录10.1 文件概念与文件分类10.2 文件访问方式10.3文件物理结构10.3.1 连续结构10.3.2 链接结构10.3.3 索引结构10.4 目录10.4.1 目录10.4.2 目录结构10.5 空闲空间管理10.6 文件系统结构及实现10.1 文件概念与文件分类10.2 文件访问方式...原创 2019-07-11 23:58:14 · 250 阅读 · 0 评论 -
操作系统原理_田丽华(11)大容量存储
目录11.1 磁盘结构11.2 磁盘调度11.1 磁盘结构11.2 磁盘调度原创 2019-07-12 17:58:27 · 280 阅读 · 0 评论 -
操作系统原理_田丽华(8)内存管理
目录8.1 内存管理背景8.2 连续内存管理:固定分区分配8.3 连续内存管理:动态分区分配8.4 分页8.5 分页硬件与TLB8.6 分段8.1 内存管理背景8.2 连续内存管理:固定分区分配8.3 连续内存管理:动态分区分配8.4 分页8.5 分页硬件与TLB8.6 分...原创 2019-06-28 00:20:36 · 356 阅读 · 0 评论 -
推荐系统实践_项亮(7)推荐系统实例
目录7.1 外围架构7.2 推荐系统架构7.3 推荐引擎的架构7.1 外围架构数据收集与存储:7.2 推荐系统架构如果将这3种方式都抽象一下就可以发现,如果认为用户喜欢的物品也是一种用户特征,或者和用户兴趣相似的其他用户也是一种用户特征,那么用户就和物品通过特征相联系。推荐系统的核心任务就被拆解成两部分,一个是如何为给定用户生成特征,另一 个是如何...原创 2019-06-20 17:39:27 · 564 阅读 · 0 评论 -
推荐系统实践_项亮(2)利用用户行为数据
目录第2章 利用用户行为数据2.1 用户行为数据简介2.2 用户行为分析2.2.1 用户活跃度和物品流行度的分布:长尾分布2.2.2 用户活跃度和物品流行度的关系:2.3 实验设计和算法评测2.4 基于领域的算法2.4.1 基于用户的协同过滤算法UserCF2.4.2 基于物品的协同过滤算法ItemCF2.4.3 UserCF和ItemCF的比较2.5 ...原创 2018-11-22 15:56:08 · 307 阅读 · 0 评论 -
操作系统原理_田丽华(1)操作系统概述
目录1.1 操作系统概念1.2 操作系统发展1.3 多道批处理系统1.4 分时系统1.1 操作系统概念1.2 操作系统发展1.3 多道批处理系统1.4 分时系统...原创 2019-06-17 23:40:39 · 651 阅读 · 0 评论 -
美团机器学习实践(6)算法工程
目录第16章 大规模机器学习16.1 并行计算编程技术16.2 并行计算模型16.3 并行计算案例16.4 美团并行计算机器学习平台第17章 特征工程和实验平台17.1 特征平台17.2 实验管理平台第16章 大规模机器学习16.1 并行计算编程技术向量化、多核并行OpenMP、GPU编程、多机并行MPI16.2 并行计算模型BSP、S...原创 2019-06-25 12:13:26 · 446 阅读 · 0 评论 -
操作系统原理_田丽华(2)操作系统结构
目录2.1 操作系统硬件2.2 硬件保护2.3 操作系统服务2.4 系统调用2.5 操作系统结构2.1 操作系统硬件异步:通过中断告知IO结束2.2 硬件保护2.3 操作系统服务操作系统目标:提供的服务、为用户和服务提供的接口、各组成部分及相互连接...原创 2019-06-26 00:10:51 · 380 阅读 · 0 评论 -
操作系统原理_田丽华(9)虚拟内存
目录9.1 虚拟内存9.2 请求调页9.3 页面置换9.4 页面置换算法9.5 帧分配9.6 颠簸9.1 虚拟内存标题9.2 请求调页9.3 页面置换9.4 页面置换算法9.5 帧分配...原创 2019-07-01 20:52:33 · 275 阅读 · 0 评论 -
百面机器学习(3)经典算法
没有最好的分类器,只有最合适的分类器。深度学习:数据驱动的,但没有海量且精确标注的数据时,可以采用传统方法。01 支持向量机很有趣的比喻:拍一下桌面,将球都拍到空中,再用一张纸分隔开。问题一:空间上线性可分的两类点,分别向SVM分类的超平面上做投影,这些点在超平面上的投影还是线性可分的吗?问题二:是否存在一组参数使SVM训练误差为0?(待补充)存在问...原创 2019-06-17 20:51:27 · 314 阅读 · 0 评论 -
百面机器学习(2)模型评估
目录01 评估指标的局限性问题一:准确率的局限?问题二:精确率和召回率的均衡问题3:平方根误差02 ROC曲线问题1:什么是ROC曲线问题二:如何绘制ROC曲线?问题三:如何计算AUC?问题四:ROC曲线比PR曲线,有什么特点?03 余弦距离的应用04 A/B测试的陷阱问题一:进行A/B测试的原因?问题二:如何进行A/B测试?目前所有用户模型是B...原创 2019-06-17 20:30:08 · 712 阅读 · 0 评论