- 博客(225)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【强化学习笔记】4.3 无模型的强化学习方法-蒙特卡罗算法与重要性采样
异策略与重要性采样因为异策略中的行动策略和目标策略不一样，也就是说行动策略产生的数据分布与目标策略的数据分布存在偏差，即即行动策略的轨迹概率分布和改善策略的轨迹概率分布不一样，因此在使用数据进行目标策略评估的时候需要考虑该影响，常用的方法是重要性采样。 重要性采样 ...
2018-06-08 14:55:18
2623
1
原创 【强化学习笔记】3.3 基于模型的值迭代方法编程实现
重新回顾一下值迭代算法（原理见3.1 基于模型的动态规划方法）： 进行策略改善之前不一定要等到策略值函数收敛，可以在评估一次后就进行策略改善，迭代的终止条件是值函数不再发生变化（就是每个状态下的值函数不再发生变化）。 （1）初始化状态值函数和状态对应的动作（初始化可以采用随机策略，即随机选择状态下的动作） （2）遍历状态下的动作，选出收益最大的动作，作为状态对应的最终动作（贪心策略），更新状...
2018-06-06 10:06:42
1340
原创 【强化学习笔记】5.1 无模型的强化学习方法-时间差分算法
【深入浅出强化学习原理入门学习笔记】5.无模型的强化学习方法-时间差分算法在无模型的强化学习方法-蒙特卡罗算法中介绍了蒙特卡罗算法是利用经验平均估计状态值函数，存在一个问题是经验平均要到一次实验结束后才出现，学习速度慢，学习效率不高。重新看一下在蒙特卡罗算法中状态值函数的更新方式 vk(s)=vk−1(s)+1k(Gk(s)−vk−1)vk(s)=vk−1(s)+1k(Gk(s)−vk−1)...
2018-03-07 16:55:52
3015
原创 【强化学习笔记】4.1 无模型的强化学习方法-蒙特卡罗算法
【深入浅出强化学习原理入门学习笔记】4.无模型的强化学习方法-蒙特卡罗算法再解释一下什么是无模型？无模型就是状态转移函数，回报函数不知道的情况。 在基于模型的动态规划方法中是基于模型的，包括策略迭代法和值函数迭代法，可以统一到广义策略迭代法，即先进行策略评估（计算值函数），然后基于基函数做策略改善。状态值函数和状态-行为值函数的本质是期望，之前动态规划的方法可以通过模型计算期望，在无模型...
2018-03-07 13:59:01
3359
1
原创 【强化学习笔记】3.1 基于模型的动态规划方法
【深入浅出强化学习原理入门学习笔记】3.基于模型的动态规划方法首先解释一下什么是有模型和无模型，马尔科夫决策过程用元组表示是(S,A,P,R,γ)(S,A,P,R,γ)\big(S, A, P, R, \gamma\big), SSS为有限状态集, AAA为有限动作集，PPP是状态转移概率（包含动作），RRR为回报函数，γγ\gamma为回报折扣因子。如果其中的PPP，RRR不知道的话，就是...
2018-03-06 23:11:04
2222
原创 【强化学习笔记】2 马尔可夫决策过程
【深入浅出强化学习原理入门学习笔记】2.马尔可夫决策过程马尔科夫性马尔科夫性{\color{red}{马尔科夫性}}：P[St+1|St]=P[St+1|S1,S2,S3,...,St]P[St+1|St]=P[St+1|S1,S2,S3,...,St]P \big[S_{t+1}|S_t\big]=P\big[S_{t+1}|S_1,S_2,S_3,...,S_t\big] 即系统的下一个状...
2018-03-06 20:09:35
983
原创 【强化学习笔记】1.绪论
【深入浅出强化学习原理入门学习笔记】1.绪论最近看文章，看到了阿里巴巴搜索推荐团队已经在商品的排序中开始使用强化学习了，并且取得了不错的效果。因此感觉有必要学习一下，买了深入浅出强化学习原理入门这本书，发现真心不错，就想把从中学到的东西做一下笔记。这是一本什么书 介绍强化学习的完全教程强化学习解决什么问题 智能决策问题，确切的说是序贯决策问题，就是需要连续不断做出决策才能实现最终目...
2018-03-06 19:18:20
694
3
原创 深度强化学习-环境准备
安装git查看python版本安装pip mac里面python自带easy_install的，最快的应该就是在terminal里面sudo easy_install pip了，网络好几秒就ok。运行完可以用pip help测试一下是否安装成功，成功安装后，直接pip install numpy或者其他包就可以了。ps：用sudo的时候需要输入密码，这个密码是你自己电脑的密码，输入的时候采...
2018-03-06 17:17:42
1041
转载 MAC端Git安装以及环境搭建
转自http://blog.csdn.net/xiaohanluo/article/details/53214933 转载注明出处：http://blog.csdn.net/xiaohanluo/article/details/53214933Git安装 下载Git有两种方法直接下载安装包，Git下载地址 用homebrew指令下载，不过首先需要安装homebrew 在终端执行后...
2018-03-06 16:08:40
252
转载 互联网公司的技术博客汇总-BAT等
淘宝中间件技术团队博客（推荐） 他们的口号是：致力于成为中国第一，世界一流的JAVA技术团队！ 最新文章： 1）阿里巴巴集团宣布正式加入Apache基金会 2）解读calvin 3）中间件技术及双十一实践·稳定性平台篇 4）中间件技术及双十一实践·应用服务器篇 5）中间件技术及双十一实践·消息中间件篇 http://jm.taobao.org/淘宝搜索技术博客（推荐） 经过千...
2018-02-28 19:44:47
2715
原创 【广告算法工程师入门 34】模型特征-CTR模型中的模型优化
这里推荐几个博客，写的不错 1. 京东广告推荐机器学习系统实践 2. 常见计算广告点击率预估算法总结 3. 精准营销：剖析广告点击率预估系统 4. CTR点击率预估干货分享 5. AdPredictor引发的一系列故事 6. 关于点击率模型，你知道这三点就够了 7. 从逻辑回归到深度学习，点击率预测技术面面观 8. 用户在线广告点击行为预测的深度学习模型...
2018-01-22 20:24:17
1417
原创 【广告算法工程师入门 33】模型特征-商业产品中的各种质量分及其用途
质量分广告是用户与信息之间的最佳匹配，既然是匹配就需要选择最合适的信息给用户，存在选择，就需要选择的标准，而这些标准需要进行量化，进而会设计各种质量分。广告级别的质量分 广告的点击率，点击满意度，搜索满意度等，这些质量分参与广告的排序计费和准入等创意级别的质量分 标题，描述，样式的展现和转化，图片的选择均需要质量分进行比较，以选出最好的物料。质量分的工程实现 质量分一般也是二...
2018-01-22 20:19:34
647
转载 谈谈商业分析的思维养成
原文转自： http://mp.weixin.qq.com/s?__biz=MzI0MjA1Mjg2Ng==&mid=209479847&idx=1&sn=695b9e9979ff12aa75b09bc6ff93f804&scene=1&srcid=0927RGYVV7Pg8cttGctnGr0L&key=2877d24f51fa53841b89d53132a00bf7a32068aa06584
2018-01-22 16:28:26
1681
转载 【转】直播平台如何实现商业变现？
直播平台如何实现商业变现？ 96 Levin711 关注很多直播平台现目前仍于烧钱状态，而商业的本质应该是交易和盈利，而不是无限烧钱抢占市场。烧钱抢占市场的仗没法持续太久，因为资本逐利。投资人讲究商业，追逐盈利。今天来聊聊游戏直播平台最可能变现的模式。一、网红变现，做直播平台的广点通随着直播内容的在各个细分领域的发展，旅游、游戏、美食、时尚等垂直领域都有号召力和影响力的网红，越
2018-01-15 13:15:01
2803
原创 【广告算法工程师入门 32】从直播答题，跳一跳，抢红包等产品策略扯到用户受益商业变现
【该文档已经整理到看云电子书：广告算法学习笔记】最近吃瓜群众在游戏上微信小程序跳一跳和各类直播答题。玩完微信的跳一跳，然后在《冲顶大会》，《芝士超人》，《百万变现》跳一跳，生活变成了一场场撒钱狂欢，有些学霸们又显示自己NB的一面。对于新事物，我总是慢半拍，跳一跳也是上周才接触，直播答题也是这周才看，这个一点都不像是搞互联网的人。可能是做广告机制做多了，现在碰到一个东西和产品，就想这个东西靠...
2018-01-10 00:09:37
717
转载 【今日头条】2017年短视频创作者商业变现报告
转载：http://www.useit.com.cn/thread-17220-1-1.html 为了解短视频创作者的生存现状，本报告从团队规模、成立时间、团队分工、盈利情况、制作成本、报价等方面，对952 个短视频团队进行调研。在受访对象中，短视频团队主要集中在5 人以下，成立6 个月到一年的时间，59.87% 的短视频团队里没有明确的市场营销人员分工，有47.9% 不能盈利。在实现盈利的短视频
2017-12-22 23:00:32
1640
原创 【广告算法工程师入门 31】从各项指标情况评估互联网产品的变现思路
【该文档已经整理到看云电子书：广告算法学习笔记】当接手一个新的商业产品的时候，往往需要从各项指标情况，评估产品的变现能力。主要就是产品的展现，点击情况，以及后续的可能转化的空间。同时做到知己知彼，能够快速给出以后的发力点。最近接触了新的产品，参与整个产品的前期调研，数据分析汇报，后续产品设计研发的工作，越来越感觉要学习的东西很多，而自己的工作目标也发生了一定的变化，就是能够达到接手或者领导...
2017-12-22 11:31:20
787
转载 吸金500亿后的O2O，到底该如何变现？
2015年，是中国O2O创业者最为亢奋的一年。O2O市场尚未拥有造血能力，却被投资机构掩体并热捧。在资本巨浪的推动下，一场场颠覆O2O竞争格局的浪潮愈演愈烈。然并卵，当资本市场遇冷，投资浪潮退去，O2O理想情怀洒落“一地鸡毛”，原本“穿着皇帝新装”的O2O裸奔者清晰可见，没有裸泳的所剩无几。当500亿热钱烧完后，O2O领域并没有因为聚集了BAT等数十家大牌企业、数百位顶尖投资人、数千位金牌高管的豪华
2017-12-20 19:02:18
716
原创 【广告算法工程师入门 30】从RD的核心能力闲谈到增加广告收益的十八般武艺
【该文档已经整理到看云电子书：广告算法学习笔记】广告算法工程师入门系列的机制设计部分基本上已经总结完了，拖了好久，大部分内容都是点到为止，毕竟我理解的也不是很深入，和那些老司机们也没有办法比，很多内容还需要深入学习研究，而不是浮于表面，对于我来说，能够相对系统的总结这部分的内容已经很不容易了，希望对自己的学习和以后的发展有所帮助。【前方预警，本文有毛概的既视感，不喜慎入】机制部分的内容...
2017-12-12 23:50:57
3840
原创 【广告算法工程师入门 29】机制设计-关键词拍卖的创意优化，样式优选，高度控制等
创意优化“除非你的广告建立在伟大的创意之上，否则它就像夜航的船，不为人所注意。”—— 大卫·奥格威（David Ogilvy，1911－1999），现代广告业的奠基人，奥美公司创始人。因此，广告的创意的重要性不言而喻。广告的创意决定着广告点击的上限和转化的上限。因此创意优化不仅仅需要SEO，SEM，也需要广告系统的研发者共同来做。广告的创意就是呈现的内容，包括标题和文本，图片，字链，按钮，富媒体（
2017-12-12 22:51:44
777
原创 【广告算法工程师入门 28】机制设计-关键词拍卖的框架设计，门槛过滤，预算控制等
框架设计目前广告系统常常一次拍完所有的广告位，按照gsp进行排序计费。这时候广告的ctr一般预计的是广告在首位的ctr，这就导致广告先验和后验的点击率相差比较大，为了消除位置偏置的影响，有时候会引入coec特征。这种实现方法是基于点击可分离假设的。但是点击可分离假设在真实的环境下不一定满足，首先位次的预估不准，其次上下文广告是相互影响的。那最极端的例子，也是最优的选择就是对候选广告做全排列，得到所
2017-12-12 22:35:45
689
转载 URL特殊字符及编码值列表大全
大家上网的时候一定会看到很多这类情况有的网页地址都是%22%32%11%23%21等 这种机器语言恐怕只有机器能马上辨认吧现在我把大概知道的总结一下URL编码：怎样读取特殊字符 从外部文本载入到动态文本的时候，一些特殊字符（如&/%等）无法正常现实，有的符号还会导致这个符号后面的字符无法现实（如&），这时候我们就要将这些特殊字符进行URL编码，以下是各个特殊字符的URL对应编号： backsp
2017-11-28 12:57:45
7521
转载 分布式机器学习系统之 ANGEL
引自:http://www.ccf.org.cn/c/2017-08-16/603621.shtmlAngel: a new large-scale machine learning systemANGEL：一个新型的分布式机器学习系统阅读量：36崔斌,余乐乐收藏本文PDF在线浏览下载本文 混合并行分布式机器学习异构感知SGD算法引言当前，人工智能在多个领域的强势崛起，让人们领略到
2017-11-24 23:31:21
2949
转载 腾讯分布式机器学习系统sabaton和AnyEmbedding介绍
文章转自腾讯社交广告技术团队火光摇曳2016年下半年我们开发了一个分布式机器学习系统sabaton, 并将它运用到转化率预估和LookAlike业务上去, 取得了不错的效果. 详情链接继2016年下半年我们开发了分布式机器学习系统Sabaton并且成功应用于腾讯广告业务之后，2017年上半年我们又开发(推出)了分布式Embedding训练系统AnyEmbedding。基于腾讯多源异构数据现状，比如
2017-11-24 23:11:43
735
转载 百度网盟内容匹配广告和展示广告相关技术
第三期百度计算广告学沙龙( http://wenku.baidu.com/course/view/1488bfd5b9f3f90f76c61b8d ) 介绍了内容匹配广告和展示广告相关技术。本博客记录观看内容匹配广告部分的一些笔记， 绝大多数为原slide内容，只做简单的整理。背景 涉及四方：网民（Users） + 网站主 (Publishers) + 广告主（Advertisers） + 网盟 (
2017-11-24 00:07:44
1452
转载 搜索引擎广告的检索和匹配算法
1.搜索引擎广告的检索 广告检索的过程： 广告检索就是通过对给定的网民的信息需求，在广告库(Ad Set)中找到相关的广告，简单的来看，可以把Ad Retrieval当做是文本检索(TR)领域的一个应用。 文本检索的两种思路： Doc Selection(Classification) 和 Doc Ranking(Ranking)，在文件检索中，通常利用相似度
2017-11-23 23:58:53
7691
转载 解密Airbnb的定价算法
对于计划出租房屋的房主，你应该将房屋的租金设定为多少呢？或者对于租房的顾客而言，应该给自己的租房支付多少呢？不管是对于一次有计划的远足，还是一次说走就走的旅行，为租房付出多少才真正合适呢？回答这些问题并不容易。事实上，可以通过将潜在的租房列在我们网站—Airbnb上来实现，Airbnb是一家联系旅游人士和家有空房出租的房主的服务型网站，它可以为用户提供各式各样的住宿信息。在焦点小组，我们观察到人们在
2017-11-23 14:11:22
8255
原创 【广告算法工程师入门 27】机制设计-考虑用户体验的机制设计方法与实践
正如前文所说，搜索广告是涉及搜索引擎，广告主，用户三方的商业系统，搜索引擎以损失部分用户体验换取营收和利润，如果忽视用户体验，SE的长期利益会受损，因此在机制设计时，十分有必要考虑用户体验。首先需要量化用户体验，常用的指标有相关性，搜索满意度，点击满意度，着陆页质量度等。广告的用户体验量化指标，需要专门的数据标定，一般情况也可以通过半监督学习的方法进行处理。量化后的用户体验指标可以作为排序的一个因子
2017-11-06 11:41:05
522
原创 【广告算法工程师入门 26】机制设计-考虑客户ROI的机制设计方法与实践
ROI广告属于商业产品，为广告主宣传产品，提高营收服务。广告主在进行广告投放时，十分关注成本和转化的情况，也就是说投资回报比（ROI）是广告主的终极目标，投资回报率（ROI）=（收益-成本）/成本×100%。而目前大多数的出价表达上还主要是以点击进行出价，这是广告主与媒体方达到的一个折中方案。作为机制的设计方，之前仅仅靠增加点击，提高CTR的方法并没有着眼于广告主的转化，一些提高CTR涨点击的方法
2017-11-06 11:21:35
1027
原创 【广告算法工程师入门 25】机制设计-客户表达，智能出价和客户ROI优化
在机制的可表达性一文中，已经提到了客户表达的概念。 机制可表达性就是广告主参与机制设计过程，并影响机制结果的能力和程度。如广告主能够选择cpc以外的计费方式（cpm,cpa等），广告主是否能够通过动态竞价（或者智能出价）保证展现量，点击量，或者保证展现在第一个位次，或者说广告主能否对每个位次都能进行出价……机制设计者是游戏规则的制定者，让客户充分表达各自的需求，会提升拍卖效率。包括谷歌，百度，阿里
2017-11-06 10:52:31
988
原创 【广告算法工程师入门 24】机制设计-关键词拍卖的保留价设计与思考
终于腾出时间整理一下博客了，之前总感觉一些事情，比如说写博客挺简单的，但是真正动手写的时候才发现好难呀，很多东西也仅仅是浮于表面，缺乏真正去做的决心，也往往是先开个头儿，或者把框架搭起来，然后再补充！在搜索广告的机制设计中，关键词拍卖的保留价设计是一项十分重要和具体的工作，但是听说很多知名的互联网公司，其广告业务中甚至是没有保留价的。这就需要从源头考虑，为什么要设置保留价？之前学习过设置保留价可能使
2017-11-06 10:29:26
1027
1
原创 【广告算法工程师入门 23】机制设计-GSP机制下的收入优化
本文是对这篇文章的翻译和学习笔记： Revenue optimization in the generalized second-price auction作者：DAVID R. M. THOMPSON, LEYTON-BROWN 摘要基于GSP机制的广告拍卖已经成为事实标准，我们研究该机制下拍卖的收入优化问题。我们先测试几种GSP机制的变量（包括压缩因子和不同的保留价），研究怎么优化这些
2017-10-24 19:49:57
905
1
原创 【广告算法工程师入门 22】机制设计-传统机制设计演变与收入优化思考
机制设计的内容机制设计分配函数和计费函数，分配函数一般就是排序函数了，那就需要考虑为哪些东西排序（广告的样式，图片，广告本身等），排序函数的具体形式（线性，折线，曲线等），排序函数中的可调参数等，一般排序函数决定这分配函数的形式以及各种策略。 机制设计的方法均衡分析 之前学习的机制设计方法基本上都是在分析一种机制所能达到的均衡，均衡是对博弈的终止状态（稳定状态），在这种情况下可以精确地获得博
2017-10-16 19:44:35
842
原创 【广告算法工程师入门 21】机制设计-机制的可表达性
机制的可表达性在关键词拍卖中，大部分是点击计费的，并且广告主对所有广告位只出一个报价（即单一报价）。将这两个问题进行扩展，就涉及到机制的可表达性问题了。机制可表达性就是广告主参与机制设计过程，并影响机制结果的能力和程度。如广告主能够选择cpc以外的计费方式（cpm,cpa等），广告主是否能够通过动态竞价（或者智能出价）保证展现量，点击量，或者保证展现在第一个位次，或者说广告主能否对每个位次都能进行
2017-10-11 10:45:24
911
快速深度学习 大数据 极限学习机（简介）
2015-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人