- 博客(225)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 oCPC实践录 | 简单有效，oCPC逆系统控制
在）oCPC实践录 | 好难理解的oCPC成本控制算法（1中分析了控制策略直接设计为k=cpa_ratio是错误的。其中提到一句，是有一个k值是正确的，使得cpa_ratio=1，但这个k怎么计算呢？做惯模型的人可能会有一个想法，既然假设系统是线性，那么是不是可以构建模型cpa_ratio = alpha * k + beta, 通过采样获得样本计算获得alpha和beta, 然后当新cpa...
2019-11-17 21:12:11
2734
2
原创 oCPC实践录 | 好难理解的oCPC成本控制算法（1）
这是AITBOOK的第26篇原创文章媒体方选择按照点击计费的oCPC产品，而不是按照转化计费的CPA产品，为广告主优化成本，享受收入稳定性和系统便利性的同时，就要承担成本控制的任务，如果成本控制不住，为了维持客户，可能还需要向广告主赔付超出成本的部分。因此oCPC成本控制是一个很重要的事情。之前很多工作可能与控制无关，现在终于遇到控制问题，对于一个学控制科学与技术的程序员来说，有种莫名的亲切...
2019-11-16 14:44:36
3004
2
原创 oCPC实践录 | 摸石头过河，oCPC先跑起来再说
oCPC才开始的实践基本上是摸着石头过河，不断测试实验。不过也可以参考已有的oCPC产品设计，oCPC首要需要解决的是转化目标和转化数据。在解决转化数据之前，可以先看一下申探社：深入互联网广告中的出价模式（上）— 基础出价模式这篇文章，熟悉一下基本的出价原理。其中"四点三率"把广告出价模式统一起来，"四点"是竞价点、计费点、出价点，考核点。CPM广告的竞价点计费点出价点都是一致的；CPC广告的计...
2019-11-14 00:35:58
1610
原创 oCPC实践录 | 谁会阻止你做oCPC?
今天本来很累的，不想写文章，但是不吐不快，十分感谢我的335名读者可以听我扯这些没用的。前面一系列文章都在说oCPC的优势，正是因为这些优势的存在，会触动一些人的利益，他们会极力阻止oCPC产品及其升级。所以在写oCPC具体实践之前，还是看看谁会阻止你做oCPC吧，以备后患。oCPC的本质是量化流量价值，实现最精细化的广告投放，所以无论公司内部还是外部都有一些人会阻止你或者不使用oCPC，这里仅...
2019-11-06 23:34:05
1429
1
原创 oCPC实践录 | oCPC产品设计与出价原理（2）
在上篇文章oCPC实践录 | oCPC产品设计与出价原理（1）中已经提到了oCPC产品设计的前两个关键点（1）转化目标和给定成本（2）模型，这些都是oCPC产品做好的必要条件，本篇讨论（3）怎么出价保成本（4）oCPC的深层意义。关于转化目标和给定成本问题，再补充一点，很多人认为转化越靠前，对媒体方越有利，对广告主越不利，比如说在媒体方看来，计费方式的优先排序是CPM > CPC >...
2019-11-02 22:50:55
2061
原创 oCPC实践录 | oCPC产品设计与出价原理（1）
文章这周都没有更新了，工作有点忙。终于写到正题了，写oCPC产品设计我是十分恐慌，自己并非PM，可能表述没有章法，但是希望能够把道理讲清楚。在前面的文章中，我们已经反复介绍过多次，互联网广告的本质是流量买卖，oCPC的本质是 流量价值通过转化率进行量化，实现最精细化的广告投放。 如果能够理解这一点，oCPC产品设计及其升级方向基本上就没问题了，剩下的就是具体实现了。我最近也关注了一些SEM和写...
2019-11-02 00:35:51
3362
原创 oCPC实践录 | 成本优化策略之eCPC（3）
接着oCPC实践录 | 成本优化策略之eCPC(2)中的推论（2）推导eCPC的出价公式。先纠正下前文中推论（2）的表述，正确的表述为：如果要符合保转化成本的准则，只要保证媒体调整出价得到的回报投入比（ROI）不低于之前广告主回报投入比(ROI)即可。接下来的推导为淘宝展示广告oCPC出价策略，我这里将其定义为eCPC出价策略，该策略是基于推论（2）进行推导的。可参看解读文章淘宝展示广告中的OC...
2019-10-26 22:10:47
2280
1
原创 oCPC实践录 | 成本优化策略之eCPC(2)
在oCPC实践录 | 成本优化策略之eCPC(1)中引出两种根据转化率进行调价的方式。无论哪种方式，媒体方帮广告主出价都需要一个准则：保证广告主的转化成本。因为oCPC需要广告按照媒体方定义的转化目标给定转化成本，直接该成本引入出价就行，通过调整出价使得广告主真实的转化成本逼近广告主给定的转化成本即可（后续文章会介绍出价方法）。但是eCPC不需要广告主表达成本，媒体方缺乏对广告主转化成本的数据，...
2019-10-26 20:11:42
2283
原创 oCPC实践录 | 成本优化策略之eCPC(1)
我又被CVR门槛坑了！最近有同学问我在忙啥？我一直在忙着打破前面文章oCPC实践录 | 成本优化策略之CVR门槛（2）说的"CVR门槛"死局问题。在那里已经提到了，使用CVR门槛产品，广告主可以获取高转化流量，进而优化转化成本，但随着产品覆盖面逐步变大，广告主和媒体方会陷入"死局"，而破局之法就是高转化流量出高价，低转化流量出低价。因为现在公司转化率模型的泛化能力和实时性均比较差，缺乏用户一段...
2019-10-25 00:16:43
2977
原创 oCPC实践录 | 成本优化策略之CVR门槛（2）
在上篇文章oCPC实践录 | 成本优化策略之CVR门槛（1）中，设计CVR门槛由广告主控制的成本优化产品，通过这个产品，广告主可以根据自己的实际需求，调整CVR门槛，获取自己想要的那部分流量，媒体方仅仅需要设置一个最高门槛和预估转化率就行，十分简单有效。但随着产品覆盖用户越来越多，消费越来越大，会使得广告主和媒体方陷入成本优化的死局。不得不发出这样的疑问，CVR门槛由媒体方控制，不向广告主披露是...
2019-10-20 23:06:22
1556
原创 oCPC实践录 | 成本优化策略之CVR门槛（1）
北京秋天的周末，刚下过一场小雨，外面凉飕飕的。我宅在家里，吃着脆甜的冬枣，剥着三红柚子，正想着要不要写一下文章。突然电话响起，老板打电话过来说运营要测试一下广告的落地页，需要下调CVR门槛。原本以为就是配置一下参数就可以了，但想起昨天测试的数据，让我犹豫了，这个测试是否会带来什么影响的，仔细一想极有可能导致广告收入在悄无声息中下跌。经过一番讨论之后，确定了初步的测试方案，然后决定写《成本优化策...
2019-10-13 22:12:46
1835
原创 oCPC实践录 | 糟糕，广告主成本超了！
在 oCPC实践录 | 没有oCPC怎么做成本优化？中分析了在没有oCPC的情况下，广告主怎么做成本优化。对于媒体方来说，因为拥有用户和广告主的数据，有更多的方法来帮助广告主做成本优化。我们把关注目光回退到 oCPC实践录 | 我还是做oCPC吧!，这个时候Q公司大部分广告主还没有开通oCPC，部分广告主转化成本居高不下，甚至需要实时关注效果，调整价格等，优化转化成本的期望强烈。那媒体方有哪些操...
2019-10-12 00:27:48
1840
原创 oCPC实践录 | 没有oCPC怎么做成本优化？
过了十一，文章更新的速度有点慢了，主要是工作有点忙，现在的oCPC处于攻坚克难的关键时刻，这边oCPC产品设计和功能实现上一点也不比竞争对手差，只不过转化率模型效果可提升的空间很大，与竞对的差距不小。重新回顾一下，oCPC通过预估转化率量化流量价值，实现广告的最精细化投放。oCPC产品向转化率预估模型的预测结果至少提出三点苛刻的要求：（1）序关系要对，高转化流量预估值要高，低转化流量预估值要低，...
2019-10-11 00:04:07
2148
原创 oCPC实践录 | 重新理解oCPC-出价方式（2)
在oCPC实践录 | 重新理解oCPC-出价方式（1)中提到媒体方通过使用广告主回传的转化转化，构建转化率预估模型，在线预估每个流量对每个广告的转化率，根据转化率进行出价，承担起原本应该承担的流量价值评估和出价的责任。媒体怎么预估转化率呢？模型的问题在这里不重点介绍，简要说明一下，与预估点击率基本一样，都需要考虑广告，用户，媒体三方面的因素，给出一个预测值。广告方面可能会加入广告的标题内容样式，...
2019-09-28 23:41:32
2692
1
原创 oCPC实践录 | 重新理解oCPC之出价方式（1)
最近我把文章发在一些几个媒体上，争取引一些流量过来。测试来测试去，还是CSDN的效果好点，并且发现其中一篇文章oCPC实践录 | 我还是做oCPC吧！的阅读量比其他文章的阅读量高多了，我仔细分析了一下主要原因是"做oCPC"这个关键词在百度搜索上比较常见，并且我的文章可以排到第三位。其他文章的标题过于生僻就没有流量了。看来只有亲自做一些"采购"流量的事情，才知道广告主是多么不容易。最近有两个读者...
2019-09-28 10:22:29
4185
1
原创 oCPC实践录 | 重新理解oCPC之量化流量价值
周末的时候把文章在知乎专栏也同步了一下，希望能够增加自己的粉丝量，尽可能接触到更多的流量。虽然不用花钱去购买这些流量，但也要付出时间和精力来维护，心里还是会核算一下成本的。同样的，广告主投放互联网广告，无论采用哪种计费方式，核算成本是很重要的内容。广告主对投放效果要求的日趋严格，驱动着广告算法技术的不断升级。在计算广告专栏中提到互联网广告的本质是流量买卖，在这场买卖中，媒体方，广告主，用户各有...
2019-09-24 09:18:32
2358
原创 oCPC实践录 | 我还是做oCPC吧!
去年12月底，我离开B公司来到Q公司，这是我第一次跳槽，当时有几个公司给了offer，主要纠结点是要不要继续做机制工作。在B公司已经做了大半年搜索广告的oCPC了，主要是开发线上代码和线下的数据流等工作，与产品、运营、销售几乎没有接触。在与同事的讨论中，让我逐步了解到oCPC的本质是量化流量价值，实现最精细化的广告投放。在后来的选择中，我越来越意识到还是先做自己擅长的事情比较好，想凭借对oCPC的...
2019-09-21 22:31:12
2453
原创 计算广告 | 互联网广告的售卖方式（3）
在计算广告 | 互联网广告的售卖方式（2）提到，互联网广告中的流量买卖逐步演变为拍卖的形式，流量拍卖成为满足双方利益的交易形式。既然提到利益，还是需要先分析一下在互联网广告投放过程中，媒体、广告主、用户的三方利益是什么？媒体方的利益是在不伤害用户体验的情况下，通过投放广告获得收入，最好能够最准确刻画流量的价值，将该流量分配给最能够产生价值并为自己赚取最大收入的广告主手中，实现最完美的匹配；追求长...
2019-09-18 00:40:34
581
原创 计算广告 | 互联网广告的售卖方式（2）
在计算广告 | 互联网广告的售卖方式（1）中提到定向广告是流量精细化售卖的重要起点，与传统广告有了本质的不同。无论是媒体方，还是广告主在广告的交易过程中，均发生一些变化。对于媒体方而言，需要解决流量的划分、分配、定价的问题。互联网广告发展的初期，流量的划分往往通过时段、地域、人群性别、年龄、兴趣等定向标签完成划分，前期的广告因为需要保量，防止广告主精选流量，所以划分不是精细。流量分配需要根据广告...
2019-09-12 00:43:19
501
原创 oCPC实践录 | 开篇语
在计算广告 | 互联网广告的售卖方式（1）中提到，我一直在做互联网广告的一个产品oCPC。在和团队的不断沟通交流中，对于oCPC产品不断有新的认知，学到了很多知识。在现公司的现有状况下，能够把oCPC做起来是出乎意料的，特别是从零起步就更难上加难。oCPC产品不同于其他商业产品，它几乎将用户、广告主、销售、运营、模型、策略等紧密的联系起来，能够反映整个商业团队的整体水平。在整个过程中，有很多有价值...
2019-09-11 00:33:33
2295
原创 计算广告 | 互联网广告的售卖方式（1）
从18年6月份至今，我大部分的工作是在做一个产品oCPC(optimized CPC)，之前一直认为oCPC就是一个帮广告主出价的简单工具，可做的东西不多，但后来的学习和实践，在与广告主的各种博弈过程中，改变了我之前的想法。特别是当看到oCPC产品从消费为零做到覆盖整体收入的一半时，我对互联网广告的流量价值和售卖方法有更清楚的认识。在上篇文章中计算广告 | 互联网广告的商业模式（2）介绍到，互联...
2019-09-07 00:44:42
1084
原创 计算广告 | 互联网广告的商业模式（2）
上次发了计算广告 | 互联网广告的商业模式（1）后，看到有同学留言问"什么时候出干货？"。说实在的，现在写的才是真正的干货，对于这部分很熟悉的同学可以再看看并耐心等待。互联网公司的广告系统是十分复杂的商业系统，支撑着公司的主要收入，如果不把其中赚钱的原理介绍清楚，直接堆技术点，是没有意义的。一方面互联网广告业务变化很快，技术点可能很快过时，而且会发现即使系统错误百出，策略设计不甚合理，广告系统这...
2019-09-05 00:43:00
729
原创 计算广告 | 互联网广告的商业模式（1）
从事互联网广告相关工作已经三年多，一直在关注和学习广告圈的人和事。可能是因为典型摩羯座的原因，对于很多事情都想刨根问底，特别是对于互联网广告的商业模式，总想研究透彻。每当圈外人问我是做什么工作的时候，我就很难解释，简单说是做广告的话，听者脑海中可能立马浮现起电视剧中做广告设计的画面：西装革履，拿着笔，抱着广告方案，站在屏幕前给一群人讲着别具一格的创意，畅想着广告带来的完美效果。可惜我不是广告设计...
2019-09-03 00:37:13
899
原创 计算广告 | 做几件让自己满意的事情
上周出差在飞机上翻开了几本杂志，出于职业的敏感，专门看看其中的广告。有一个营销广告很有意思，上面写着『专业营销培训，一天课程，上午理论，下午实战演练，30万』，内心感叹这个真是厉害了。转而一想，我前年申请公众号的时候，有个公众号被百度以1亿的价格收购了，也不觉着这个有多贵了。公众号的创建者凭借几篇自创的营销理论文章，一跃成为百度的副总裁，享尽荣光，可短短两年不到，就离职百度，不知道有什么产出（百度...
2019-08-31 00:09:11
388
转载 23种设计模式全解析
转载来自：https://www.cnblogs.com/geek6/p/3951677.html23种设计模式全解析一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察...
2018-12-17 16:46:40
310
原创 【强化学习笔记】9.1 基于确定性策略搜索的强化学习方法
前文介绍的策略梯度方法和TRPO方法是随机策略的方法，所谓随机策略就是在确定性策略的基础上添加上随机项。当然强化学习也可以直接使用确定性策略。确定性策略就是对于相同的策略，每种状态对应唯一确定的输出，这样需要采样的数据少，算法的效率高，但是确定性策略缺乏探索和改善的能力，因此基于确定性策略搜索的强化学习方法（DPG）往往采用异策略实现，即行动策略和评估策略不是同一个策略，如行动策略采用随机策略，以...
2018-08-04 23:44:59
1788
原创 【强化学习笔记】8.1 基于置信域策略优化的强化学习方法
在【强化学习笔记】7.1 基于策略梯度的强化学习方法中介绍的策略梯度方法存在步长选取的难题，Abbeel提出基于置信域策略优化的强化学习方法（TRPO）,正面解决步长问题。首先需要确定什么是合适的步长，最基本的想法，合适的步长是当策略更新后，回报函数的值不能变差。 公式的推导还是请看原版书的作者博客吧！自己也没有看懂！。。。 强化学习进阶 第七讲 TRPO参考书籍：深入浅出强化学习原理...
2018-08-04 23:32:54
1658
原创 【强化学习笔记】7.1 基于策略梯度的强化学习方法
之前学习的强化学习方法是值函数的方法，目标是求取最优策略（是状态空间到动作空间的一个映射），而之前的方法主要是针对有限动作空间的情况，对于连续动作空间，需要考虑使用策略梯度的强化学习方法。策略梯度方法是指将策略参数化πθ(s)πθ(s)\pi _{\theta}(s),表示连续空间的策略，通过优化参数θθ\theta使得累积回报E[∑Ht=0R(st)|πθ]E[∑t=0HR(st)|πθ]E...
2018-07-13 00:17:02
2008
1
转载 强化学习实验环境 I (MuJoCo, OpenAI Gym, rllab, DeepMind Lab, TORCS, PySC2)
转载：http://blog.csdn.net/jinzhuojun/article/details/77144590和其它的机器学习方向一样，强化学习（Reinforcement Learning）也有一些经典的实验场景，像Mountain-Car，Cart-Pole等。话说很久以前，因为没有统一的开发测试平台，大家都会自己实现，有用C/C++的，有用Python，还有用Matlab的。所以...
2018-07-12 17:34:31
4458
原创 【强化学习笔记】6.6 基于值函数逼近的强化学习方法-TD Q-learning非线性逼近softmax代码实现
基于值函数逼近的强化学习方法-TD Q-learning非线性逼近原理见【强化学习笔记】6.1 基于值函数逼近的强化学习方法针对一个迷宫问题，设计TD Q-learning非线性逼近算法（异策略）。 迷宫图示见下图，其中红色部分为障碍物，绿色部分为出口： 使用的模型是：非线性模型（两层神经网络） 输入是状态的特征，这里是25维的one-hot编码 输出是动作对应的4维数组 ...
2018-06-30 15:31:19
1194
原创 【强化学习笔记】6.7 基于值函数逼近的强化学习方法-深度强化学习网络(DQN)
深度强化学习网络(DQN)深度强化学习网络(DQN)是一种基于值函数逼近的强化学习方法，是在Q_learning基础上改进的，主要的改进有三个：（1）利用深度卷积神经网络逼近行为值函数，DQN使用的网络结构为三个卷积层和两个全连接层，输入是棋盘图像，输出是动作对应的概率。 （2）利用经验回放（均匀采样）训练强化学习的学习过程，通过对历史数据的均匀采样，实现数据的历史回放，打破采集...
2018-06-28 23:49:29
2893
1
原创 【强化学习笔记】6.5 基于值函数逼近的强化学习方法-TD Q-learning非线性逼近代码实现
基于值函数逼近的强化学习方法-TD Q-learning非线性逼近原理见【强化学习笔记】6.1 基于值函数逼近的强化学习方法针对一个迷宫问题，设计TD Q-learning非线性逼近算法（异策略）。 迷宫图示见下图，其中红色部分为障碍物，绿色部分为出口： 使用的模型是：非线性模型（两层神经网络） 输入是状态的特征，这里是25维的one-hot编码 输出是动作对应的4维数组 使...
2018-06-21 18:10:50
1771
原创 【强化学习笔记】6.4 基于值函数逼近的强化学习方法-TD Q-learning线性逼近代码实现
基于值函数逼近的强化学习方法-TD Sarsa算法线性逼近原理见【强化学习笔记】6.1 基于值函数逼近的强化学习方法针对一个迷宫问题，设计TD Q-learning线性逼近算法（异策略）。 迷宫图示见下图，其中红色部分为障碍物，绿色部分为出口： 使用的模型是：线性模型 输入是状态的特征，这里是25维的one-hot编码 输出是动作对应的4维数组 使用tensorflow进行S...
2018-06-19 19:10:26
2361
原创 【强化学习笔记】6.3 基于值函数逼近的强化学习方法-TD Sarsa算法线性逼近代码实现
基于值函数逼近的强化学习方法-TD Sarsa算法线性逼近原理见【强化学习笔记】6.1 基于值函数逼近的强化学习方法待更
2018-06-15 11:19:12
1419
2
原创 【强化学习笔记】6.2 基于值函数逼近的强化学习方法-蒙特卡洛线性逼近代码实现
基于值函数逼近的强化学习方法-蒙特卡洛线性逼近原理见【强化学习笔记】6.1 基于值函数逼近的强化学习方法。针对一个迷宫问题，设计蒙特卡洛线性逼近算法。 迷宫图示见下图，其中红色部分为障碍物，绿色部分为出口： 使用的模型是：线性模型 输入是状态的特征，这里是25维的one-hot编码 输出是动作对应的4维数组 使用tensorflow进行SDG训练。 （踩过的坑：输入输出设计...
2018-06-15 10:42:53
1582
1
原创 【强化学习笔记】6.1 基于值函数逼近的强化学习方法
值函数动态规划，蒙特卡洛和时间差分的强化学习，均遵循基本的步骤：先评估值函数，然后根据值函数改进策略。之前介绍的方法也有一个前提条件即状态和行为是离散的，状态空间和行为空间有限，状态值函数为一个索引，状态-行为值函数为二维表格，因此也被成为表格型强化学习。如果状态或者状态-行为的维度多大，比如状态为连续空间，那么就需要考虑逼近值函数了，之后仍然采用策略迭代或者值迭代的方法进行强化学...
2018-06-11 23:46:47
2613
原创 【强化学习笔记】5.3 无模型的强化学习方法-时间差分之Q_learning算法代码实现
时间差分之Sarsa算法代码实现 原理见【强化学习笔记】5.1 无模型的强化学习方法-时间差分算法#!/usr/bin/env python# -*- coding:utf-8 -*-#import gymimport randomimport numpy as npclass GriDMdp: def __init__(s): s.gamma...
2018-06-11 20:22:49
993
原创 【强化学习笔记】5.2 无模型的强化学习方法-时间差分之Sarsa算法代码实现
时间差分之Sarsa算法代码实现 原理见【强化学习笔记】5.1 无模型的强化学习方法-时间差分算法
2018-06-11 20:12:34
551
原创 【强化学习笔记】4.4 无模型的强化学习方法-蒙特卡罗算法与重要性采样代码实现
原理部分请参见【强化学习笔记】4.3 无模型的强化学习方法-蒙特卡罗算法与重要性采样
2018-06-11 17:26:59
1427
原创 【强化学习笔记】4.2 无模型的强化学习方法-蒙特卡罗算法编程实现
本文给出基于蒙特卡洛的强化学习方法（随机策略计算状态值函数）和基于蒙特卡洛的强化学习方法（ε−greedy策略计算状态行为值函数）两种方法的编程实现。 问题模型是迷宫问题。 基于蒙特卡洛的强化学习方法（随机策略计算状态值函数）#!/usr/bin/env python# -*- coding:utf-8 -*-#import gymimport random#import...
2018-06-11 16:14:26
2520
2
快速深度学习 大数据 极限学习机（简介）
2015-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人