2016百度云全国巡讲上海站回顾：营销云和百度搜索流量那些事

2016年9月2日下午，在上海·东锦江希尔顿逸林酒店，百度云2016全国巡讲上海站圆满落下帷幕。本次大会百度云邀请到Admaster、数据波创始人以及团队中资深技术专家莅临现场一同为大家百度天算平台与营销云行业解决方案、Admaster DMP的技术演进、数据驱动未来AD最强大脑DMP以及云端技术对程序化广告交易的提升等议题。与会者积极与现场的嘉宾互动，并从专家们的分享中收获有价值的技术知识和经验。

百度云高级产品经理安东岳：百度天算平台与营销云行业解决方案

演讲一开始，安东岳就为大家介绍了百度天算平台，并表示天算的目标就是两个字”智能”，如跟大家生活非常紧密的两个应用，即”百度外卖”和”度秘”。安东岳坦言，外卖并没有想象的那么简单，不仅仅是简单的送货，百度需要把控全程，具体去规划路径，最终给出精准的送达时间，这背后都有很深的数据清洗与机器学习算法作为支撑。而”度秘”它是一个非常聪明的机器人，用户可以问任何生活相关的问题，均能获得非常精确的答案，这其中同样需要算法做支撑，可谓智能是无处不在的。

百度云高级产品经理 安东岳

如何打造智能？安东岳表示，人的思维是靠现代计算和存储技术得到了延伸，在此之前只有一种演绎法，但演绎的方法无法带来生产力的巨大提升，发现事物的真谛，提高生产力，最有效的方法是一个科学方法。科学方法首先需要科学家去观察，从而提出假设并验证假设是否正确，并举例说明人类发现DNA携带遗传信息正是运用了科学方法。

科学方法中最核心的就是分析，分析数据的特征，数据可分为冷数据和热数据。冷数据是指沉淀下来在需要的时候调出来集中分析的数据，如电信、移动保存下来的账单；而热数据正是那些随时可能会用到的数据，如设备产生的数据，在线服务器缓存在内存中随时要用的数据等。数据本身又是非常复杂的，所以从分析中得到想要的信息并不是一件简单的事情。

而针对以上这些难题，安东岳表示，百度十几年来，在整个大数据领域做了很多产品，在数据的收集、存储、变形、分析、BI、展现、训练、预测的全流程都有多样的产品完全覆盖，且这些产品之间能够完美的协作。如一些高流量网站，一天产生的日志就有几TB，针对这些数据我们提供多种的采集方式，如普通公网，专线，硬盘快递等。百度还提供了专门的日志服务，用户只要定位和数据源，可以轻松的把数据传到云端。整个存储支持多种方式，无论数据是什么结构，百度都能支持，可提供完全托管式数据库服务。除了关系型与NoSQL数据库，百度还能提供一种类似于亚马逊S3的BOS存储服务，该产品不仅可支撑手机上使用百度云盘还支持百度文库，这些都是活跃用户过亿的产品。先把数据保存下来，然后进行清洗，百度搭建了世界上规模数一数二的Hadoop与Spark集群，并且预置了大多数社区版应用，在弱结构化数据转成能被分析的结构化数据后，可以通过百度自研的OLAP引擎进行即席的多维分析，指导商业智能，形成洞察，同时还能将数据导入百度机器学习平台，机型模型训练，然后预测业务，实现智能应用。

安东岳还为大家介绍了几个重点服务，托管式Hadoop/Spark：百度MapReduce是国内首个完全兼容开源Hadoop的大数据服务，方便用户使用MapReduce、Spark、HBase、Hive、Pig、Kafka、Hue、Zeppelin等进行大数据处理；百度Palo是PB级数据仓库，大数据的联机分析处理（OLAP）服务，提供稳定、高效、低成本的在线报表和多维分析服务；百度机器学习是百度自主研发的新一代机器学习平台，基于百度内部应用多年的机器学习算法库，提供使用的行业大数据解决方案；百度深度学习，Paddle针对海量数据提供的云端托管的分布式深度学习平台，助力客户轻松使用深度学习技术，打造智能应用和服务。

除此之外，百度在具体的智能化领域也提供智能服务，如百度领衔业界的智能语音识别、”度秘”智能问答系统、文字识别OCR、人脸识别BFR，这些都是可以潜入到客户的业务系统中，这些具体的行业也是整个天算平台能够直接覆盖到具体的平台中。

总体而言，百度天算实质上是一个将所有环节都考虑到一起，为合作伙伴提供便利的服务。

Admaster高级研发工程师邓强：Admaster DMP的技术演进

Admaster高级研发工程师邓强在演讲中表示，Admaster DMP技术演进差不多持续了3年，大致可分为3个阶段：

（2013-2014）属于初创期，该阶段原型迭代，不断在摸索
（2014-2015）属于成长期，该阶段业务开始推进，并持续改进
（2015-现在）属于稳定器，架构不断优化，性能提升

Admaster高级研发工程师 邓强

接下来邓强讲到在初创期和成长期所遇到的难题，即数据更新行为变化、几十亿的cookie、复杂的结构：json/map、工作流长、标签数量众多等；而成长期遇到的问题有秒级人群统计、人群实时导出、公共计算资源，如受其他作业的干扰、查询时间不可控等。

邓强坦言，当时可供借鉴的框架很少，如果有像百度（palo）这样的，可能要方便很多。但就当时的情况而言，只能选择HBase，把每天的数据增量更新到HBase里，把需要的人群统计上升完。同时也存在一些问题，如HBase访问较慢、整个集群占有资源特别高等。

而接下来需要Admaster应对的则是查询问题，邓强也详细了分析了在选型方面的考虑，这些对于同样遇到此类问题企业而言，有着非常好的借鉴作用。

数据波创始人宋久君：数据驱动未来AD最强大脑DMP

与Admaster在不断摸索中前进情况不同，宋久君坦言，数据波在成立之初就一直在应用百度云平台，数据波全系列产品和大数据，哪怕是一个（SAS）都是基于百度云做起来的。

数据波创始人 宋久君

宋久君对于数据波的定位非常清晰，所选择的核心点就是”数据波还是一个小学生”，因此无法和友商竞标，所以数据波选择抱百度云平台这样的大腿，从而实现数据分析平台的快速建立，并最终推向市场为客户提供移动大数据统计分析服务。

依据”人以类聚、物以群分”理念，数据波制定了十大标签和500+数据标签。宋久君讲到，大标签就是人物信息、定位、家庭环境等；500+数据则是表示对什么品牌有兴趣、使用什么品牌、哪类人群喜欢什么品牌等，基本上已经发生和将来可能发生都在这里面。

宋久君还表示，多维不止体现在你的用户基本，还表现在行为事件，如获取用户触发事件，依据用户喜好，停留事件，用户访问深度等；流量渠道细分分析，流量导入渠道分析，选择优质渠道，选择性投放；数据漏斗调整策略，精准识别渠道分别导入用户质量，分析用户流失率，数据跟踪流失原因等；人群价值，获取人群标签，发现用户差异对不同人群做内容分发。

百度云营销云技术经理陆飞：云端技术对程序化广告交易的提升

在演讲开始，陆飞便给大家介绍了程序化广告交易生态的过程。同时，构建程序化广告交易系统同样面临巨大挑战，如产品工程：复杂系统的设计和实现；算法工程：大数据应用；运维：大规模分布式系统。

除此之外，构建程序化广告交易系统还将面临工程性难题，如低延迟要求：＜100ms、模块多：投放、检索、监控、A/B test…、海量日志的收集与处理；策略性难题，如广告机制设计依赖领域知识、特征选取基于行业经验、在线预测加大难度系数；底层设施，如底层依赖分布式集群、机器学习平台、Hadoop/Spark集群运维难、机器学习平台技术壁垒高等。最后的结论则是难度太大，并且成本很高。

百度云营销云技术经理 陆飞

而其中百度营销云的RTB解决方案所具备的三个核心技术，解密了三个环节：

广告优选：用户仅需上传广告相关关键字，当有展现机会时，便可知道当前用户对不同类型广告的感兴趣程度，辅助DSP进行广告展现决策，提升广告投放效果；
CTR预估，帮助数字营销企业在准确预估点击率的基础上，根据预定的企业目标和ROI，有效进行广告出价与展现，使广告预算获得最大的效用；
A/B Test实验框架，提供多层流量实验框架，帮助数字营销企业在准确预测投放效果，使得投放策略调整可预测、可调整、可追踪。

百度云数字营销解决方案依托百度对数字营销服务市场多年的运营经验和技术积累，帮助搜索推广服务商及程序化交易生态中各类客户提升营销效率，实现用户数与收入的双重增长。

大会吸引大量开发者参加

与会嘉宾积极与演讲嘉宾互动

主办方精心准备的甜点和茶歇

大数据、云计算时代，如何做好数据分析、整理，百度云平台已经为客户打好基础，免去各种复杂的算法、技术等难题，快速赶超行业内友商发展进程。

2016百度云全国巡讲上海站已圆满落下帷幕，但新的征程即将开始，在9月9日百度云将携手行业客户转战深圳，为大家带来更多大数据、云计算技术干货，敬请期待！有关百度云更多详情，欢迎戳百度云官网了解。