大数据的常见业务问题和业务场景

概述

搜索引擎概述

• 桥梁——引导用户找到所求
• 满足用户需求的过程
• 连接人与内容、人与服务
  
• 爬虫：数据收集中心，互联网世界的缩影
• 索引系统：分析整理爬虫收集到的资源，为检索系统提供数据
• 检索系统：从预处理好的资源中挑选用户最满意的结果最快最好的展现。

基于MapReduce的互联网网页大数据建库系统

• 将网页库下载到文件系统中形成网页文件（HTML）（HDFS）
• 通过Parser提炼、抽取原网页文件生成处理过的网页文件（HDFS）。
• Inverter对处理过的网页文件进行倒排后，建立索引生成小索引文件（HDFS）
• 索引合并后形成正式索引文件（HDFS）后对外进行服务

具体流程如下：

• 目的：建立供检索使用的索引和摘要
• 输入：网页
• 输出：索引和摘要
• 处理：多轮map-reduce
• 页面分析和处理（parser-extractor）
• 页面属性小库输出（splitter）
• 小库正排转倒排（invert-index）
• 小库合并大库（index merge）

什么是正排？什么是倒排？
答：从url解析出关键词排列叫做正排，从关键词索引到url排列叫倒排。

如何去除url不一样但页面内容一样的网页？
答：布隆过滤器（Bloom Filter）。

• 由一个很长的二进制和一系列随即映射函数组成
• 布隆过滤器可以用于检索一个元素是否在一个集合中
• 优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率。

去重是依靠已有的标记进行去重，只需要维护很小的过滤器文件，将新页面通过Hash后，对比过滤器文件中的数据，再判断是否重复即可

广告系统概述

广告：搜索场景、网盟场景、

• 自主搜索流量：淘宝直通车、百度搜索推广、Google AdWords
• 联盟（外部）流量：淘宝阿里妈妈、百度网盟推广、Google AdSense
• 品牌广告：钻石展位、百度精准广告
• 按成交计费：淘宝客

广告系统付费模式：

• 搜索广告点击计费（CPC）
• 展示广告展现计费（CPM）
• 淘宝客（CPS）
  
• 搜索广告：网民、广告主、搜索平台
• 广告触发：关键词表达需求、网民输入的query和广告主购买的keyword进行匹配。
• CTR预估（click/show）：点击率用户广告的排序和推左，保护网民的利益和提升搜索引擎的收益。
• 广告排序：关键词广告拍卖机制

平台要综合广告的质量、平台所获得的收益、用户的利益综合考量博弈，最终目标应是在不损害用户利益的条件下，保证平台的利润最大。

1. 关键词分析（nlp文本分析、中文分词、句相似度、意图分析、主题词）
2. 相关性分析（同义词、关联规则、宽泛匹配、用户偏好、cookie、session）
3. 检测数据库索引（短语匹配、业务过滤、倒排索引）
4. 广告展示（创意标题、描述、url）
5. 广告排序（根据 点击率 * 价格 等、选择高质量广告）

推荐系统概述

推荐系统主要可以分为以下三个部分：

• ONLINE——在线：对数据进行实时产生（存在妥协、对时效性要求较强）NoSQL、websever、
• NEARLINE——近线：storm（ms级）、sparkStreaming（秒级）
• OFFLINE——离线：批量跑全天的数据（耗时的算法和计算）mapreduce、spark、hive、mahout

部分案例具体说明：

• 离线挖掘出的有效数据，想办法快速提供服务，通过类似NoSQL中间介质进行交换。OFFline给定一个离线挖掘任务，将数据转至NoSQL（redis、memcache、couchbase、hbase、leveldb、mongod（特点：快）、NoSQL可以存储大量的数据），再将数据对接到websever。
• Online首先必须保证WebUI，数据来自于websever、nosql等。

抽象出三种推荐方式

• 用户（相似兴趣/好友）——用户（喜欢）——物品
• 用户（历史、关联）——物品——物品
• 用户（喜欢、具有）——特征（包含）——物品

用户行为数据——不同的搜索引擎——初始推荐结果——过滤——排名——推荐

一个具体的案例

某音乐推荐系统🎵目的：为用户推荐其他音乐

初级版本：

• 用户——》反作弊——》行为日记收集——》数据清洗——》结构化入库（HDFS、Hbase）——》数据挖掘平台（推荐、分类、聚类）——》（nosql）缓存数据库（好友关系、音乐榜单、相关音乐（key-value））——》在线搜索引擎——》WebUI《——用户

反作弊：恶意刷屏、同行竞争
行为日志收集：展现日志+点击日志
数据清洗：去除冗余数据、非结构化到结构化
结构化入库：用户行为数据（mid1、mid2、mid3）
数据挖掘平台：人物画像

总结：从用户处收集数据、分析、挖掘后又反之推荐给用户。

进阶版本： 加入内容提供商

• 内容提供商——》操作平台（内容管理系统CMS）——》发布系统——》结构化入库（物品元数据：music_id、desc、tag、local、style、img、url）
• 结构化入库——》报表系统——》内容管理系统（迭代优化）

再进阶版本： 加入工程师、技术人员（干活）（任务是优化系统）

• 监控系统（缓存数据库、在线检索、数据挖掘等）——》工程师——》统一配置服务器（配置资源）——》在线搜索引擎

再再进阶版本： 加入产品经理 PM

• 分析调研系统《——报表系统——》评估系统——》PM——》需求发布系统——》工程师

技术总结：

• WebUI：安卓、前端、IOS、HTML
• 在线搜索引擎：webpython、java、Thrift RPC
• 缓存数据库：redis、Hbase、MongoDB
• 数据挖掘平台：Mapreduce、Spark、tensorflow、caffe、storm
• 统一配置服务器：Zookeeper
• 监控系统：Nagios、Zabbix
• 结构化入库：HDFS、HBase、MySQL
• 数据清洗：ETL、Mapreduce、Spark
• 行为日志收集：Flume+Kafka+Storm+HDFS/HBase/MySQL
• 发布系统：MQ：Kafka、ActiveMQ
• 报表系统：Hive、SparkSQL
• 需求发布系统：Jira、Bugzilla