大数据应用概述

1.UGC:用户生成内容
2.大数据的特征：
体量大（volume）、多样性（variety）、价值密度低（value）、速度快（velocity）
3.搜索引擎的分类
大搜索
垂直搜索
基于语义的搜索
也可以分为元搜索引擎和集成搜索引擎
4.搜索引擎的基本步骤
爬取网页信息→信息获取→分词→外链分析→数据存储→结果获取→相关度排序
5.爬虫的要求
全面、快速、非重
爬虫的限制
有限的带宽和无限的网络、无法确定更新状态、不断变化的内容和URL、需要有礼貌的访问（不能给人家的服务器带来太大压力）
6.推荐系统的基本算法
CF协同过滤算法
①基于用户的过滤
易于实现但频繁计算
②基于物品的过滤
不需要频繁计算，不容易实现
聚类及相似度算法
①聚类算法：聚类的结果使同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大
关联规则算法
7.舆情系统架构
舆情规划→舆情采集→数据存储→舆情分析→形成舆情报告
8.社交网络的特点
海量用户、实时数据、完整数据
社交网络存在的挑战
自然语言的处理技术