《Taming the big data tidal wave》 Bill Franks
大数据定义:超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理能力的数据。
除了容量大,大数据的大还体现在多样性、速度及复杂度等多个方面。
大数据会改变数据的分析策略和工具,但是不会改变人们的动机——从分析数据获取价值。
大数据最大的风险在于隐私纠纷。
本书偏重于商业化的大数据模式探讨···我恐怕不会再看下去了。
《Mining of massive datasets》Anand Rajaraman Jeffrey David Ullman
数据挖掘 是 数据“模型”发现的过程。
建模:统计建模;机器学习;数据汇总(PageRank简单说是Web上的随机游走者在任意某时刻处于该页面的概率;聚类);特征抽取(频繁项集-适用于多个小规模项集;相似项-协同过滤)
邦弗朗尼原理:在数据随机的假设前提下,计算所寻找事件出现的期望,如果这个期望远大于我们希望发现的数目,那么可以预期寻找的的任何事物都是臆造的,是统计假象。
相关知识:
1.词语在文档中的 重要性 TF.IDF指标
2.哈希函数
3.索引
4.二级缓存器
5.z自然对数的底e=2.7182818... e是x趋向于无穷大时 (1+1/x)^x 的极限; e^x=1+x+x^2/2+x^3/(1*2*3)+x^4/(1*2*3*4)+...
6.幂定律 y=c*x^a
本书聚焦网络数据的挖掘,偏向技术和算法,里面介绍了很多网络数据挖掘的算法,还算基础,我选了几章读了。本来想写出来,不过发现别人已经写过了,就不再赘述。
这篇文章 很详细地介绍了聚类算法。