【读书笔记】大数据 数据挖掘 相关

《Taming the big data tidal wave》 Bill Franks

大数据定义：超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理能力的数据。

除了容量大，大数据的大还体现在多样性、速度及复杂度等多个方面。

大数据会改变数据的分析策略和工具，但是不会改变人们的动机——从分析数据获取价值。

大数据最大的风险在于隐私纠纷。

本书偏重于商业化的大数据模式探讨···我恐怕不会再看下去了。

《Mining of massive datasets》Anand Rajaraman    Jeffrey David Ullman

数据挖掘 是 数据“模型”发现的过程。

建模：统计建模；机器学习；数据汇总（PageRank简单说是Web上的随机游走者在任意某时刻处于该页面的概率；聚类）；特征抽取（频繁项集-适用于多个小规模项集；相似项-协同过滤）

邦弗朗尼原理：在数据随机的假设前提下，计算所寻找事件出现的期望，如果这个期望远大于我们希望发现的数目，那么可以预期寻找的的任何事物都是臆造的，是统计假象。

相关知识：

1.词语在文档中的 重要性 TF.IDF指标

2.哈希函数

3.索引

4.二级缓存器

5.z自然对数的底e=2.7182818...   e是x趋向于无穷大时 （1+1/x）^x 的极限； e^x=1+x+x^2/2+x^3/(1*2*3)+x^4/(1*2*3*4)+...

6.幂定律 y=c*x^a

本书聚焦网络数据的挖掘，偏向技术和算法，里面介绍了很多网络数据挖掘的算法，还算基础，我选了几章读了。本来想写出来，不过发现别人已经写过了，就不再赘述。

这篇文章 很详细地介绍了聚类算法。