互联网大数据挖掘与处理

1、关于文本挖掘首先需要考虑的是词频TF IDF

TF Term Frequency  TFi=单词i在文档j出现的次数/单词k在文档j中出现的最大次数       主要实现单词i的规范化

TF 表现出 一个词在一片文档中出现的次数越多，则越重要。

IDF 主要的意思就是，如果一个单词在多篇文档中出现则显得不那么重要

IDF=log2（N/ni）N 是所有文档的总数 ni是出现单词i的文档的总数

总之：一个词在一片文档中的重要程度可以使用TFi*IDFi来计算，如果值很大，则该词就更能表示该文档

2、索引

一般索引是为了加快查找速度，而产生的数据结构。

我们一般使用Hash算法，二叉树，线索树，线段树，R树，B树等等，加快记录的查询

3、Hash函数

在Java中我们可以使用HashMap 或者HashTable来实现Hash算法的场景。

底层的实现主要就是一个数组，数组的每一个元素就是一个链表，当我们将Key先通过hash算法，映射到桶中，然后放入链表。如果在查询的时候，桶中有多个

元素，则需要使用equals算法查看该是是否相等。

4、幂定律的使用

y=cx^a

随着x的变大y逐渐变小

很多互联网的情景都满足幂定律的