【MLlib: Main Guide】Basic statistics

学习目标：

• 学习MLlib: Main Guide的Basic statistics。

---

学习内容：

Basic statistics的主要内容：
1、Correlation
2、Hypothesis testing——ChiSquareTest
3、Summarizer

---

Correlation

• Correlation：计算两个序列之间的相关性是统计学中的常见操作。在spark.ml模块中也提供了多个序列间的成对相关性的计算。目前支持计算Pearson相关性和Spearman相关性。

Hypothesis testing

• 假设检验：统计中强有力的工具，去检验结果是否显著。spark.ml中提供了Pearson’s Chi-squared tests去检验独立性。

Summarizer

• Summarizer：可以计算DataFrame的聚合统计量，包括列的最大值，最小值，均值，总计，方差，标准差，非零个数，总次数等。

参考网址：

[1] pyspark帮助文档：https://spark.apache.org/docs/latest/ml-features.html