Python Ecosystem之数据处理

高亮颜色说明：突出重点
个人觉得，：待核准个人观点是否有误
高亮颜色超链接

曲线平滑

从TensorBoard的summary中提取数据，并使用滑动平均法平滑曲线

20210915记：
  tensorboard_summary_data_process_statistics.py
  tensorboard_summary_data_process_smooth.py

• 从tensorflow的summary中提取数据，并进行平滑操作与显示_Strive_For_Future的博客-CSDN博客 20201015
• 提取Tensorboard的loss曲线平滑重画_hesongzefairy的博客-CSDN博客 20201215
• tensorboard平滑曲线代码 - 知乎 20200508

正态检验 (Normality Test)

• 正态检验 (Normality Test)——常见方法汇总与简述_Pterosaur_Zero的博客-CSDN博客 20210311

衡量数据的分散程度

20230411记：
  衡量数据的分散程度。谷歌检索"plot to measure the dispersion of data;"
  分散度量(Measures of Dispersion)度量数据的分散程度，即数据分布中的值有多远。范围(Range)、四分位距(IQR, Interquartile Range)、方差(Variance)和标准偏差(Standard Deviation/Squared Deviation)是用于理解数据分布的方法。

• Range = Highest_value – Lowest_value；
• IQR = Q3 - Q1；
• 方差度量数据集中每个数据点与平均值的距离；
• 标准差是原始值的方差的平方根，低标准差表示数据点接近均值。
• 平均绝对偏差(Mean Absolute Deviation)的问题在于，它不是可微分的，而且它在正态分布中不如平方偏差(Squared Deviation)所拥有的数学属性表现好(???)。
• 平方能够放大存在巨大偏差的数据点的影响。
• 总体方差的计算公式中是除以n，样本方差的计算公式中是除以n-1，'-1’表示丢失了一个自由度的意思，因为在已知n-1个样本的时候，剩余的那个样本的取值会受到样本均值的约束，而不会受到总体均值的约束。

参考：

• * Dispersion of Data : Range, IQR, Variance, Standard Deviation 20210429
• Chapter 6 Measures of Dispersion | An Introduction to Political and Social Data Analysis Using R

二级标题

  

待补充

  

待补充