随笔(一)

开始尝试使用博客的原因很简单。我本科就读于信息与计算科学专业，但直到硕士二年级，我才真正能体会到专业名称中的信息学、计算科学的含义。比我理应了解它的时间足足推后了三年。为了使这样的事情未来尽量少的发生，我试着将琐碎的学习过程与想法记录下来，帮助自己加深对内容的理解。

数学与信息

数学原理是人类对世界的认识，人们不断尝试从不同事件中提取出相同规律，人们利用数学语言记录传播信息，用于指导生产活动。

远古时期，信息爆炸初现，人们的大脑装不下全部信息，于是文字诞生。后来，生产方式进步，生产力增加，人类的财产增加，于是数字诞生。

数字最早诞生时，没有书面书写的形式，而是利用实体对比，如人的手指等，于是产生了计数系统中的位进制。后来科学技术不断发展，从石刻到布帛记录到纸张再到计算机，记录数字、数学原理的成本不断降低，极大促进了数学的发展。

我硕士就读于概率论与数理统计专业。随着网络时代的到来，信息量日益增多，信息处理技术更加复杂，在信息处理领域，概率与统计知识是基础和核心。其中概率论研究在概率测度下某集合的取值，用于衡量集合表示事件发生的可能性。数理统计学则是对已有的事实经验进行学习分析，利用观察到的信息估计总体性质。

在我接触的学习中，有序信息列多为时间序列。按时序把随机事件发展变化的过程记录下来即为时间序列数据。为了在有序的信息列中更好的体现“顺序性”，我们的计算可以使用条件概率。但当序列过长时，计算过于复杂，1906年，俄国数学家Markov (师从切比雪夫) 提出了一种偷懒但颇为有效的方法，即假设序列中任意 $w_i$出现的概率只与 $w_{i-1}$有关。这种假设在数学上成为马尔可夫假设。1936年，kolmogorov将此一般化到可数状态空间。这一假设在自然语言处理的过程中发挥了极大的优势。