以下文章内容,来自草堂君的新书《人人都会数据分析-从生活实例学统计》。因为新书中增添和细化了很多知识点,所以草堂君会逐步将这些内容补充到统计基础导航页中来,帮助大家建立数据分析思维。限于篇幅,只截取书中部分内容。
在数据时代的背景下,数据分析能力将会成为人们必不可少的基本技能,它既能够帮助人们在职场中提升自己的就业竞争力,又能够成为人们解决日常生活问题的好帮手。此外,数据分析师已经成为绝大多数公司的必备关键岗位。数据分析师不可能在短时间内快速培养而成,与医生一样,这是一个对经验与技术都有高度要求的职业,想要成为一个优秀的数据分析师,需要有持续不断的学习能力、生活经验以及对事物孜孜不倦的探索精神。
数据分析师的基本技能
在文章《人人都应该成为数据分析师》介绍了数据分析的六个步骤,能够快速和高质量地完成数据分析的六个步骤是对数据分析师的基本要求。达到基本要求需要数据分析人员掌握每个步骤相应的软硬件应用能力和数据分析的理论基础。下面按数据分析的步骤顺序介绍做好数据分析的几项基本能力。
熟悉数据分析背景
数据分析的两个基本前提:第一,清楚地知道需要分析什么数据?第二,想要得到什么数据分析结果?这两个问题看似是理所当然的大废话,其实不然,它们需要建立在数据分析者对数据分析背景有清楚了解和认知的基础之上。正所谓“磨刀不误砍柴工”,数据分析过程也是一样,能够熟悉和了解数据分析的背景是做好数据分析的前提。数据分析的根本目的是了解生活并预测生活,如果脱离实际谈数据分析,很容易犯形而上的错误,甚至会犯很多低级的常识性错误。
掌握数据采集工具
清楚知道需要采集哪些数据以后,第二步就是采集这些数据。目前采集数据的工具包括各种软件、硬件和调查问卷等。需要会使用的硬件有前面介绍过的各类传感器、摄像头、手机等数据采集设备,这些设备能够采集各种数值化的结构数据和非结构化的照片、声音和图像等数据。数据采集软件主要用于互联网数据的采集,例如,Python能够快速地采集(爬取)网页上的数据。调查问卷主要用于人们主观意愿数据的采集,一份好的调查问卷能够将人们的真实意愿准确地采集下来。所以,设计调查问卷也是很多数据分析师需要掌握的数据分析能力。
统计分析理论基础
无论是结构化的数值数据,还是非结构化的照片和声音数据,要想能够快速准确地对它们进行分析,都需要将它们量化成数值数据,才能够运用统计分析基础对它们进行分析,所以统计知识是数据分析的理论基础。大多数情况下,一个完整的数据分析咨询项目,数据分析过程的采集步骤会由专人完成,数据分析师只需对采集回来的数据进行处理和分析即可,所以统计分析基础知识是数据分析师必须要掌握的基本技能。
数据分析软件
应用统计学知识对数据进行分析的过程不可避免地会涉及到大量的数据运算,过去在没有电子设备的年代,靠的是纸和笔,后来是算盘和计算器,直到现在的计算机和超级计算机,运算时间有了极大的缩短。数据分析软件能够在数据分析师的操作下瞬间输出相应的数据分析结果,提高数据分析的效率。现在的数据分析软件功能越来越完备,甚至覆盖了数据分析过程的所有六个步骤。例如,某些针对制造业的数据分析软件,能够进行生产现场数据的实时采集、清洗、存储、分析和最后结果的展现,当然,这样的数据分析软件只能用于分析场景稳定的情况,数据分析师预先设计好数据分析模型,计算机负责运行即可。由此可见,熟练掌握数据分析软件的使用也是数据分析师必备的技能之一。数据分析软件有很多,不同行业的数据分析人员只需要熟练掌握适合自己行业的数据分析软件即可,不必追求掌握所有的数据分析软件。
统计理论基础
通过以上内容的学习可以知道,掌握统计理论基础是成为数据分析师的第一步,这也是本书在接下来的篇章中重点介绍的内容。讲述统计理论基础的学科是统计学,根据不同的应用场景,统计学形成了庞大的学科体系(回顾图1-8)。因为应用统计学介绍的是现实生产和生活中常用的数据统计分析技术,因此,学习统计基础理论应该从应用统计学这个节点入手,应用统计学主要包括描述性统计和推断性统计两大部分,图1-14是数据分析的统计理论基础框架,本书接下来的章节内容将会围绕这个框架进行介绍。
总结一下
数据分析已经逐渐成为人们的基本技能之一。虽然数据分析不是一个多么高深的技能,但是想要精通并能用于工作和生活,为工作和生活服务却并不容易实现。随着科学技术的进步和数据时代的来临,数据分析的能力范畴也进一步扩展,它需要将社会生活经验、数据分析理论和现代计算机技术有机地结合在一起,才能发挥出数据分析的最大威力。不过,千言万语,万变不离其宗,统计分析基础是数据分析能力的重中之重,是数据分析爱好者首先需要掌握的能力。
温馨提示:
数据分析课程私人定制,一对一辅导,添加微信(possitive2)咨询!
生活统计学QQ群:134373751,用于分享文章提到的各种案例资料、软件、数据文件等。
生活统计学微信交流群,用于各自行业的数据研究项目及其成果交流分享;由于人数大于100人,请添加微信possitive2,拉您入群。
数据分析咨询,请点击首页下方“互动咨询”板块,获取咨询流程!