世界经济论坛报告:https://www.weforum.org/reports
普华永道行业报告:https://www.pwccn.com/zh/research-a
数据存储
企业常用的存储数据的数据库有哪些?不同数据库的存储区别又有哪些?下面跟我一起来了解常见数据库:
Access数据库:是一个关系型数据库管理系统;本地桌面型数据库,存储的数据量较少,是小型的数据库;查询语句为SQL。
MYSQL数据库:是一个关系型数据库管理系统;是开源的,总体拥有成本低;支持多种操作系统;
SQL Server 数据库:是一个关系型数据库管理系统;是非开源的;中型的数据库;
Oracle数据库:是一个关系型数据库管理系统;不是开源的;支持多种操作系统;
Hive 数据库:是非关系型数据库管理系统;数据规模大;主要进行离线的大数据分析;查询语句为HQL;
以上就是几种常见的数据库及介绍,方便大家在做数据分析的时候提取数据。
数据清洗
数据清洗是利用相关技术将“脏”数据转换为满足质量要求的数据。下面通过一张图描述数据清洗的原理。
从图中可以看出,同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值都会导致“脏”数据出现,通过定义好的数据清洗策略和清洗规则(即数理统计技术、数据挖掘技术等清洗策略)对“脏”数据进行清洗,得到满足数据质量要求的数据。
需要注意的是,数据清洗的目的是解决“脏”数据问题,即不是将“脏”数据洗掉,而是将“脏”数据洗干净。干净的数据指的是满足质量要求的数据。
数据分析与可视化分析
Python中常会用到一些专门的库,如NumPy、SciPy、Pandas和Matplotlib。数据处理常用到NumPy、SciPy和Pandas,数据分析常用到Pandas和Scikit-Learn,数据可视化常用到Matplotlib,而对大规模数据进行分布式挖掘时则可以使用Pyspark来调用Spark集群的资源。
NumPy官方文档:https://numpy.org/
SciPy官方文档:https://scipy.org/
Pandas官方文档:pandas documentation
Matplotlib官方文档:Matplotlib - Visualization with Python
Scikit-learn官方文档:scikit-learn: machine learning in Python
Keras官方文档:the Python deep learning API
三、如何培养数据分析思维?
数据分析属于分析思维的一个子类,有专门的数据方法论,只有养成正确的分析思维才能做好数据分析。什么是好的分析思维,网上有张图是这样的:
第一个分析思维是依赖经验和直觉的线性思维,第二个分析思维则注重逻辑推导,属于结构化的思维。这两种思维也往往会导致不同的结果。
除了Excel、Tableau、SQL、Python 等工具技能的学习,另一个关键点则是数据分析思维的培养。大家在做数据分析之前需要构建分析框架、理清思路、学会运用常见的分析方法等结合具体业务进行分析。
这需要我们去做案例+看书来不断积累经验,形成自己的数据分析思维。
四、数据分析好书推荐
入门篇:《深入浅出数据分析》、《利用Python进行数据分析》、《笨方法学Python》
工具篇:《零基础学 SQL》、《R 语言实战》、《数据图形化,分析更给力》、《PPT,要你好看》、《金字塔原理》
统计篇:《深入浅出统计学》、《赤裸裸的统计学》
进阶篇:《精益数据分析》、《贝叶斯数据分析》
最后
为了帮助大家更好的学习Python,小编给大家准备了一份Python学习资料,里面的内容都是适合零基础小白的笔记和资料,不懂编程也能听懂、看懂,需要获取方式:扫描下方即可获取。
👉Python学习路线汇总
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉Python必备开发工具👈
👉精品Python学习书籍👈
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
温馨提示:篇幅有限,已打包文件夹,获取方式:点击这里【 Python全套资料】 或扫描下方即可获取。
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
需要这份系统化学习资料的朋友,可以戳这里无偿获取*
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!