- **Hive 数据库：**是非关系型数据库管理系统；数据规模大；主要进行离线的大数据分析； 查询语句为HQL；
以上就是几种常见的数据库及介绍，方便大家在做数据分析的时候提取数据。
数据清洗
数据清洗是利用相关技术将“脏”数据转换为满足质量要求的数据。下面通过一张图描述数据清洗的原理。
从图中可以看出，同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值都会导致“脏”数据出现，通过定义好的数据清洗策略和清洗规则（即数理统计技术、数据挖掘技术等清洗策略）对“脏”数据进行清洗，得到满足数据质量要求的数据。
需要注意的是，数据清洗的目的是解决“脏”数据问题，即不是将“脏”数据洗掉，而是将“脏”数据洗干净。干净的数据指的是满足质量要求的数据。
数据分析与可视化分析
Python中常会用到一些专门的库，如NumPy、SciPy、Pandas和Matplotlib。数据处理常用到NumPy、SciPy和Pandas，数据分析常用到Pandas和Scikit-Learn，数据可视化常用到Matplotlib，而对大规模数据进行分布式挖掘时则可以使用Pyspark来调用Spark集群的资源。
- NumPy官方文档：https://numpy.org/
- SciPy官方文档：https://scipy.org/
- Pandas官方文档：pandas documentation
- Matplotlib官方文档：Matplotlib - Visualization with Python
- Scikit-learn官方文档：scikit-learn: machine learning in Python
- Keras官方文档：the Python deep learning API
三、如何培养数据分析思维？
数据分析属于分析思维的一个子类，有专门的数据方法论，只有养成正确的分析思维才能做好数据分析。什么是好的分析思维，网上有张图是这样的：
第一个分析思维是依赖经验和直觉的线性思维，第二个分析思维则注重逻辑推导，属于结构化的思维。这两种思维也往往会导致不同的结果。
除了Excel、Tableau、SQL、Python 等工具技能的学习，另一个关键点则是数据分析思维的培养。大家在做数据分析之前需要构建分析框架、理清思路、学会运用常见的分析方法等结合具体业务进行分析。
这需要我们去做案例+看书来不断积累经验，形成自己的数据分析思维。
四、数据分析好书推荐
- 入门篇：《深入浅出数据分析》、《利用Python进行数据分析》、《笨方法学Python》
- 工具篇：《零基础学 SQL》、《R 语言实战》、《数据图形化，分析更给力》、《PPT，要你好看》、《金字塔原理》
- 统计篇：《深入浅出统计学》、《赤裸裸的统计学》
- 进阶篇：《精益数据分析》、《贝叶斯数据分析》
读者福利：知道你对Python感兴趣，便准备了这套python学习资料
👉[[CSDN大礼包：《python兼职资源&全套学习资料》免费分享]]（安全链接，放心点击）
对于0基础小白入门：
如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！
一、Python学习大纲
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
三、入门学习视频
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、python副业兼职与全职路线
最后
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
7378
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
