真正的零基础学大数据

进入学习大数据的第一天,首先需要先了解大数据究竟是什么。

大数据导论

大数据的含义

世界的本质是数据
——大数据研究专家维克托·迈尔-舍恩伯格博士

我们现在所处的时代是大数据AI人工智能时代，我们每做一件事都会产生大量的数据。

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处 理模式，该处理模式就是大数据。

大数据的数据量单位

目前的大数据应用，数据量主要集中在PB/EB级别

大数据解决的问题

1.海量数据的存储：数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。
2.海量数据的运算：当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。
3.海量数据的迁移：在当前大数据环境和信息技术快速发展情况下，企业的信息系统数据量成几何级数增加，随着各行各业都先后涌现出了不同规模的数据中心，海量数据迁移是企业解决存储空间不足和信息系统升级改造等过程中必须面对的一个现实问题。

大数据的五大特点

大数据的特点可以使用5个字来概括:大、多、值、快、信
Volume–数据体量大：采集数据量大，存储数据量大，计算数据量大一般是TB、PB级别起步的数据。

Variety–种类和来源多样化：结构化、半结构化、非结构化，比如日志文本、图片、音频、视频等等的来源。

Value–低价值密度：信息海量但是价值密度低，深度复杂的挖掘分析，需要机器学习参与。

Velocity–速度快：数据增长速度快、获取数据速度快、数据处理速度快。

Veracity–数据的质量： 指的是数据的准确性和数据的可信赖度。

大数据分析步骤

张文霖在《谁说菜鸟不会数据分析》中提出：大数据分析有六大步骤：
1.获取分析的目的和思路：把分析目的分解成若干个不同的分析要点,确保分析框架的体系化和逻辑性
2.数据的获取：一般数据来源为数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查
3.数据的处理：(E抽取T转换L加载)数据处理主要包括数据清洗、数据转化、数据提取、数据计算等,将原始数据加工成为分析需要的直观数据
4.数据的分析：数据分析是指用适当的分析方法及工具，分析处理过的数据，提取有价值的信息的过程
5.数据的可视化：一般能用图说明问题的就不用表格，能用表格说明问题的就不要用文字。
6.撰写报告：数据分析报告其实是对整个数据分析过程的一个总结与呈现，用于决策者参考做出决策。

软件下载与安装

第一天白天学习后，晚修都是在重复下载安装卸载的操作，就是要熟悉各个软件的特性，在以后的工作中，遇到新的设备或者新的设备系统下也可以自行安装软件，这是一个程序员最基本的技能。
1.typora笔记软件：顾名思义，用来归纳整理笔记的，使用过程中感觉比传统的word文档更智能。
2.xmind8思维导图软件：用来做各种图表的，配合各种快捷键也是比传统制图更灵活，图表类型比传统的也更加丰富，职场中如果平时需要制作大量图表的岗位可以下载使用。
3.jdk软件：需要配置环境变量
4.fineBI:大数据分析工具
5.python解释器：需要配置环境变量
6.pycharm开发工具：需要安装python解释器
7.Snipaste-2.7.1-Beta-x64：截图软件，fn+F1截图后直接复制/固定图片，个人觉得对比以前QQ、微信的截图功能更方便快捷且应用灵活
8.Mysql软件:新手可以用phpstudy_pro安装使用
9.datagrip软件

计算机组成

组成：硬件和软件

硬件:

冯诺依曼体系结构(输入设备,输出设备,运算器,控制器,内外存储器)

CPU：运算器和控制器

裸机：没有操作系统软件的计算机

软件:

系统软件

操作系统：window操作系统、mac操作系统、Linux操作系统。
系统软件作用: 硬件和应用软件的桥梁(承上启下)

应用软件

如QQ、微信等下载安装到计算机上的被用户使用的软件。

编程语言

语言：是人类进行沟通交流的表达方式。语言是人与人交流的一种工具，更是文化的重要载体。

编程语言：一种计算机和人都能识别的语言。

编程语言历史：低级语言 -> 高级语言 -> 面向对象时代(java和python)

python：解释型语言，边解释边执行。
Java：编译型语言，先编译再运行。（一次编译，多次运行）
注意：sql是一种特殊的编程语言