[python学习]（一）学习前准备，理解大数据与计算机

在当今世界，大数据已经成为了生活中的方方面面，下面的文章介绍大数据的相关知识及计算机的组成部分。

 一、何为大数据

大数据概念：大数据是指无法用常规软件进行处理的数据集合，由于数据量庞大，因此需要用新的模式去处理这些问题。

大数据需要解决的问题主要有以下三个：

1、海量数据存储

        数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。

2、海量数据运算

        当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。

3、海量数据迁移

        

二、大数据的特点

大数据有以下六个特点：大、多、值、快、信。

1、大：指数据量庞大，一般大企业中需要处理的数据量能达到PB、EB级别。

        tips：数据单位有如下划分：我们常见的数据单位主要是MB、GB。

2、多：指数据种类和来源多。

3、值：指低密度价值，即某一系统中数据量很多，但我们所需要的只是其中一小部分。

4、快：指数据处理速度快、增长速度快、获取速度快。

5、信：指数据可信度高、可依赖性强。

三、数据分析的步骤

1、明确分析的目的和思路

        就是在进行数据分析前需要对接需求端，需要的是什么样的数据，对接清楚后再分析目的，可以分解成若干个不同的分析要点，确保分析框架的体系化和逻辑性。

2、数据收集

        明确需求和分析思路后，就可以使用相应的方法对所需要的数据进行收集。

        一般数据来源为数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查等。

3、数据处理

        数据收集完成后就需要对数据进行处理，数据处理主要包括数据清洗、数据转化、数据提取、数据计算等，将原始数据加工成为分析需要的直观数据。（ETL工程师就是负责数据处理工作，ETL即：E抽取、T转换、L加载）

4、数据分析

        数据处理完成后就进行数据分析，是指用适当的分析方法及工具，分析处理过的数据，提取有价值的信息的过程。

5、数据可视化

        数据可视化是通过相应的软件（如BI）将分析好的数据进行展示汇报，要求简洁明了、可读性高、分析问题直击要点。

        一般能用图说明问题的就不用表格，能用表格说明问题的就不要用文字。

6、撰写报告

        最后撰写数据分析报告，数据分析报告其实是对整个数据分析过程的一个总结与呈现，用于决策者参考做出决策。

四、认识计算机

        了解大数据的知识后，就需要对大数据所依赖的重要工具有一定的认识。

        计算机（computer）俗称电脑，是现代一种用于高速计算的电子机器，可以进行数值计算，又可以进行逻辑判断，还具有存储记忆功能，且能够按照程序的运行，自动、高速处理数据，通俗理解就是一个存储和计算数据的电子设备。

        1、计算机的组成结构

        计算机主要由硬件系统和软件系统组成：

硬件系统包括：输入设备、输出设备、CPU（包括运算器和控制器）、存储设备（包括内存储器和外存储器）。硬件系统采用的是冯诺依曼体系结构。

        软件系统包括：系统软件和应用软件。

        系统软件即操作系统，管理和控制计算机软硬件资源，是所有软件的基础和核心，起到了承上启下的作用， 是硬件和应用软件的桥梁，如：Windows系统。

        应用软件：实现各种用户需求的程序，如QQ、微信等。

        2.计算机语言：编程语言

        编程语言，是人与计算机进行交流的语言。

        编程语言发展历史: 低级语言 -> 高级语言 -> 面向对象时代(java和python)。

        注意: sql是一种特殊的编程语言。