【大二上学期期末总结】

时间匆匆，转眼间这学期将要过去,耳边仿佛还是新生们入学时候的热闹声。在七十四节Python课，从最初的“ print()”到后来的“SQL数据库”，从摸不着头脑，到后来的能基本操作，随着学的越多，越来熟练，我也该整理下我的思绪，总结下学习经验，以便以后能更好的提高自己的技能水平。

1、初识大数据

大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
而我就简单的记作大数据就是很庞大的数据。

2、大数据相关

大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态系统，并持续发展和不断完善，其发展热点呈现了从技术向应用、再向治理的逐渐迁移。
经过多年来的发展和沉淀，人们对大数据已经形成基本共识：大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。

3、大数据的价值

大数据的价值本质上体现为：提供了一种人类认识复杂系统的新思维和新手段。

3、着手大数据

(1)、熟练linux：

这学期的操作环境都是基于linux系统来进行操作的，刚开始确实有点记不住linux的操作命令，但有句话说得好“读书千遍，其意自现”，随着一次又一次的练习，慢慢的自己就养成linux的操作习惯了。

(2)、学习hive、hadoop：

首先，Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统）和分布式计算问题（MapRe-duce）。
而hive其实 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的hiveSQL 语言实现数据查询，所有hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。. hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中hive 设定的目录下，因此，hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。