大数据考前复习资料

大数据的概念：
大数据的4个“V”是指：数据量大、数据类型繁多、处理速度快、价值密度低
大数据的基本处理流程主要包括数据采集、数据存储、数据分析和结果呈现。
大数据的计算模式主要包括批处理计算、流处理计算、图处理计算和查询计算
大数据产业包括IT基础设施层、数据源层、数据管理层和数据分析层

hadoop概念和配置
配置Hadoop时，Java的路径JAVA_HOME在配置文件hadoop-env.sh中进行设置；所有节点的HDFS路径通过fs.defualt.name来设置，这个选项在配置文件core-site.xml中设置。
iHadoop的核心是HDFS和MapReduce。
iHadoop的主要特性有高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux操作系统上、支持多种编程语言
iHadoop的三种运行模式是独立（本地）模式、伪分布式模式、完全分布式模式

简答题：
大数据的概念，大数据与云计算的关系
答：（1）大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是实现“物物相连”，应用创新是物联网发展的核心。
（2）大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自云计算，云计算的分布式数据存储和管理系统提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力。没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，