2.非结构化数据:不方便用数据库二维逻辑表来表现的数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
3.半结构化数据:就是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,HTML文档就属于半结构化数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。
spark通用性指的什么?
Spark SQL(即席查询),Spark Streaming(实时流处理),Spark MLlib(机器学习库),Spark GraphX(图计算)
spark 的组件
1 Spark Core
包含了Spark的基本功能,包含任务调度,内存管理,容错机制等等。
内部定义了RDD(弹性分布式数据集)
提供了很多APIs来创建和操作这些RDD
应用场景:为其他组件提供底层的服务
2 Spark SQL
是Spark处理结构化数据的库,就像Hive SQL,Mysql一样。
应用场景:企业中用来做报表统计
3