integrity

spark集群提交任务的命令： bin/spark-submit --master spark://node-1.XXXXX.com:7077,node-2.xxxx.com:7077 --executor-memory 512mb --total-executor-cores 4 --class com.xxxx.day1.WordCount /root/spark-1.0.jar  h

Spark 的组件 Spark Core 包括Spark的基本功能，包含任务调度，内存管理，容错机制。 内部定义了RDDs(弹性分布式数据集)。 提供了很多APIs来创建和操作这些RDDs。 为其它场景提供了底层的服务 Spark SQL: 是Spark处理结构化数据的库，就像Hive SQL,Mysql一样。 应用场景，企业中用来做报表统计 Spark Stre