Spark
Rekie
这个作者很懒,什么都没留下…
展开
-
Spark的各个组件
1、Spark Core 实现Spark的基本功能,包括任务调度、内存管理、错误恢复、与存储系统交互等,以及RDD(Resilient Distributed Dataset)API的定义。 2、Spark SQL 用Spark来操作结构化数据的程序包。可以使用SQL或Hive的HQL来查询数据,并可以与RDD的操作相结合使用。 3、Spark Streaming 用来对实时数据进行流式计原创 2018-05-02 16:56:56 · 12572 阅读 · 0 评论 -
输出日志管理
1、Shell模式下 修改conf目录下,log4j.properties的文件,将其中的 log4j.rootCategory=INFO,console 改为:只显示警告及更严重的信息log4j.rootCategory=WARN,console 2、编程实现 编写一个工具类。 import org.apache.log4j.{Logger, Level} import...原创 2018-05-02 16:59:09 · 438 阅读 · 0 评论