![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
meijunlanxin84
这个作者很懒,什么都没留下…
展开
-
转:Running Spark on YARN
Running Spark on YARN 原文链接 Spark在 0.6.0版本后支持在YARN(hadoop NextGen)上运行,并且在后续版本中不断改进。 在YARN上启动Spark 首先,确认 HADOOP_CONF_DIR或YARN_CONF_DIR指向的包含了Hadoop集群的配置文件。这些配置用于操作HDFS和连接YARN资源管理器。在这个目录下的这些配置文件将被分发到YA...转载 2018-09-04 13:39:42 · 85 阅读 · 0 评论 -
转:Hive中的InputFormat、OutputFormat与SerDe
Hive中的InputFormat、OutputFormat与SerDe 1 Reply 原文链接:https://www.coder4.com/archives/4031 前言 Hive中,默认使用的是TextInputFormat,一行表示一条记录。在每条记录(一行中),默认使用^A分割各个字段。 在有些时候,我们往往面对多行,结构化的文档,并需要将其导入Hive处理,此时,就需要自...转载 2018-09-04 14:12:53 · 470 阅读 · 1 评论