![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Big Data
让积累成为一种习惯。
u010823625
让积累成为一种习惯。
展开
-
Spark 调优:Spark REST API
Spark REST API Endpoint Meaning /applications 显示所有应用 /applications/[app-id]/jobs 获取给定应用的所有Jobs /applications/[app-id]/jobs/[job-id] 获取给定Job的信息 /applications/[app-id]/stages 获取给定应用的stages...原创 2020-04-22 11:00:19 · 315 阅读 · 0 评论 -
大数据基础:Hadoop2.x生态系统(一)
一、基础概念 & 适用场景 1、分布式文件系统(HDFS) HDFS是Hadoop分布式文件系统,HDFS有如下技术特点和应用场景: 适合处理超大文件,数量级达到GB、TB甚至PB级支持集群规模的动态扩展适用于流式数据读写的场景,即“一次写入,多次读取”具有高容错性,数据块可以保存多个副本,实现负载均衡对硬件要求低,能够运行在廉价的商用机器集群 不适用于如下场景:原创 2017-03-26 19:12:52 · 1723 阅读 · 0 评论