大数据
baixiaojiu9
这个作者很懒,什么都没留下…
展开
-
Hadoop简介和相关集群配置
hadoop: 一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。包含HDFS,yarn,MapReduce。 广义的Hadoop指的是Hadoop生态系统,生态系统中的每一子系统只解决某一特定的问题域。 Hadoop是开源的,社区活跃度很高,涉及到分布式存储和计算的方方面面。 HDFS: HDFS是1个master(N...原创 2019-03-27 18:55:14 · 139 阅读 · 0 评论 -
HDFS,YARN,hive简介
HDFS shell常用命令的使用: ls get mkdir put rm hdfs缺点:不适用于低延迟 的数据访问、小文件存储。 分布式计算框架MapReduce 不适用于:实时计算、流式处理、DAG计算 MapReduce编程模型 : input map&reduce output 资源调度框架 YARN YA...原创 2019-03-28 11:02:18 · 1516 阅读 · 0 评论