Hdoop
文章平均质量分 89
大数据技术与数仓
欢迎关注我的公众号【大数据技术与数仓】
回复【资料】领取大数据书籍与视频
展开
-
大数据、数仓、Flink、spark、机器学习视频文档资料分享
关注【大数据技术与数仓】免费领取大数据视频与书籍回复:【资料】,获取链接地址分享并转移具有实践意义的大数据知识大数据技术视频01关注公众号回复:资料Flink视频02关注公众号回复:资料机器学习视频03关注公众号回复:资料数据结构与算法04关注公众号回复:...转载 2020-05-08 13:01:37 · 284 阅读 · 0 评论 -
资源调度框架YARN
目录 一、概述二、YARN的体系结构三、YARN的工作流程一、概述MapReduce1.0既是一个计算框架,也是一个资源管理调度框架。到了Hadoop2.0以后,MapReduce1.0中的资源管理调度功能,被单独分离出来形成了YARN,它是一个纯粹的资源管理调度框架,而不是一个计算框架。被剥离了资源管理调度功能的MapReduce 框架就变成了MapReduce2.0,它...原创 2018-11-21 15:14:50 · 932 阅读 · 0 评论 -
HDFS基准测试
1.测试HDFS写性能测试内容:向HDFS集群写10个128M的文件$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB结果:...原创 2019-08-04 11:24:31 · 453 阅读 · 0 评论