Hadoop精华问答 | 非大数据的项目能否用Hadoop?

戳蓝字“CSDN云计算”关注我们哦!


640?wx_fmt=png

我们很荣幸能够见证Hadoop十几年间经历了从无到有,再到称王。感动于技术的日新月异时,希望通过本篇有问有答,带大家解决Hadoop的常见问题。


640?wx_fmt=gif1

Q:Hadoop的发展史?


A:640?wx_fmt=png


640?wx_fmt=gif2

Q:Hadoop的核心组件


A:分析:Hadoop的核心组件分为:HDFS(分布式文件系统)、MapRuduce(分布式运算编程框架)、YARN(运算资源调度系统)640?wx_fmt=png


640?wx_fmt=gif3

Q:HDFS的文件系统


A:640?wx_fmt=png


640?wx_fmt=gif4

Q:如何选择不同的文件格式用于存储和数据处理?


A:关键设计理念之一就是相关文件格式要基于


   1)使用模式 例如, 访问50列式存储当中的5列式存储vs 访问大部分的列式存储。

   2)并行处理分裂性。

   3)块压缩节省存储空间VS 读/ 写/转换/ 功能.

   4)架构演变过程中添加字段/修改字段/重命名字段。


640?wx_fmt=gif5

Q:非大数据的项目能否用Hadoop?


A:非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储,计算,以及分析挖掘等需求,如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop,没有必要使用并不意味这不能使用Hadoop,很多传统系统能做的Hadoop也是可以做的,例如使用HDFS来代替LINUX NFS,使用MapReduce来代替单服务器的统计分析相关任务,使用Hbase代替MySQL等关系数据库等,在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。

小伙伴们冲鸭,后台留言区等着你!

关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~


640?wx_fmt=png


福利

扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg


推荐阅读:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值