当当云盘存储系统

1、这个项目我们是用Hadoop来进行文件的存储的,我们是做的集群,拓扑图如下:

 

 2、技术点:

        这个项目我们用到的技术点有很多:

                前端:Vue、Axios

                后端:SpringBoot、SpringMVC、MyBatis-plus

                服务端的动静分离、负载均衡:Nginx

                数据的采集:Flume、Sqoop

                数据的存储:Hadoop、MySQL、Redis

                任务调度:Azkaban

                资源的监控:Ganglia

3、项目总结:

        这个项目用的技术点非常的多,做这个项目和与我们之前的项目不同,给我的感受还是蛮多的,可以总结为以下几点:

        1、这个项目和我们之前做项目不同,这次做项目我个人的感觉有点接近公司的这种开发的模式,提出任务,然后小组去完成这个项目,其中会遇到很多的坑和雷,必须要我们一个一个去解决。这么做,提高了个人解决问题的能力。我们以前做项目,感觉都有依赖心理,不敢去尝试新的东西,只敢用原来的那一套,而且遇到问题的时候,总想着找别人帮忙,自己没有独立思考和解决问题的能力。但是在这个项目中,我发现,我和我的组员对于这块,都有了很大的提升。

        2、通过这次的项目,感觉我个人的层次得到了很大的提升。考虑问题更加的全面了,例如:云盘系统中的文件的存储,我感觉我以前对于文件的存储想法过于简单,其实,它里面的业务逻辑是想当的复杂的,它要考虑到的方面有很多,不单单只考虑一个方面。

        3、这次的项目,作为组长,小组成员的成长我也是可以很明显的感觉到的,我们小组成员解决问题的能力提升了,懂得灵活运用所学习的知识。例如:做flume日志采集的组员,他会去思考,我是否可以做多入多出、或者是多入单出等;做sqoop数据库采集的组员,对于sqoop的操作有了更加深刻的印象;做azkaban任务调度的同学,对于azkaban的基本操作,也是达到了熟悉的级别了;对于做图像显示的同学,我觉得他对于知识的迁移能力还是有一定的水准了;

        4、总的来说,这次项目收获巨大,每个组员都尽自己最大的努力去完成他们需要完成的任务。小组之间的感情也编程更好了,我觉得这也许也是编程的一种魅力,那些看似没有规律的代码,却拉进了人与人之间的距离。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值