---------【Hadoop】
DavidBigHero
谁说编程无趣,我偏视编程如生命,在其中活出人生精彩!
展开
-
Hadoop(一)概况
昨天偶然的机会听了宅客学院赵强老师关于Hadoop的一堂课。受益匪浅,自己对其相关内容产生兴趣,便火速了解了一遍。迫不及待与大家分享。Java+大数据对于学java的咱们来说,不学大数据真是辜负了大好时光。2.5万基本上是普通IT技术人员的天花板,能上这个数的人很少,除非是架构师或者做底层的开发。但Hadoop这块2万多薪资只能算一般,后面还有很大发展空间。薪资情况原创 2017-05-05 16:04:57 · 1059 阅读 · 6 评论 -
Hadoop(二) 了解
一、什么是大数据?举例:1、商品推荐:在天猫中找到过去1个月中卖得好的商品。问题1:大量的订单如何存储?问题2:如何计算大量的订单?(1)大数据的存储 (2)大数据的计算2、天气预报:最近两三天的天气预报情况。问题1:大量的天气数据如何存储?问题2:如何计算大量的天气数据?-(1)大数据的存储 (2)大数据的计算大数据核心问题:(1)大数据的存储--->分布原创 2017-05-05 17:26:15 · 703 阅读 · 5 评论 -
Hadoop(三) 大数据离线计算与实时计算
一、大数据离线计算:MapReduce计算模型1、MapReduce是处理HDFS上的数据2、MapReduce的思想来源是PageRank(搜索排名),原理是进行分布式计算。如上图,网页跳转中,访问网页3的次数最多,也就是权重最大的为网页3。比如京东、淘宝中给推荐的商品,就是近期访问的比较多的商品。MapReduce的思想是把一个大任务拆分成多个小任务,再把小任务的结果汇原创 2017-05-05 20:07:43 · 16898 阅读 · 9 评论