![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序人生
文章平均质量分 91
arno_wzk
这个作者很懒,什么都没留下…
展开
-
hadoop之MapReduce
MapReduce是hadoop的三驾马车之一,是一个批处理计算框架。以下内容中,为方便描述 MapReduce有时简写为MR。理论基础:源自于Google发表于2014年12月的MapReduce论文,可以把Hadoop MapReduce是Goole MapReduce的克隆版。整体思路:局部性原理将整个问题分而治之。MR之前,数据分布在各个节点;MR时每个节点就近读取本地存储的数据处理(MAP)-处理后的数据进行合并(combine)-排序(shuffle & sort).原创 2021-02-09 15:26:43 · 297 阅读 · 0 评论 -
到底什么是大数据?来看这篇!
大数据时代,不学点儿大数据怎么能行。不学点大数据都不好意思说在21世纪生活过。 从这篇文章,我和大家一起开始大数据之旅。1、大数据诞生的时代背景 随着计算机技术全面融入社会生活,出现信息大爆炸,信息积累到了一个开始引发变革的程度。 互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。 此时数据最直接的特点就是:体量大...原创 2020-11-12 23:11:49 · 664 阅读 · 0 评论 -
IT人如何突破技术瓶颈
一般情况下,计算机专业毕业后在某一领域工作3-5年后,会成为部门或公司里面的技术骨干,处于这个阶段的技术人员一般会面临以下几个问题:1、技术学习的困惑:此时技术能力达到一定水平,周边可以学习的对象越来越少,感觉自己的技术提升遇到一个瓶颈。这种感觉是正常的:首先,高端技术人才是呈现倒金字塔形态的,身边缺乏能引领你的人生导师(对于有明确技术定位而周边没有引导师的人,在这个年龄段离职概率也相对比较高);其次,IT圈内的技术交流,大多数人都是在做科普以及刷存在感(俗称CNB),对个人提升作用.原创 2020-11-07 08:07:55 · 622 阅读 · 2 评论