![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 76
yalin7076
这个作者很懒,什么都没留下…
展开
-
大数据与Hadoop之间是什么关系
广义上讲 大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在《第三次浪潮》首次提出,由麦肯锡公司(McKinsey)最早应用。 大数据的特征1,容量:数据的大小决定所考虑的数据的价值和潜在的信息2,种类:数据类型的多样性3,速度:指获得数据的速度4,可变性:妨碍了处理和有...原创 2018-12-20 15:58:05 · 1230 阅读 · 0 评论 -
一篇文看懂Hadoop:风雨十年,未来何去何从
我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core ...原创 2018-12-21 15:37:39 · 508 阅读 · 0 评论 -
入行IT行业,为什么建议你选择大数据开发?
现阶段,提到入行哪个行业好,哪个行业薪资高,发展前景大,毫无疑问这个方向会指向IT。而在IT行业又是哪个领域最值得进入呢?没错,就是大数据。那么大数据行业究竟是凭借什么让大家如此关注,如此青睐呢? 我们都知道,IT作为一种新型产业,在过去短短的十几年内,已经成为我国重要的经济增长点,也受到国家的大力扶持。随着“互联网+”、“人工智能”、“云计算”、“智慧城市”等重大的战略的实施,...原创 2018-12-21 19:41:13 · 1302 阅读 · 1 评论 -
大数据的重要性,技术和商业的碰撞,谈阿里云与天猫双11这十年
摘要: 2009年,发生了两件看似不起眼的事。 初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。 同年11月11日,淘宝商城启动了一个叫做双11的促销活动。 谁也没想到,多年以后他们会是现在这模样。2009年,发生了两件看似不起眼的事。初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。同年11月11日,淘宝商城启动了一个叫做双11的促销活动。谁也没想到...原创 2018-12-23 15:49:12 · 745 阅读 · 0 评论 -
如何开始学习 Hadoop?
作者:美国队长,大数据专家,精通Hadoop生态相关平台的搭建调优,对底层的源代码有一定的研究。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,他从0.x版本到现在的3.0版本,经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs(分布式文件存储) ,Mapreduce(分布式并行计算框架)。其中,Hdfs主要是用来进行文件的存储,他涉及文件存储不同压缩...原创 2018-12-23 15:56:04 · 343 阅读 · 0 评论 -
低调!年薪40+W的大数据开发教程,都在这儿!
这是一篇推广文章。事实上,大数据工作者可以施展拳脚的领域非常广泛,从国防部、互联网创业公司到金融机构,到处需要大数据项目来做创新驱动。数据分析或数据处理的岗位报酬也非常丰厚,在硅谷,入门级的数据科学家的收入已经是6位数了(美元)。而Java工程师转型大数据还是比较适合的,从技术层面来说,大数据使用的Hadoop需要Java SE基础,同样你还需要掌握Linux基本命令操作。互联网行业发...原创 2018-12-24 14:04:15 · 377 阅读 · 0 评论 -
转行大数据,如何开始学习 Hadoop?
以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。 学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark—...原创 2018-12-24 14:08:07 · 339 阅读 · 0 评论 -
Java开发工程师有必要转型大数据吗?
大数据涉及到数据的采集、整理、传输、存储、分析到呈现,涉及到很多岗位和不同的人员配置,很多不同的专业人才都可以参与到大数据行业,这其中有大量的Java程序员考虑从事大数据方面的研发。 个人认为,Java程序员从事大数据开发还是有一定优势的。不少大数据平台产品本身就是采用Java语言开发的,比如hadoop。所以,Java程序员从事大数据是一个不错的选择。其次,大数据开发的平均薪资确...原创 2018-12-24 14:26:12 · 2821 阅读 · 0 评论 -
深度预警:深入理解HBase的系统架构
HBase的构成物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。HBase HMaster负责Region的分配及数据库的创建和删除等操作。ZooKeeper作为HDF...原创 2018-12-24 14:31:46 · 312 阅读 · 0 评论 -
Hadoop 中的集群配置和使用技巧
── 分布式计算开源框架 Hadoop 入门实践(二)其实参看 Hadoop 官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop 可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照 Demo 的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。环境7 ...原创 2018-12-21 15:28:26 · 265 阅读 · 0 评论 -
Hadoop 的快速发展带动了对数据迁移工具的需求
Hadoop 是由 Apache 基金会所开发的分布式处理平台。其最核心的设计就是:HDFS 分布式文件系统和分布式计算框架 Map/Reduce。HDFS 具有高容错性、高吞吐量的特点,为海量数据提供存储;Map/Reduce 则为大数据数据计算提供支持。目前,Hadoop 以其低成本、高扩展性、靠可靠性以及靠容错性等优点,成为新一代的大数据处理平台。很多公司也开始提供基于 Hadoop 的商业...原创 2018-12-21 15:26:18 · 277 阅读 · 0 评论 -
从面试官的角度谈谈大数据面试
关于传授面试经验的文章太多了,眼花缭乱,我这里就不谈了,点进来想获取几吨面试学习资料的同学,抱歉让你失望了。(我是真的找不到那么多资料...)。所以,今天我们只聊面试官。 作为一只老鸟,我的面试经验还算丰富,无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的,毕竟知己知彼,百战不殆,知道对方会从哪些方面问问题,从哪些方面考核,才能更好地提前做好准备。 首先,我觉得面...原创 2018-12-21 14:55:03 · 408 阅读 · 0 评论 -
干货:如何将Hadoop存储容量提升4倍?
本文主要介绍如何通过Federation使用多个独立的Namenodes Namespaces水平扩展命名空间。Namenodes彼此独立,互不通信,可以共享相同的Datanode存储。在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障、内存受限制约集群扩展性和缺乏隔离机制(不同业务使用同一个NameNode导致业务相互影响)等。为了解决这些问题, Hadoo...原创 2018-12-20 16:15:12 · 218 阅读 · 2 评论 -
Hadoop问题解决记录
1.解决Unable to load native-hadoop library for your platform告警安装Hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable环境:Red Hat 6.4 64位...原创 2018-12-20 17:02:53 · 229 阅读 · 0 评论 -
深入理解Hadoop之HDFS架构
Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异是值得我们注意的:HDFS具有 高度容错 能力,旨在部署在 低成本 硬件上。(高容错) HDFS提供对数据的 高吞吐量 访问,适用于具有 海量数据集 的应用程序。(高吞吐量) HDFS放宽了一些POSIX要求,以实现对文件系统数据的 流式访问 。(流式访问)...原创 2018-12-20 17:05:49 · 348 阅读 · 2 评论 -
《十小时入门大数据》学习笔记之初识Hadoop
笔记内容概括 Hadoop概述 1.1 Hadoop名字的由来 1.2 Hadoop介绍 1.3 Hadoop能做什么 Hadoop核心组件 2.1 HDFS(分布式文件系统) 2.2 YARN(资源调度系统) 2.3 MapReduce(分布式计算框架) Hadoop优势 Hadoop发展史 ...原创 2018-12-20 21:29:04 · 548 阅读 · 0 评论 -
Hadoop高可用集群
1.简介若HDFS集群中只配置了一个NameNode,那么当该NameNode所在的节点宕机,则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager,那么当该ResourceManager所在的节点宕机,则整个YARN就不能进行任务的计算。* Hadoop依赖Zookeeper进行各个模块的HA配置,其中状态为Active的节点对外提供服务...原创 2018-12-20 21:34:08 · 370 阅读 · 0 评论 -
小白的福音,一位年薪50W架构师分享的一份精简大数据学习路线
一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS,是数据库管理员的基础课程1、分...原创 2018-12-20 21:37:55 · 616 阅读 · 0 评论 -
学习大数据最好的时间是十年前,其次是现在
在这个大数据的价值堪比石油和黄金的时代,不论你是否从事大数据相关的工作,了解和掌握大数据相关的技术都应该成为一个工程师的必备技能。因为到现在为止,不管是什么体量的公司,都已经意识到数据的价值。自 2012 年起,无论是 BAT 还是传统的商业公司,都纷纷在自己的软件系统中大规模使用大数据技术。不仅如此,越来越多的软件工程师也开始转型成为大数据工程师,从事大数据开发与应用的工作。市场对于大数据的...原创 2018-12-21 14:46:25 · 581 阅读 · 0 评论 -
做为一名大数据新手,应该通过这篇文章了解大数据
一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程: 1、底层是数以千亿计的数据源,数据源可以是SCM(供应链数据),4PL(...原创 2018-12-25 16:50:03 · 370 阅读 · 0 评论