大数据学习博客

大数据技能学习方法

用大数据思维做运维监控是怎样一种体验?

这篇文章谈的是运维都有哪些数据,哪些指标,以及数据呈现。并没有谈及如何和大数据相关的架构做整合,从而能让这些数据真的变得活起来。   比较凑巧的是,原先百度的桑文峰的分享也讲到日志的多维度分析,吃完饭的时候,一位优酷的朋友也和我探讨了关于业务监控的的问题。而我之前发表在肉饼铺子里的一篇文章《...

2019-05-09 15:29:37

阅读数 126

评论数 0

Hadoop/Spark生态圈里的新气象

 令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。   Hadoop/Spark生态圈里面的新气象对于Hadoop你需要了解的最重要的事情就是,它不再是原来的Hadoop。   这边厢,Cloudera有时换掉HD...

2019-05-09 15:28:21

阅读数 79

评论数 0

Hadoop之父Doug Cutting眼中大数据技术的未来

成长史 1985年毕业于美国斯坦福大学的Cutting并不是一开始就决心投身IT行业的。在大学时代的头两年,Cutting学习了诸如物理、地理等常规课程。因为学费的压力,Cutting开始意识到,自己必须学习一些更加实用、有趣的技能。这样,一方面可以帮助自己还清贷款,另一方面,也是为自己未...

2019-05-09 15:27:26

阅读数 89

评论数 0

15个关于大数据的事实和真相

 跟踪大数据的趋势,研究和统计数据为专业人士提供了一个规划大数据项目的坚实的基础,这里有每个IT专业人士都应该知道的15个有关大数据的重要事实。   每个人都在谈论大数据,从年度支出的挑战,到创造就业机会,甚至大数据项目所需的工具。很多人相信大数据能帮助企业做出更好的决策——的确,十个高管中...

2019-05-09 15:26:24

阅读数 103

评论数 0

Hadoop 2.7.6安装_伪分布式集群

本篇主要演示在Linux上安装单节点Hadoop模式,以及伪分布式Hadoop模式。 一 安装环境 操作系统:Oracle Linux Server release 6.5; Java版本:java-1.7.0-openjdk-1.7.0.45; Hadoop版本:hadoop-2.7.6; ...

2019-05-06 14:56:02

阅读数 74

评论数 0

Hadoop HA架构剖析

Hadoop HA架构即 Hadoop 高可用架构,7*24小时不中断服务。实现高可用最关键的是消除单点故障。Hadoop HA 严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。 在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据...

2019-05-06 14:48:52

阅读数 54

评论数 0

hadoop完全分布式搭建HA

配置,格式化nn启动,同步,启动所有zk,用ZKFC格式化zk,全部启动 第二次以后启动只需要:启动zk,再start-dfs.sh 1,system:jdk,ssh 2,Hadoop:jdk 2,ha: hdfs: 1,nameservice。。。。 2,jn ...

2019-05-06 14:45:11

阅读数 62

评论数 0

一分钟让你知道Hadoop是什么

 hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如...

2019-05-05 13:59:10

阅读数 55

评论数 0

10大行业大数据应用痛点及解决策略

大数据已经成为这几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点,随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。   虽然了解大数据的价值仍然是一个挑战,但其他实践中的挑战包括资金投入和投资回报率以及相关技能仍然是大数据行业排...

2019-05-05 13:58:20

阅读数 62

评论数 0

Apache Spark常见的三大误解

 最近几年关于Apache Spark框架的声音是越来越多,而且慢慢地成为大数据领域的主流系统。最近几年Apache Spark和Apache Hadoop的Google趋势可以证明这一点:   上图已经明显展示出最近五年,Apache Spark越来越受开发者们的欢迎,大家通过Goog...

2019-05-05 13:57:05

阅读数 42

评论数 0

大数据,Hadoop,存储应用的第三极

 数字化转型是当今IT应用的标杆和旗帜,也是讨论最热门的话题。在我看来,数字化转型有两个方面的含义:一是与生产、业务相关的过程尽可能实现数字化,能保留数据全部进行保留;二是基于数据展开分析,动用大数据、人工智能等技术手段,透视数据背后的秘密,产生价值,知道企业生产和业务决策。   对于数字化...

2019-05-05 13:55:34

阅读数 43

评论数 0

Java在大数据和互联网发展中的作用是什么?

 Java已经存在了二十多年,是程序员最喜欢、使用最广泛的编程语言之一。如果我们查看编程语言、数据库和操作系统的应用范围,你会发现在过去的几年里似乎并没有什么变化。Java让程序员又爱又恨,那么在大数据和互联网未来的发展中Java又会起到什么样的作用呢? 在这里我还是要推荐下我自己建的大数据学习...

2019-05-05 13:54:10

阅读数 40

评论数 0

大数据架构师必读:常见的七种Hadoop和Spark项目案例

 如果您的Hadoop项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数...

2019-05-05 13:53:10

阅读数 48

评论数 0

大数据VS云计算VS人工智能,谁能成为编程界的扛把子?

 大数据、云计算、人工智能,   与其说是“竞争”的关系,不如说是“合作”的关系。   “竞争”之说,是因为世人近来总对“三者谁将成为下个时代的主角”议论纷纷。   而“合作”的解读也许更为本质。   云计算、大数据、人工智能这三者不能分开来讲,而是有着紧密联系的,互相联系...

2019-05-05 13:51:54

阅读数 57

评论数 0

大数据在云计算中转换的4个步骤

 如今的企业必须向顾客提供始终如一的高价值体验,否则会失去顾客。他们正在求助于大数据技术。通过大数据分析,组织可以更好地了解他们的客户,了解他们的习惯,并预测他们的需求,以提供更好的客户体验。   但是,大数据转换的路径并不简单。传统数据库管理和数据仓库设备变得过于昂贵,难以维护和规模化。此...

2019-05-05 13:50:20

阅读数 3419

评论数 1

为何大数据在当今世界如此重要?

毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段。   相较于稳定性而言,企业更关心的是敏捷性...

2019-05-05 13:49:18

阅读数 64

评论数 0

让大数据分析更有效的5种技术措施

 如今,数据量越来越大。近年来,企业已经意识到数据分析可以带来的价值,并且已经开始采用。企业现在的设备几乎都在监测和测量,并创造了大量的数据,通常比企业处理的更快。其问题是,而正因为大数据定义为“大数据”,所以数据收集的小差异或错误可能会导致出现重大问题,错误信息和不准确的推论。   有了大...

2019-05-05 13:48:08

阅读数 64

评论数 0

深度解析:Spark 优于 Hadoop 吗?

  对于任何一个进入大数据世界的人来讲,大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理,他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。   维基百科对大数据这样解释:大数据是一个宽泛的术语,它指传统数据处理应用程序无法处理的巨大而...

2019-05-04 15:24:42

阅读数 2636

评论数 5

大数据为何这么重要?

毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段。   相较于稳定性而言,企业更关心的是敏...

2019-05-04 15:23:07

阅读数 2605

评论数 5

大数据研究为什么需要有效的方法

有效的大数据研究方法将有助于解决企业面临的一些常见规划的挑战,特别是将投资重点与战略结合起来的规划。   研究方法可以帮助大数据管理者收集更好、更智能的信息。利用大数据和分析的企业,特别是在研究方法的帮助下,发现他们的盈利能力和生产率比竞争对手高出五到六个百分点。   企业可能认为利用...

2019-05-04 15:22:00

阅读数 2317

评论数 5

提示
确定要删除当前文章?
取消 删除
关闭
关闭