大数据vvv
码龄6年
关注
提问 私信
  • 博客:199,334
    199,334
    总访问量
  • 43
    原创
  • 1,658,018
    排名
  • 50
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:江苏省
  • 加入CSDN时间: 2019-05-02
博客简介:

大数据学习博客

博客描述:
大数据技能学习方法
查看详细资料
个人成就
  • 获得109次点赞
  • 内容获得45次评论
  • 获得213次收藏
  • 博客总排名1,658,018名
创作历程
  • 43篇
    2019年
成就勋章
TA的专栏
  • 大数据
    43篇
  • java
    43篇
  • python
    43篇
创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

66人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

用大数据思维做运维监控是怎样一种体验?

这篇文章谈的是运维都有哪些数据,哪些指标,以及数据呈现。并没有谈及如何和大数据相关的架构做整合,从而能让这些数据真的变得活起来。  比较凑巧的是,原先百度的桑文峰的分享也讲到日志的多维度分析,吃完饭的时候,一位优酷的朋友也和我探讨了关于业务监控的的问题。而我之前发表在肉饼铺子里的一篇文章《 大数据给公司带来了什么 》也特地提到了大数据对于整个运维的帮助,当时因为这篇内容的主旨是罗列大数据...
原创
发布博客 2019.05.09 ·
1874 阅读 ·
1 点赞 ·
0 评论 ·
5 收藏

Hadoop/Spark生态圈里的新气象

 令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。  Hadoop/Spark生态圈里面的新气象对于Hadoop你需要了解的最重要的事情就是,它不再是原来的Hadoop。  这边厢,Cloudera有时换掉HDFS改用Kudu,同时宣布Spark是其圈子的核心(因而一概取代发现的MapReduce);那边厢,...
原创
发布博客 2019.05.09 ·
543 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop之父Doug Cutting眼中大数据技术的未来

成长史 1985年毕业于美国斯坦福大学的Cutting并不是一开始就决心投身IT行业的。在大学时代的头两年,Cutting学习了诸如物理、地理等常规课程。因为学费的压力,Cutting开始意识到,自己必须学习一些更加实用、有趣的技能。这样,一方面可以帮助自己还清贷款,另一方面,也是为自己未来的生活做打算。因为斯坦福大学座落在IT行业的“圣地”硅谷,所以学习软件对年轻人来...
原创
发布博客 2019.05.09 ·
792 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

15个关于大数据的事实和真相

 跟踪大数据的趋势,研究和统计数据为专业人士提供了一个规划大数据项目的坚实的基础,这里有每个IT专业人士都应该知道的15个有关大数据的重要事实。  每个人都在谈论大数据,从年度支出的挑战,到创造就业机会,甚至大数据项目所需的工具。很多人相信大数据能帮助企业做出更好的决策——的确,十个高管中有八个同意或强烈同意这种说法”如果我们能够利用我们所有的数据,我们将会有一个更强大的业务。”...
原创
发布博客 2019.05.09 ·
979 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop 2.7.6安装_伪分布式集群

本篇主要演示在Linux上安装单节点Hadoop模式,以及伪分布式Hadoop模式。一 安装环境操作系统:Oracle Linux Server release 6.5;Java版本:java-1.7.0-openjdk-1.7.0.45;Hadoop版本:hadoop-2.7.6;二 安装前准备1 创建hadoop用户[root@strong ~]# useradd hado...
原创
发布博客 2019.05.06 ·
624 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop HA架构剖析

Hadoop HA架构即 Hadoop 高可用架构,7*24小时不中断服务。实现高可用最关键的是消除单点故障。Hadoop HA 严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关...
原创
发布博客 2019.05.06 ·
1020 阅读 ·
2 点赞 ·
0 评论 ·
1 收藏

hadoop完全分布式搭建HA

配置,格式化nn启动,同步,启动所有zk,用ZKFC格式化zk,全部启动第二次以后启动只需要:启动zk,再start-dfs.sh1,system:jdk,ssh2,Hadoop:jdk2,ha: hdfs: 1,nameservice。。。。 2,jn 3,failover 4,auto 》 true core fs...
原创
发布博客 2019.05.06 ·
425 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

一分钟让你知道Hadoop是什么

 hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括...
原创
发布博客 2019.05.05 ·
48921 阅读 ·
25 点赞 ·
2 评论 ·
124 收藏

10大行业大数据应用痛点及解决策略

大数据已经成为这几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点,随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。  虽然了解大数据的价值仍然是一个挑战,但其他实践中的挑战包括资金投入和投资回报率以及相关技能仍然是大数据行业排名前列。Gartner调查显示,75%以上的公司正在投资或计划在未来两年投资大数据。  一...
原创
发布博客 2019.05.05 ·
9373 阅读 ·
3 点赞 ·
0 评论 ·
9 收藏

Apache Spark常见的三大误解

 最近几年关于Apache Spark框架的声音是越来越多,而且慢慢地成为大数据领域的主流系统。最近几年Apache Spark和Apache Hadoop的Google趋势可以证明这一点:  上图已经明显展示出最近五年,Apache Spark越来越受开发者们的欢迎,大家通过Google搜索更多关于Spark的信息。然而很多人对Apache Spark的认识存在误解,在这篇文章中,...
原创
发布博客 2019.05.05 ·
322 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据,Hadoop,存储应用的第三极

 数字化转型是当今IT应用的标杆和旗帜,也是讨论最热门的话题。在我看来,数字化转型有两个方面的含义:一是与生产、业务相关的过程尽可能实现数字化,能保留数据全部进行保留;二是基于数据展开分析,动用大数据、人工智能等技术手段,透视数据背后的秘密,产生价值,知道企业生产和业务决策。  对于数字化转型的第一阶段,绝对是一个“烧钱”的阶段,但对于企业来说,这是一个必要条件,具备了数字化的能力不一定...
原创
发布博客 2019.05.05 ·
219 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Java在大数据和互联网发展中的作用是什么?

 Java已经存在了二十多年,是程序员最喜欢、使用最广泛的编程语言之一。如果我们查看编程语言、数据库和操作系统的应用范围,你会发现在过去的几年里似乎并没有什么变化。Java让程序员又爱又恨,那么在大数据和互联网未来的发展中Java又会起到什么样的作用呢?在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,...
原创
发布博客 2019.05.05 ·
1294 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据架构师必读:常见的七种Hadoop和Spark项目案例

 如果您的Hadoop项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同,但根据我的经验,它们是最...
原创
发布博客 2019.05.05 ·
513 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

大数据VS云计算VS人工智能,谁能成为编程界的扛把子?

 大数据、云计算、人工智能,  与其说是“竞争”的关系,不如说是“合作”的关系。  “竞争”之说,是因为世人近来总对“三者谁将成为下个时代的主角”议论纷纷。  而“合作”的解读也许更为本质。  云计算、大数据、人工智能这三者不能分开来讲,而是有着紧密联系的,互相联系,互相依托的,脱离了谁都不能更好的发展。  本文干货,但并不晦涩难懂,看完后你应该会...
原创
发布博客 2019.05.05 ·
637 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据在云计算中转换的4个步骤

 如今的企业必须向顾客提供始终如一的高价值体验,否则会失去顾客。他们正在求助于大数据技术。通过大数据分析,组织可以更好地了解他们的客户,了解他们的习惯,并预测他们的需求,以提供更好的客户体验。  但是,大数据转换的路径并不简单。传统数据库管理和数据仓库设备变得过于昂贵,难以维护和规模化。此外,他们无法应对当今面临的挑战,其中包括非结构化数据,物联网(IoT),流数据,以及数字转型相结合的...
原创
发布博客 2019.05.05 ·
5413 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

为何大数据在当今世界如此重要?

毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段。  相较于稳定性而言,企业更关心的是敏捷性和创新性,通过大数据技术,可以帮助公司及时实现这一愿望。大数据分析不仅使企业能够跟随瞬息万变的潮流而...
原创
发布博客 2019.05.05 ·
1134 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

让大数据分析更有效的5种技术措施

 如今,数据量越来越大。近年来,企业已经意识到数据分析可以带来的价值,并且已经开始采用。企业现在的设备几乎都在监测和测量,并创造了大量的数据,通常比企业处理的更快。其问题是,而正因为大数据定义为“大数据”,所以数据收集的小差异或错误可能会导致出现重大问题,错误信息和不准确的推论。  有了大量数据,就能够以业务为中心的方式来分析它的挑战,实现这一目标的唯一方法就是确保企业制定数据管理策略。...
原创
发布博客 2019.05.05 ·
3031 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

深度解析:Spark 优于 Hadoop 吗?

  对于任何一个进入大数据世界的人来讲,大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理,他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。  维基百科对大数据这样解释:大数据是一个宽泛的术语,它指传统数据处理应用程序无法处理的巨大而复杂的数据集。  简单来讲,随着数据量的增加,采用常规处理方法需要花费大量时间且价格不菲。...
原创
发布博客 2019.05.04 ·
2898 阅读 ·
2 点赞 ·
5 评论 ·
3 收藏

大数据为何这么重要?

毫无疑问,各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中,几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段。  相较于稳定性而言,企业更关心的是敏捷性和创新性,通过大数据技术,可以帮助公司及时实现这一愿望。大数据分析不仅使企业能够跟随瞬息万变的潮...
原创
发布博客 2019.05.04 ·
4125 阅读 ·
2 点赞 ·
5 评论 ·
0 收藏

大数据研究为什么需要有效的方法

有效的大数据研究方法将有助于解决企业面临的一些常见规划的挑战,特别是将投资重点与战略结合起来的规划。  研究方法可以帮助大数据管理者收集更好、更智能的信息。利用大数据和分析的企业,特别是在研究方法的帮助下,发现他们的盈利能力和生产率比竞争对手高出五到六个百分点。  企业可能认为利用大数据能够大幅提高效率,因此立即寻求采用大数据管理,但如果没有适当的研究方法,大数据成功管理所需的...
原创
发布博客 2019.05.04 ·
3708 阅读 ·
1 点赞 ·
6 评论 ·
1 收藏
加载更多