- 博客(28)
- 收藏
- 关注
RSS订阅原创 大数据框架Hadoop让人讨厌的12件事
Hadoop大数据开发人员的比用工具之一，但是长时间的使用Hadoop，发现了这12件事情真的影响了Hadoop的易用性。Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。是之成为大数据开发人员的比用工具之一，但是，长时间的使用Hadoop，你就会发现有那么一些事情真的影响了Hadoop的易用性。...
2019-06-12 21:59:59
648
原创 大数据概念、挑战、算法、处理及其研究进展
大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。一、 大数据基本概念大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集...
2019-06-12 21:59:56
1111
原创 大数据就是非相关数据的相关性
大数据的意义在于从海量的数据里寻找出一定的相关性，然后推演出行为方式的可能性。从这个角度来看，很多人所谈的大数据是相关数据的优化和整理概念，压根不是一回事对大数据我不是专家，但由于大数据也是开放性的命题，所以我也就自己的认知水平，谈谈我对大数据的看法，更多集中在数据的金融应用上。第一节 什么是大数据一、大数据并非新事物早在1980 年，著名未来学家阿尔文· 托夫勒就在《第三次浪潮》...
2019-06-12 21:59:54
2318
原创 华为大数据云对象存储服务
毫无疑问，云是数据中心的未来，随着数据中心以及物联网和移动设备的快速发展，我们已经来到一个信息爆炸的时代，据IDC报告，当下数据以每年50%左右的速度快速增长，截至2020年全球数据规模将达44ZB。那么，问题来了——如此天量的数据如何进行存储和备份?尤其是对于那些每天会产生海量图片、视频以及文件的公司或者政府机构而言，这显然是一件痛苦的事情。如果购买传统的存储设备，高昂的存储初期投资很可能会...
2019-06-12 20:00:00
3181
原创 大数据网络的六大关键
大到政府，小到企业，大数据战略似乎成了一个不可逃避的话题，但是关于到底如何部署大数据，大家似乎都是处于一种模糊的状态。事实上，大数据应用程序需要处理大规模信息，而且在出于弹性的考虑将数据复制到多个位置时，信息的规模变得越来越大。但是，大数据的最重要属性并不在于它的规模，而在于它将大作业分割成许多小作业的能力，它能够将处理一个任务的资源分散到多个位置变为并行处理。 在将大规模和分布式架构...
2019-06-12 19:59:58
382
原创 大数据说话：怎样的程序员最抢手？
本文所有的数据来源于100offer网站10月参与拍卖的200名优秀的程序员收到的1244份面试邀请。一、什么样的程序员最受公司青睐？我们分为两点探讨，首先，我们来看影响程序员获得面试邀请数的因素。1、什么样的程序员能获得最多的面试邀请？最直接相关的两个因素是:使用的编程语言与工作的城市。移动开发与Web前端的需求量很大，所以这一类程序员能拿到更...
2019-06-12 19:59:56
834
原创 大数据建模 需要了解的八大定律
数据挖掘是利用业务知识从数据中发现、分析和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式再创造的新知识。同时这种新知识能够带来不菲的价值，因此人们才如此的趋之若鹜。当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP...
2019-06-11 22:00:02
4864
原创 大数据框架认知Hadoop的五大误区
ApacheHadoop助力企业应对他们最艰难的挑战之一——利用海量数据创造价值。用户普遍部署Hadoop框架，是因为它能够帮助企业从各种不同类型的大数据中获得价值。独立分析机构ForresterResearch公司发布的《Forrester浪潮大数据Hadoop解决方案》(2014年一季度版)报告显示，Hadoop的开源架构逐渐深入适应企业环境，其疯狂的发展势头已无法阻挡。其全新独特的数据管理方...
2019-06-11 22:00:00
1445
原创 大数据仍未攻克的五大世界性难题
仍有几大世界性难题等待着我们攻克。在某些情况下，分析所需要的数据根本无迹可寻。在其它情况下，足以应对如此庞大数据量的计算机还没有被发明出来。尽管计算性能、存储容量以及分析技术一直在不断进步，某些现实挑战对于大数据而言仍然过于庞大以至于无法应对。在今天的文章中，我们将探讨五个此类难题 ——看看如何才能将其解决。如果大数据能够在传统领域之外进一步解决世界性难题，结果会怎么样?到目前为止，IBM...
2019-06-11 21:59:58
1973
原创 即使你已经高级程序员了，也来温习git 工作流好吗？！
最近新员工入职都会培训git工作流的相关知识。git这个东西都已经用了很久了，但是如何让一个团队通过git工作流的方式协同工作确实是一个问题。有的同事之前使用过svn，tfs之类的代码管理软件，对git并不是很熟；有的使用过git但是对流程化的东西不太熟悉，特别是为什么需要用这种工作方式不太清楚。今天就和大家唠到一下。gitgit是进行代码分布式管理的工具。除了在远程维护一份代码库以外，在...
2019-06-11 21:00:00
290
原创 如何正确学习web前端流程以及如何找工作
解释一下web前端工作是做啥的，Web前端开发工程师，主要职责是利用(X)HTML/CSS/JavaScript/Flash等各种Web技术进行客户端产品的开发。完成客户端程序（也就是浏览器端）的开发，开发JavaScript以及Flash模块，同时结合后台开发技术模拟整体效果，进行丰富互联网的Web开发，致力于通过技术改善用户体验。个人背景：首先我的前端是自学的，而那个时候并没有前端...
2019-06-11 20:59:56
303
原创 要研究大数据，你必须得知道Hadoop
工欲善其事,必先利其器。像大数据这种多维度、高复杂度的东西，必须要有良好的平台来支撑。Hadoop是什么?Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。Hadoop的框架最核心的设计就是： HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapRed...
2019-06-10 21:59:56
3033
2
原创 九种从大数据中获取价值的方法
现在已经有了许多利用大数据获取商业价值的案例，我们可以参考这些案例并以之为起点，我们也可以从大数据中挖掘出更多的金矿。去年TDWI关于管理大数据的调查显示，89%的受访者认为大数据是一个机会，而在2011年的大数据分析的调查中这个比例仅为70％。在这两次调查中受访问者均普遍认为，要抓住大数据的机会并从中获取商业价值，需要使用先进的分析方法。此外，其他从大数据中获取商业价值的方法包括数据探索、捕...
2019-06-10 21:59:54
649
原创 十种程序语言教你读懂大数据潜在价值
随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的。但如果只用一些操作软件来分析，而不怎么如何用逻辑数据来分析的话，那也只是简单的数据处理。替代性很高的工作，而无法深入规划策略的核心。当然，基本功是最不可忽略的环节，想要成为数据科学家，对于这几个程序你应该要有一定的认识：Hado...
2019-06-10 21:59:52
2836
原创 浅谈大数据十大发展趋势
目前大数据无疑是IT领域的最受关注的热词之一。几乎凡事都要挂上点大数据，否则就显得你OUT了。相信大多数人都能顺口说出大数据的四个特点：容量大，多样化，速度快以及高价值。但随着人们对于大数据的逐渐了解，人们开始讨论大数据究竟能够给人们带来什么样的价值?大数据的未来服务方向在哪里?趋势一：云计算技术与大数据紧密结合如果再找一个可以跟大数据并驾齐驱的IT热词，云计算无疑是跟大数据关系非常大的一...
2019-06-10 21:32:43
640
原创 大数据与云计算概念的解析
如今，在互联网领域，大数据和云计算已经成为密不可分的两大主题，两者之间关系非常微妙。一般来说，一家互联网公司一定同时是数据公司，反之，不能从数据中获取利益的互联网公司一定不是一个好的云计算应用者。更进一步，挖掘数据价值很多企业都会做，但如果不能用最低成本得到数据价值，企业同样活不下去。把数据以低廉成本变成财富的东西就是云计算。那么，云计算是如何帮助大数据将一堆堆杂乱信息转化成经济效益的呢？...
2019-06-09 22:00:01
6517
2
原创 如何有效利用大数据带给我们的优势
“大数据”从不为人知，再到被神化，过度的炒作已经偏离了对大数据本质的认识。从本质上说，数据本身并不具有意义，有时尽管数据量庞大，但是使用价值却不大。可以说谷歌拥有最多的数据来源，它一直想知道每个媒介在一个人对品牌从认识到考虑到最后购买，分别起到了怎样的作用。但即便像谷歌在广告和搜索方面下了很大的努力，也无法描绘出一幅完整的视图，因为还有更多其他媒介是它无法掌握的。因此如何能够打通所有的媒体...
2019-06-09 21:59:59
757
原创 大数据公认最优秀的处理工具hadoop
架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、 Twitter和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它...
2019-06-09 21:59:44
404
原创 大数据的收集与处理技术分享
大数据从收集、处理、到最终落地为可商业化、可以惠及普罗大众的解决方案、产品的闭环链条。所谓从群众中来，到群众中去。正是这个链条的关闭、完成了大数据的工业化。之所以大数据概念能够在近3年突然引爆，恰恰就是因为现阶段处理和收集大数据的能力发生了质变，使得人类社会走进了大数据应用普及的时代：1、大数据的收集两个技术使得大数据的收集开始变得容易：各种传感器的廉价化和部署覆盖率的大大提高。比...
2019-06-09 21:59:42
792
原创 关于大数据12个框架hadoop事实
现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。虽然Hadoop伴随大数据一同火爆起来，但相信还是有许多用户对于它不甚了解。在上周名的TDWI解决方案峰会中， TDWI研究主任兼行业分析师Philip R...
2019-06-08 21:59:55
241
原创 大数据的未来描述超级人工智能
在百度大数据开放大会上，搞计算机学术理论的怀进鹏校长的演讲犹如给所有听众的一记闷棍，怀校长的学术演讲把大家弄得云里雾里，把所有人弄晕了，现场能够听懂的绝对是少数，可能都会觉得怀校长有点像个外星人一般在那自顾自的演讲。作为一个曾经有志从事人工智能研究但失之交臂的又是学计算机毕业的人却越听越兴奋，冥冥中似乎找到了未来的人工智能所能抵达的可能性，那么笔者现在就尝试把怀教授的演讲转换为大家也能够听懂的语言...
2019-06-08 21:59:53
300
原创 程序员对于大数据的十大误解解析
事实上，如果企业能够搞清楚围绕着大数据的一些误解，可能能够帮助他们避免制定错误的业务发展方向，进而化险为夷，防止浪费大量的时间和金钱，耗费企业的市场竞争地位，或者损害企业的声誉。如下，是一些关于围大数据理解的最大的误区。误解1：只有数据科学专家才能处理大数据事实上，仅仅依靠数据科学专家本身是远远不够的。“如果企业自身从一开始都不知道他们希望通过大数据分析中寻找到什么，那么，您企业所...
2019-06-06 16:26:21
254
原创 大数据跟互联网思维的区别
大数据在移动互联网时代显得越来越重要，不仅仅是因为用户的习惯碎片化的趋势明显，更多的是因为在营销多元化情况下用户选择繁多。把握用户大数据在移动互联网时代显得越来越重要，不仅仅是因为用户的习惯碎片化的趋势明显，更多的是因为在营销多元化情况下用户选择繁多。把握用户属性和用户有效转化是不论传统还是创新企业都同样要面对的问题。在大家都在探讨互联网思维的时候，到底什么是互联网思维？各家有各...
2019-06-06 16:26:01
349
原创 玩转大数据必须掌握七大核心技术概念
大数据概念：大数据究竟是什么？很多人可能仍然有些混淆，本文让我们来看看大数据的一些主要的定义。首先要注意的是，行业内的所有人都普遍认同，大数据不只是更多的数据。(1)最初的大数据大数据的特征可以用很多词来描述。2001年Doug Laney最先提出“3V”模型， 包括数量 （Volume）、速度（Velocity）和种类（Variety）。在那以后，业界很多人把3V扩展到了11V，还包...
2019-06-06 14:50:46
198
原创 大数据在未来未必需要大数据框架
已经成为大多数企业管理者关心的问题。显而易见，数据分析能够在大数据时代打来大机遇。但是，数据集需要如此之大吗？现在广为接受的大数据的定义是Gartner提出的三个V的概念，即数量大、种类多和变化快（volume、variety、velocity）。本世纪初，大数据开始流行。管理者也在积极寻求发展自己大数据架构的方法。然而管理者忽视的是，大数据分析的难题可能通过内部部署就足以解决，而且比预想的简...
2019-06-06 14:50:40
147
原创 大数据和云计算的相辅相成区别和关系
大数据技术最早应用在互联网业务中，互联网的特点赋予了这个新兴技术在处理个人数据方面的长处。而今，大数据热迅速“烧”入各个行业，处于爆发前夜。而大数据该如何把握？技术需适应大数据的发展趋势大数据处理首先是获取和记录数据;其次是完成数据的抽取、清洁和标注以及数据的整合、聚集和表达等重要的预处理或处理(取决于实际问题)工作;再次需要一个完整的数据分析步骤，通常包括数据过滤、数据摘要、数据分类或聚...
2019-06-06 13:58:33
393
原创 大数据存储问题的三大技术难题解析
大数据在IT行业是与云计算并驾齐驱的另一大热门话题。“大数据”指的是那些数量巨大、难于收集、处理、分析的数据集，这就容易出现存储问题，本文介绍的容易出现的几大问题。“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。业内对大数据应用寄予了无限的期...
2019-06-06 13:58:21
5672
原创 大数据框架hadoop重要的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让...
2019-06-06 12:01:33
349
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人