- 博客(38)
- 收藏
- 关注
RSS订阅原创 大数据架构面临技术集成的巨大障碍
企业可以利用Hadoop以及所有与它相关的技术设计大数据环境，以满足其特定的需求。但把所有的技术集成在一起并不是一件容易的事。 IT团队寻求构建大数据架构时有大量的技术可供选择，他们可以混合搭配各种技术以满足数据处理和分析需求。但是有一个问题存在：把所有需要的技术框架组合到一起是一项艰巨的任务。 在不断扩展的Hadoop生态系统中，选择和部署合适的大数据技术是一个...
2019-05-09 14:16:51
907
1
原创 想充分利用大数据？就要先改变这些操作方式
如今，数字革命几乎在每个行业发生，其中包括医疗保健，制造，金融，零售行业等等。组织正在采用传感器，数字记录，云计算和自动化(存在众多其他技术之中)，以简化和改进操作，报告，以及客户服务。这一切的基础是一个稳定的数据流，这是更精确的大量的数据，因为我们知道有可能促进业务的发展。 人们处在组织运作方式的模式转变的边缘，这是理所当然的。新技术日益发展，并更加有助于大量的信息。为了利用数据价值，...
2019-05-09 14:15:20
1043
原创 掌握10到30种技术，只为创建一个大数据解决方案
大数据的应用仍然太难了。尽管有很多的炒作的成分，但大多数企业仍然努力从他们的数据中获得价值。而Dresner咨询服务公司得出结论：“尽管长时间的意识培养和炒作，大数据分析的实际部署目前并不广泛适用于大多数组织。” 这是人员的问题。尽管有说服力的数据，企业高管们往往宁愿忽略这些数据。但是，大数据复杂性的一大部分是因为所需要的软件。虽然Spark和其他更新的系统已经改善了轨迹，但大数据基础设施仍...
2019-05-09 14:14:19
527
原创 大数据零基础如何入门
现在是大数据时代，很多人都想要学习大数据，因为不管是就业前景还是薪资都非常的不错，不少人纷纷从其他行业转型到大数据行业，那么零基础的人也想要学习大数据怎么办呢？下面一起探讨下零基础如何快速入门大数据技巧吧。很多人都需要学习大数据是需要有一定的基础的，编程语言就是必备的条件之一，编程语言目前热门的有：Java、Python、PHP、C/C++等等，无论是学习哪一门编程语言，总之要精细掌握一门语言...
2019-05-06 21:59:43
528
原创 Hadoop之后：大数据的未来
在实时数据世界里，为什么我们还这么执着于Hadoop？根据451 Research调查数据显示，围绕批处理架构的Hadoop仍然是大数据[注]的代表技术，尽管其声誉仍然超过实际部署情况。 Hadoop之后：大数据的未来 还没有真正部署Hadoop的企业可能想要再等一等。而随着Apache Spark等其他技术（Storm、Kafka等）的出现，我们似乎与Hadoop的批处...
2019-05-05 16:32:25
760
原创 五个角度浅析大数据与BI的区别
BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。 大数据(Big Data)是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性。简单而言，大数据更偏重于发现，以及猜测并印证的循环逼近过程...
2019-05-05 16:31:10
10553
原创 关于大数据分析的四个关键环节
什么是大数据 随着大数据时代的到来，AI 概念的火热，人们的认知有所提高。为什么说大数据有价值 这是不是只是一个虚的概念 大家怎么考虑数据驱动问题 为什么掌握更多的数据就会更有效 这些问题很难回答，但是，大数据绝不是大而空洞的。 信息论之父香农曾表示，信息是用来消除不信任的东西，比如预测明天会不会下雨，如果知道了今天的天气、风速、云层、气压等信息，有助于得出更准确的结论。所...
2019-05-05 16:29:49
2460
原创 面向大数据的分布式调度
一、调度 从上个世纪50年代起，调度问题的研究就受到数学、运筹学、工程技术学等领域科学的重视[1]，人们主要从数学的角度来研究调度问题，调度问题也同样被定义为”分配一组资源来执行一组任务”，以获得生产任务执行时间或成本的最优[2]。调度在计算机任务的实现可以依赖操作系统的定时任务进行触发(例如Linux系统的Crontab)，主要针对单任务机制的触发，调度最基本的需要能够按时或者按照事...
2019-05-05 16:28:47
761
原创 与大数据密切相关的人工智能，如何才能摆脱“云”的束
虽然人工智能在处理数据和提供价值产出上具有巨大的优势，但是有一个缺点是无法避免的，那就是人工智能“大脑”的距离问题。 大多数AI算法需要大量的数据和计算能力来完成任务。因此，他们需要依靠云服务器来执行计算，并且无法在边缘、手机、计算机等设备上实现大多数功能。 相比之下，我们人类可以大脑边缘中执行大多数计算和决策，只有在自身处理能力和记忆能力不足时才会引用其他来源。在这...
2019-05-05 16:27:31
306
原创 什么是大数据?你需要知道的一切
分析大量数据只是使大数据分析与以前的数据分析不同的一部分。我们还要了解其它方面。 先有数据，然后是大数据。那么，它们有什么区别? 定义大数据 一般而言，大数据是指容量庞大的数据集，大到传统的数据处理软件产品无法在合理的时间内捕获、管理和处理数据。 这些大数据集可以包括结构化数据、非结构化数据和半结构化数据，人们可以从每个数据挖掘到洞察。 多大的数据才算得上“大”尚无定论，但它通常...
2019-05-04 12:36:32
1291
3
原创 用于大数据处理的高性能计算的4个实现步骤
在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分析计算。 HPC和Hadoop之间的区别很难区分，因为可以在高性能计算(HPC)设备上运行Hadoop分析作业，但反之亦然。 HPC和Hadoop分析都使用并行数据处理，但在Hadoop 和分析环境中，数据存储在硬件上，并分布在该硬件的多个节点上。在高性能计算(HPC)中，数据文件的大小...
2019-05-04 12:35:12
1667
3
原创 Hadoop和企业信息管理：利用大数据的解决方案
过去几年，大数据在全球商业环境中的重要性已得到坚定的确认。2017年看起来是 Apache Hadoo pimplementation (在开源开发和更多的商业选择方面)在企业层面上，由于企业信息管理(EIM)仍然需要更多改进的大数据解决方案。 数据仓库现代化、Hadoop项目级的采用和数据湖泊的使用的早期(和持续)趋势可能会继续以更快的速度向前发展。在版本1和2之间，Hadoop已经从一个主...
2019-05-04 12:33:44
1422
原创 关于大数据你应该了解的五件事儿
随着科技的发展，目前已经步入了大数据的时代，很多社交媒体和互联网公司也非常关注大数据这一行业。那么对于大数据而言，这里有五件事情是你应该了解的。 1.大数据是什么? 简单地说，大数据指的是通过计算分析大数据集，以揭示与数据某一方面相关的模式或趋势。对于大数据而言，数据量没有一定的要求，只要足够得出可靠的结论即可。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面...
2019-05-04 12:32:41
1301
原创 数据收集的历史如何引导大数据时代发展
数据收集并不像人们想象的那样从计算机诞生才开始进行的。数据已被用于实验和研究已经有数百年的时间，并形成了一些理论。随着技术的进步，数据的组织已经改变了平台。数据的使用也越来越普遍，因为企业领导者现在意识到数据支持的方法是推销客户或投资者的唯一方式。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：45834578...
2019-05-04 12:31:34
1126
原创 关于大数据，这里有10个预测
到了2020年，世界上每个人每秒将创造7 MB的数据。在过去的几年里，我们已经创造了比人类历史上更多的数据。大数据席卷全球，并且没有放缓的迹象。人们可能会想，“大数据产业从哪里开始 ”以下有10个大数据预测可以回答这个有趣的问题。 1. 机器学习将成为大数据应用的下一件大事 当今最热门的技术趋势之一就是机器学习，它也将在未来的大数据中发挥重要作用。根据调研机构Ovum的预测，机器学习将在...
2019-05-04 12:29:50
3126
原创 20个顶级大数据软件应用程序
如今，大数据技术对企业来说不再是一种尝试和体验，它已成为企业开展业务的一个重要组成部分。根据调研机构IDC公司的调查，2017年全球大数据和业务分析(BDA)的市场收入将达到1508亿美元，和2016年相比增长12.4%。到2020年，其收入将超过2100亿美元。 这些大部分来自硬件和服务。对于大数据软件而言，在某些情况下，每家公司的需求都是基于垂直行业的独特需求。即使在同一行业，如零售行业...
2019-05-04 12:28:37
12191
原创 大数据处理框架的类型、比较和选择
说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce:Simplied Data Processing on Large Clusters》。在当时(2000年左右)，由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志;计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输入...
2019-05-04 12:27:23
8277
1
原创 Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。 所谓理论方法，是指试图解决问题的一般情况，设计通用的算法能适应尽量多的情况，并努力使算法的复杂度降低。在研究问题时不会考虑具体环境下某个具体动作是否可以执行以及该动作消耗的...
2019-05-04 12:25:20
1461
原创 常用的几种大数据架构剖析
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下： 可以看到在B...
2019-05-04 12:24:18
8750
1
原创 基于hadoop分析，了解hive的使用
一、Hadoop理论 Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理） Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，k...
2019-05-03 12:09:26
4132
原创 Hadoop机架感知
1.数据分块HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的 MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储 + 副本的策略是...
2019-05-03 12:07:12
5335
原创 Hadoop环境中管理大数据存储八大技巧
分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥有一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。超融合VS分布...
2019-05-03 12:05:45
343
原创 大数据技术分享：Hadoop的相关工具
1. HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。2. Ambari作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用...
2019-05-03 12:03:50
334
原创 Python在大数据挖掘中的应用
Python作为一种特殊的编程语言，可以链接各种编程语言，应用与各种不同的场景。不管是数据挖掘、运维、建站还是爬虫都广泛运用。Python和其他编程语言相比，具有语法清晰、开发效率高的特点。Python往往一行代码可以实现其他语言N行代码的功能(但是某些场景执行效率不如C、Java等)。对于学习成本来讲，相对其它编程语言来讲，只要找对教程，一个对编程没有太多概念的初学者也可以轻松入门。...
2019-05-03 12:01:33
11468
原创 如何进行大数据分析与处理？
1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受。2. 数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点3. 预测性分析 大数据分析最终要的应用领域之一就是预测性...
2019-05-03 11:59:07
12791
原创 Hadoop的优点和缺点有哪些？
说到大数据技术不得不提起Hadoop，它有哪些优缺点呢？Hadoop的优点1、Hadoop具有按位存储和处理数据能力的高可靠性。2、Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。3、Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。4、Hadoop能够自动保...
2019-05-03 11:57:45
37379
原创 hadoop入门五步走
第一步 安装hadoop集群1、安装jdk，当前为jdk8，jdk9、10、11由于会移除一些类，导致hadoop集群安装失败 安装细节不在赘述 2、hadoop的安装细节 注意的地方：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。 第二步 理解相关概念以及hadoop的...
2019-05-03 11:55:33
3346
原创 大数据Hadoop的数据库审计
——大数据渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的制高点。在大数据时代下，信息和数据的分析处理都会变得比以前更加繁杂，管理起来也更加麻烦。大数据发展仍旧面临着众多问题，最受大众关注的就是安全与隐私问题——大数据在收集、存储和使用的过程中，都面临着一定的安全风险，一旦大数据产生隐私泄露的情况，会对用户的安全性造成严重威胁。对大数据以及人工智能概念都是模糊不清的，...
2019-05-03 11:51:15
1428
原创 为什么越来越多的企业急招Java大数据工程师？
为什么越来越多的企业急招Java大数据工程师？为什么马云如此看重Java大数据技术？为什么人人都在讨论Java大数据？为什么企业如此重视Java大数据？今天达妹整理一个行业报告，来告诉你答案。毫无疑问，各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中，几乎所有行业都或多或少的受到这一巨变的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来...
2019-05-02 11:44:49
3304
原创 AI时代就业指南：Java 程序员如何转行做大数据？
随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员，大数据就是最大的浪潮，借浪潮之势而为之，可成功从IT程序员转行成为大数据专家。在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数据相关...
2019-05-02 11:43:24
3337
原创 大数据发展前景及发展战略分析
大数据的定义大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的特点数据量大、数据种类多、要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。大数据的采集科学...
2019-05-02 11:37:15
6979
原创 找到新的发展方向，程序员转型大数据成为新趋势
T行业的大洗牌在大数据出现之后真正的拉开了帷幕。一场面向整个IT领域的大变革已经悄然开始。不论是对传统的IT开发人员，还是对跨行业转型者都是个机会。那么，面对着这个可遇不可求的机会，程序员以及基础者该如何转型呢？大数据的出现被很多人认为是一个千载难逢的机会，那么，这个机会究竟体现在哪些方面的呢？首先：人才缺口大，市场对人才需求迫切先不说大数据领域处于起步阶段，相应的专业人才本...
2019-05-02 11:35:56
3072
原创 Hadoop没有消亡，它是大数据的未来
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，为了反驳此前一篇文章《为什么 Hadoop 正在消亡？（Why Hadoop is Failing）》的观点，他在自己的博客上写了一篇论述自己看法的文章，他认为达尔文式的开源生态系统正在确保 Hadoop 成为稳固和成熟的技术平台。机器之心对这篇反驳文章进...
2019-05-02 11:32:32
3612
原创 大数据分析工程师的求职攻略
随着互联网的兴起，人工智能和大数据成为了热门领域，越来越多的企业开始通过对数据的挖掘分析来为商业决策提供建议，在国内市场，人工智能和大数据领域人才出现巨大的缺口。而数据分析师入行需要的技术能力较易，转行/自学性价比极高，成为大数据领域的热门职业。一个是职业方向的选择。比起我本专业的方向，大数据领域有着显而易见的几点优势：人才缺口非常大，薪资的相对水平比较高，成长速度比较快。在这里我还是要推...
2019-05-02 11:30:50
769
原创 大数据不在于“大”而在于“用”
“大数据”是一种规模大到在获取、存储、管理、分析方面，大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转等特征。海量数据和奇思妙想加以链接，孕育着巨大价值。近日，国家发改委公布《关于组织实施促进大数据发展重大工程的通知》，提到四个“重点支持”，即大数据示范应用、大数据共享开放、基础设施统筹发展、数据要素流通。“开展创业创新大数据应用，实施大数据开放行动计...
2019-05-02 11:27:29
1187
原创 大数据和云计算到底是何关系？
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数...
2019-05-02 11:25:32
5992
5
原创 大数据计算架构Hadoop、Spark和Storm 三者技术比较
从人工统计分析到电脑 大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系，未来大数据架构究竟该走向何方呢?短短几年时间，大数据这...
2019-05-02 11:23:34
924
原创 从大数据到人工智能 我们还有多远的路要走
从广义上讲，人工智能的应用已经非常广泛，各大新闻客户端会根据你的阅读兴趣推送相关新闻、各大电商平台会根据你的购买习惯推送相关商品、几乎所有你浏览的网页所呈现的广告都与你的历史搜索相关……这些都可以称得上是人工智能。而且，与过去60年人工智能的发展主要集中在实验室里不同，新一轮的人工智能已经在诸多应用场景中发挥威力，应该说，新一轮的人工智能浪潮才刚刚开始。从云计算到大数据，人工智能已经具备了相对...
2019-05-02 11:21:30
419
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人