- 博客(17)
- 收藏
- 关注
RSS订阅原创 大数据入门框架Hadoop基础学习
目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储：分布式文件系统(分布式存储)二、数据的计算：分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线(1)Java基础和Linux基础(2)Hadoop的学...
2019-05-26 17:29:58
420
原创 大数据入门基础学习线路规划图
大数据需要学习什么?很多人问过我这个问题。每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。思维导图下面的是我整理的一张思维导图，内容分成几大块，包括了分布式计算与查询，分布式调度与管理，持久化存储，...
2019-05-26 17:29:57
425
原创 大数据处理技术的总结与分析
在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。一数据分析处理需求分类1 事务型处理在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点：一是事务处理型操作都是细...
2019-05-26 17:29:55
18698
1
原创 大数据常用的五种主要数据挖掘技术
IBM估计，仅过去的两年就产生了世界上百分之九十的数据。每天人们产生2.5兆字节的数据，足以填满1000万个蓝光光盘。数据挖掘技术帮助专业人员了解可用数据集。这些技术可以为企业和其他组织提供描述性和预测性的能力。5个数据挖掘技术1. 关联规则关联规则使两个或多个项之间的关联以确定它们之间的模式。例如，超市可以确定顾客在买草莓时也常买鲜奶油，反之亦然。关联通常用于销售点系统，以确...
2019-05-26 17:29:51
7311
原创 大数据技术常用的12个工具总结
为了满足企业的主要需求，大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中，涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本，并发现能够让企业获利的商业洞察力。显然，大数据分析工具的市场正在不断增长。 许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。...
2019-05-25 16:20:04
11343
原创 云计算、大数据和物联网未来三者之间区别和联系？
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。云计算最初主要包括了两类含义：一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。 随着大数据概念的提出，云计算中的分布式计算技术开始更多地被列入大数据技术，而人们提到云计算时，更多指的是底层基础IT资源的整合优化以及以服务的方式...
2019-05-25 16:20:02
5102
1
原创 大数据入门必须知道八大实战项目
大数据如果应用不当可能很容易失控，并可能消耗企业资源和预算。在这里将介绍避免混乱的一些大数据的最佳实践。 大数据可以为用户提供卓越的洞察力，也有可能让企业不堪重负。而企业根据其收集数据做出自己的选择。企业面临的主要问题是大数据是由技术专业人员收集的技术解决方案，但最佳实践是其业务流程。 由于资源和输入设备得到爆炸式增长，人们收集到的数据比以往更多。根据IBM公司的调查，大多数美国公司存储的...
2019-05-25 16:20:00
4495
原创 大数据和Hadoop培训能否满足市场需求
大数据通常被描述为大量的数据。然而，数据量实际上并不重要，而是可以在数据上执行的分析，以便做出更好的决定和其他商业活动。Hadoop是另一种为大数据更好地处理而开发的技术。由于Hadoop开发人员能够以更好的方式执行分析，因此企业对Hadoop开发人员的需求也正在增长。在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编...
2019-05-25 16:19:33
307
原创 为什么现在java程序员转行大数据工程师，那是因为？
大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。 国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。 JAVA的精密，强大，拥有其它语言不可替代的性能和...
2019-05-25 16:19:30
1650
1
原创 大数据与云计算、物联网三者的区别和关联
大数据与云计算 为解决互联网应用对大规模计算能力、数据存储能力的迫切需求，云计算的概念被提出。云计算是一种分布式计算平台，通过虚拟技术将海量的硬件资源和虚拟资源虚拟成虚拟资源池，并根据需求任务的大小，向虚拟资源池获取相应的计算和存储资源。 在大数据处理的需求下，出现了许多优秀的云计算平台，例如Apache开源的Hadoop、 Google的MapReduce、微软的Dryad等。 在处...
2019-05-24 19:30:01
9014
1
原创 如何选择适合零基础入门大数据框架
技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。 大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后...
2019-05-24 19:29:59
386
原创 大数据基础概念全面解析，清楚知道大数据是啥
在五六年前，大数据已经成为了流行趋势。但目前的大数据还保持着原来的含义吗？Micro Focus南非区域总经理Gary De Menezes给予了否定回答。 如今，为了满足业务需求，厂商都开始研发各种大数据解决方案来帮助企业管理海量的非结构化数据，这也许就是目前大数据存在的意义。 De Menezes表示，如今很多企业都成功的创建了数据存储系统。在业务层面，企业花钱收集和存储数据，但很多...
2019-05-24 19:29:57
443
原创 大数据零基础入门学习路线
大数据需要学习什么?很多人问过我这个问题。每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。 思维导图 下面的是我整理的一张思维导图，内容分成几大块，包括了分布式计算与查询，分布式调度与管理，持久化存储...
2019-05-24 19:29:55
478
原创 大数据和hadoop区别和关系
随着信息化技术的日渐普及、宽带网络的快速兴起，以及云计算、移动互联和物联网等新一代信息技术的广泛应用，全球数据的增长速度进一步加快。与此同时，一批数据收集、存储、处理技术和应用快速发展并逐渐汇聚。软件运用的技术越来越尖端，结合不断提高的计算能力，从数据中提取有价值信息的能力显着提高。大体量的数据不再是无序而又没有价值的，大数据诞生了。 1认识大数据 所谓大数据，就是从各种类型的数据中，快速获...
2019-05-24 19:29:53
1879
1
原创 大数据技术分享，hadoop框架基础分布
Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。 Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简单的操作和编程...
2019-05-24 19:29:51
301
原创 大数据框架Spark高手是怎样炼成的
大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。 Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的...
2019-05-24 19:29:49
293
原创 大数据处理的五大关键技术及其应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。其中主要工作环节包括： 大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 一、大数据采集技术 数据是指通...
2019-05-24 19:29:45
14250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人