weixin_45904976-CSDN博客

原创大数据或将消亡？痛点在哪里？

在“大数据或将消亡”的世界里，是时候认真解决复杂、快速、不断发展的大数据栈所带来的挑战了。现在的主要挑战是确保大数据栈可靠、高效地运行，并且大数据团队拥有交付下一代应用程序、分析、人工智能和机器学习的工具和专业知识。作者：Harris编译来源：机房360|2019-03-19 20:52 收藏分享全世界都知道大数据是怎么回事：埃森哲公司的“大数据的成功”研究发现，79%的企业高管表示，不采...

2019-11-20 13:24:32 118

1.HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。2.SparkSpark是一个用来实现快速而通用的集群计算的平台。速度方面，...

2019-11-20 13:18:28 197

原创金融服务领域的大数据：即时分析

近年来，“大数据”这个术语似乎比其他IT术语都更加流行。这不仅是术语的传播，而且还有广泛的应用，并且很多公司似乎都想赶上创新的列车。无论人们称之为“大数据”、“数据科学”、“工业4.0”或任何其他诱人的术语，人们谈论的都是一样的事物：数据。金融服务领域的大数据：即时分析目前，还没有对大数据的具体定义，但是企业可以根据5个V来测试数据，如果他们拥有所有数据，那么他们其实采用的就是大数据。这5个...

2019-11-20 13:15:20 275

原创 MapReduce：大型集群上的简化数据处理

摘要：MapReduce是一个编程模型，以及处理和生成大型数据集的一个相关实现，它适合各种各样的现实任务。用户指定计算的map和reduce函数。底层运行系统自动地将大规模集群机器间的计算并行化，处理机器故障，以及调度机器间通信以充分利用网络和磁盘。程序员会发现这个系统很好使用：在过去的去年中，超过一万个不同的MapReduce程序已经在Google内部实现，平均每天有十万个MapReuce作业...

2019-11-20 13:05:54 310

原创合理建立Hadoop数据库的7个步骤

数据湖的概念起源于大数据的出现——且数据已成为企业的核心资产，Hadoop则是作为存储和管理数据的平台而出现。但是，盲目地投入Hadoop数据湖建设并不一定会使您的企业进入大数据时代——至少不是以一种成功的方式。在将各种形状和大小的数据资产以非统一方式汇入Hadoop环境或另一个大数据存储库的情况下，尤其如此。这种无序的方法会带来一些挑战和问题，这可能会成为使用数据湖来支持大数据分析应用程序的一...

2019-11-20 12:47:44 305

原创业务部门不配合信息化，CIO该怎么办？

1、是否要IT背锅上次讨论中，多数IT负责人表示IT背锅是很正常的事情，但是主要责任并不在IT身上。而这次讨论中，更多的是在IT身上寻找问题。1、IT部门能不能提供业务部门想要的解决方案？百裕制药集团信息部经理王伟认为：信息化本来就是给业务部门提供技术支持和服务的，如果业务部门都不认可信息化，那只能说明信息化方案和业务需求不匹配，那不配合也是正常的，因为你做的事根本就不是我想要的效果啊。...

2019-11-20 12:46:53 482

转载全面讲解分布式数据库架构设计特点

行业背景随着全球经济下行压力增大，中美贸易摩擦愈演愈烈，美国一系列的经济制裁和技术封锁使得我们有种被扼住咽喉的感觉，数据库作为基础软件中的重要一环有着很深的技术含量，在这样的大背景下国产数据库厂商开始发力，这其中分布式数据库如雨后春笋般出现，良性的竞争环境使它们都得到了长足的发展，其中不乏优秀的产品，本文主要挑选目前几个相对成熟数据库进行架构特点介绍。数据库作为基础软件中的重要一环有着很深的技...

2019-11-20 12:45:30 416 1

原创一千个CIO心中，有一千个ITBP

在CIO&IT经理精英汇微信群中，一些IT负责人发表了自己的观点，这些都很有实际参考意义。今天摘录几条跟大家分享一下。先花少许篇幅从理论的角度介绍下ITBP。这里的BP同HRBP一样，是BUSINESS PARTNER ，就是业务合作伙伴的意思。所以，ITBP就是深入了解业务的IT。ITBP的职责1、由被动接需求转为主动提需求，解决业务问题；2、提升ROI/投产比；3、良好的...

2019-11-20 12:43:58 2757

原创文搞懂神经网络

一、什么神经网络概念所谓神经网络简单说就是包含多个简单且高度相连的元素的系统，每个元素都会根据输入来处理相关信息。神经网络是由节点（神经元）组成，这些节点相互链接，信息传入到输入层之后由多个隐藏层进行处理，处理完后再传递给输出层进行最终处理。这里所说的最终处理有可能是输出结果，也有可能是作为输入数据传入到另外的神经网络或者节点进行下一轮的处理。在上面的内容中我们多次提到节点，那么什么是节点呢...

2019-11-20 12:36:35 148