- 博客(7)
- 收藏
- 关注
RSS订阅转载 全面对比，深度解析 Ignite 与 Spark
经常有人拿 Ignite 和 Spark 进行比较，然后搞不清两者的区别和联系。Ignite 和 Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且 Ignite 也会对 Spark 进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别。本文从各个方面对此进行对比分析，供各位技术选型参考。一、综述Ignite 和 Spark 都为...
2018-09-21 17:27:26
1487
转载 5分钟掌握var，let和const异同
这个话题对于一些老鸟来说可能根本算不上疑问，但对于新手来说也许除了最常见的var之外，let和const较少使用的机会。所以在本文中，我将会通过一些例子来为大家介绍如何在Javascript中灵活使用var、let和const这些关键字来定义变量，以及这些关键字它们之间有什么异同。如果你懒得看下面的代码，那我可以先把概念结论说出：var定义的变量可被更改，如果不初始化而直接使用也不会报...
2018-09-19 17:52:30
157
转载 Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)
cloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 .CDN介绍和解决的问题CDH是由cloudera进行开发的大数据一站式平台管理解决方案,基于Hadoop生态的第三方发行版本,这样的描述相信大家还是挺难理解...
2018-09-13 09:55:59
468
转载 ElasticSearch排序引起的all shards failed异常原因分析
背景注：ElasticSearch版本为5.4。在我们的日志系统里需要一些系统索引，这些系统索引在应用初始化的时候就会被添加到ElasticSearch中去，这些在ElasticSearch中的系统索引在没有索引数据的时候，只有索引名和一些配置信息，没有mapping信息。当用户去根据时间区间排序搜索日志信息的时候，ElasticSearch就会产生all shards failed异...
2018-09-12 10:15:35
78289
转载 解读MapReduce程序实例
Mapreduce 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理。 Hadoop 的四大组件：（1）HDFS：分布式存储...
2018-09-11 12:00:21
2387
原创 java学习资源第二弹,持续更新方便你我
学习资源我们一直在更新中 Java JDK 7学习笔记：链接：https://pan.baidu.com/s/1ZweY5UpKr87H9MaxShfx-g密码：1xct Java Web入门经典：链接：https://pan.baidu.com/s/1TjPqTvQFfGWyFueB6wto8Q密码：jkqs Java Web设计模式之道：链接：htt...
2018-09-10 09:19:52
761
转载 Hadoop Shuffle详解
每个任务最重要的一个过程就Shuffle过程，这个过程会把所有的数据进行洗牌整理，排序，如果数据量大，将会非常的耗时。如图1.1所示，是一个从map端输出数据到合并成一个文件的过程。图1.1 Map文件输出从图中可以看到Map端输出的数据会被提交到一个内存缓冲区当中，当内存满了后，会被Spill到HDFS中，当Map任务结束后，会把所有的临时文件合并到一个最终的文件中，作为一个最终的...
2018-09-07 15:11:12
1825
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人