- 博客(4)
- 资源 (6)
- 收藏
- 关注
原创 Hadoop之hdfs2.x分布式存储系统学习
解决hdfs1.x中单点故障和内存受限 1、内存受限解决方案(NN元数据内存受限) 1-2:国内 一个集群只能有一个NameNode,则把不同阶段的数据存到不同的集群里,这是国内如京东百度淘宝等的解决方法。如: 京东的订单存一个集群 京东的流水存一个集群 京东的商品信息存一个集群 订单里10年前的一个集群,10年内的一个集群 2-2:官方提供的解决方法:HDFS Federat...
2018-09-14 15:15:11 249
原创 Hadoop之hdfs1.x分布式存储系统学习
一、Hadoop创始人介绍 Doug cutting,就职Yahaoo期间开发了Hadoop项目,目前就职于Cloudera公司从事架构工作。Hadoop是其儿子的玩具大象,Doug cutting还编写了其情妇命名的lucene 。 二、Hadoop简介 1、分布式存储系统hdfs(存储) 2、分布式计算框架MapReduce(离线计算,spark内存计算,storm流式计算) 三、H...
2018-09-13 16:28:26 331
原创 spark源码之scala基础学习
一、scala scala是一种基于JVM的面向对象的函数编程,scala编程相对于java而言代码整洁、开发效率更高。 其中scala优点主要有: 1:面向对象,可以定义class,通过new调用实例对象使用。 2:兼容java,在scala中可以直接调用java方法。 2:函数式编程,柯里化函数,匿名函数,高阶函数等。 3:代码行简单。 4:支持并发控制,Actor Model机...
2018-09-10 15:00:36 479
原创 ElasticSearch的核心概念原理
一、ElasticSearch ElasticSearch是个开源的分布式的搜索引擎,它可以近乎实时的存储、检索数据; Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。 ElasticSearch提供javaAPI,使用者可以通过javaAPI...
2018-09-04 11:37:23 1477 1
ES(elasticSearch6.4.0)之java API源码demo-完整注释版
2018-10-16
ES(elasticSearch6.4.0)之java API源码demo
2018-09-10
spark源码之scala基础语法demo
2018-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人