区块链简述

区块链概述 1、区块链属于一种去中心化的记录技术。参与到系统上的节点,可能不属于同一组织、彼此无需信任;区块链数据由所有节点共同维护,每个参与维护节点都能复制获得一份完整记录的拷贝。 2、跟传统的记账技术相比,其特点包括: ① 维护一条不断增长的链,只可能添加记录,而发生过的记录都不可篡改;...

2018-02-27 10:56:27

阅读数 864

评论数 0

各组件总结

【HBase】【Hive】【Cassandra】【MongoDB】【Storm】【Kafka】【Flume】【Redis】【Ganglia】

2017-12-21 16:27:00

阅读数 243

评论数 0

Java_Lambda表达式

Lambda表达式: (Apple a1, Apple a2) -> { a1.getWeight().compareTo(a2.getWeight()) }  参数列表 —— 这里它采用了Comparator中compare方法的参数,两个Apple。  箭头 —— ‘->’...

2017-12-18 16:49:53

阅读数 212

评论数 0

Java_通过行为参数化传递代码

通过行为参数化传递代码 把一个行为(一段代码)封装起来,并通过传递和使用创建的行为(例如对Apple的不同谓词)将方法的行为参数化。// 定义Apple类 public class Apple{ private Integer weight = null; private Str...

2017-12-18 14:40:50

阅读数 417

评论数 0

Scala_类

一、类的基本元素 class Counter{ private var value = 0 // 定义私有属性 def increment() { value += 1} // 定义方法,默认是共有的 def current() = value } 二、私有变...

2017-12-16 16:42:03

阅读数 191

评论数 0

Scala_常用功能

一、If…Else… val x = 5 val s = if (x > 0) 1 else -1 // s 类型为Int val m = if (x > 0) "positive" else -1 // s 类型为String和Int的公共超类型Any ...

2017-12-16 16:14:09

阅读数 171

评论数 0

Scala_容器

一、关键字:var(variable:可重新指向其他对象) val(value:只能始终指向同一对象)① 定义变量 val array: Array[String] = new Array(5) var stockPrice: Double = 100.0 stockPrice = 2...

2017-12-15 23:57:19

阅读数 189

评论数 0

Python_高级特性

一、生成器生成器表达式背后遵守了迭代器协议,可以逐个地产出元素,而不是先建立一个完整的列表,然后再把这个列表传递到某个构造函数里。能够节省内存使用。colors = ['black', 'white'] sizes = ['s', 'm', 'l'] for tshirt in ('%s %s' ...

2017-12-15 22:15:14

阅读数 202

评论数 0

B-、B、B+、B*树

B树(即二叉搜索树):① 节点本身存储一个关键字 ② 非叶子节点至多两个子 ③ 左子比父小,右子比父大特性: 当左右子树节点数差不多时(平衡), 搜索性能逼近二分查找。比起连续内 存空间来,优点是插入和删除节点时 不需要移动大段的内存数据,通常为 常数开销。缺点: 经过多次插入和删...

2017-12-14 22:07:59

阅读数 162

评论数 0

Solr_集群介绍

概述Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库 Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式 SolrCloud是基于Solr和Zookeeper的分布式搜索方案。在分布式索引中,原...

2017-12-14 15:51:41

阅读数 437

评论数 0

Lucene_简介

Lucene概述Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。 索引过程:①获取内容②建立文档 获取原始内容后,就需要对这些内容进行索引,必须首先将这些内容转换成部件(通常称为文档),以供搜索引擎使用。文档主要包括...

2017-12-14 15:09:43

阅读数 39091

评论数 1

Yarn_资源调度器

概述资源调度器是Hadoop YARN 中最核心的组件之一, 它是ResourceManager 中的一个插拔式服务组件,负责整个集群资源的管理和分配。主要有两种多用户资源调度器的设计思路:第一种在一个物理集群上虚拟多个Hadoop 集群, 这些集群各自拥有全套独立的Hadoop 服务,典型的代表...

2017-12-14 14:35:21

阅读数 960

评论数 0

Yarn_ResourceManager剖析

概述Yarn采用了Master/Slave结构,其中,Master实现为ResourceManager,负责整个集群资源的管理与调度;Slave实现为NodeManager,负责单个节点的资源管理与任务启动。ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统...

2017-12-14 14:23:47

阅读数 759

评论数 0

Hadoop_HA原理

总体上说, Hadoop 2.0 中的HDFS 和YARN 均采用了基于共享存储的HA 解决方案,即Active Master 不断将信息写入一个共享存储系统, 而Standby Master 则不断读取这些信息,以与Active Master 的内存信息保持同步。当需要主备切换时, 选中的Sta...

2017-12-14 14:18:48

阅读数 1922

评论数 0

Yarn_应用程序设计

概述YARN 是一个资源管理系统,负责集群资源的管理和调度。如果想要将一个新的应用程序运行在YARN之上,通常需要编写两个组件Client和ApplicationMaster。其中, Client负责向ResourceManager提交 ApplicationMaster,并查询应用程序运行状态;...

2017-12-14 13:49:38

阅读数 233

评论数 0

Yarn_基础库

概述YARN 基础库是其他一切模块的基础,它的设计直接决定了YARN 的稳定性和扩展性,概括起来,YARN 的基础库主要有以下几个。 ❑ Protocol Buffers :Protocol Buffers 是 Google 开源的序列化库,具有平台无关、高性能、兼容性好等优点。YARN 将Pr...

2017-12-14 12:42:58

阅读数 170

评论数 0

Yarn_基础

轻量级弹性计算平台基于数据密集型应用的计算框架不断出现,从支持离线处理的MapReduce,到支持在线处理的 Storm,从迭代式计算框架Spark 到流式处理框架S4。在搜索引擎公司中,一种可能的技术方 案如下:网页建立索引采用MapReduce 框架,自然语言处理/ 数据挖掘采用Spark(...

2017-12-14 11:49:23

阅读数 448

评论数 0

Zookeeper_典型应用场景

数据发布/订阅即所谓的配置中心,发布者将数据发布到zookeeper的一个或多个节点上,供订阅者进行数据订阅,进而达到动态获取数据的目的,实现配置信息的集中式管理和数据的动态更新。zookeeper采用的是推拉结合的方式:客户端向服务端注册自己需要关注的节点,一旦该节点的数据发生变更,那么服务端就...

2017-12-12 09:29:14

阅读数 787

评论数 0

Zookeeper_运维

基本配置 参数名 说明 clientPort 该参数无默认值,必须配置。表示当前服务器对外服务的端口号,一般设置为2181.集群汇总的所有服务器不需要保持clientPort端口一致 dataDir 该参数无默认值,...

2017-12-12 09:28:56

阅读数 242

评论数 0

Zookeeper_概述

zookeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。 zookeeper可以保证如下分布式一致性特性: ① 顺序一致性: 从同一个客户端发起的事...

2017-12-11 15:15:21

阅读数 230

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭