框架集合
miracle_8
vip文章全部取消
展开
-
Apache Thrift原理(一)
Apache Thrift1、 主要特点: 支持多语言、并发性能高为了支持多种语言,thrift有一套自己的接口定义语言,并且通过thrift代码生成程序,能够生成各种编码语言的代码2、 使用步骤: a. 安装thrift代码生成器 b. 编写IDL文件:主要是编写service服务接口 c. 使用代码生成器生成依赖代码: thrift-0.10.exe -gen java .\thrift原创 2017-09-29 22:25:06 · 624 阅读 · 0 评论 -
zookeeper_api使用
应用jar包 zookeeper-3.5.3-beta.jar以及zk目录的lib下面所有包package com.download;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apa原创 2018-01-09 18:57:03 · 197 阅读 · 0 评论 -
Hadoop介绍(四)Hbase
Hbase hbase-hadoop database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用hbase技术可在廉价pc上搭建起大规模的结构化存储集群角色: hmaster: 为regionserver分配region,负责regionserver的负载均衡,发现失效的regionserver并重新分配其上的region;管理用户对table的增删改查操作 hregio原创 2017-10-11 23:18:24 · 235 阅读 · 0 评论 -
Hadoop介绍(二) HDFS
HDFS文件系统HDFS: 分布式文件系统,专门存储超大数据文件,为整个hadoop生态圈提供了基础的存储服务 角色: 主从模式 Namenode(名字节点/主节点):管理存储和检索多个Datanode的实际数据所需的所有元数据,负责存储调度 DataNode(数据节点):真正存储数据的地方 写入数据:通过输出流写入1、 特点 a. 存储超大文件: 每个磁盘都有默认的数据块大小,这是磁盘对原创 2017-10-11 22:50:39 · 217 阅读 · 0 评论 -
Hadoop总览(一)
Hadoop总览1、 简介: Hadoop是一个由Apache开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。适合处理非结构化数据,包括HDFS,MapReduce基本组件2、 版本: Hadoop版本分为1.0和2.0两代版本。 第一代Hadoop包含三大版本,分别是0.20.x,0.21.x,0.22.x,其中,0原创 2017-10-11 22:20:59 · 200 阅读 · 0 评论 -
zookeeper原理学习
zookeeper:1、 定义: zookeeper是一个分布式、开源的分布式应用程序协调服务。2、 zookeeper的信息记录方式: 1). zk采用树形结构目录结构记录信息。树的深度没有限制(但实际中,不可能建立很深的树结构),每一个节点称为node2). 每个znode都有一个名称,为了避免出现字符集编码问题,不要使用中文作为znode的名称,另外,同一个znode下的子级znode名称原创 2017-09-29 22:10:03 · 372 阅读 · 0 评论 -
storm学习(二)
Storm前提: 全内存查询服务: 直接提供数据读取服务,定期转存到磁盘或数据库进行持久化 半内存查询服务: 使用Redis、Memcache、MongoDB、BerkeleyDB等内存数据库提供数据实时查询服务,由这些系统进行持久化操作 全磁盘查询服务: 使用Hbase等以分布式文件系统(HDFS)为基础的Nosql数据库,对于KeyValue内存引擎,关键是设计好Key的分布1、 定义:原创 2017-09-29 00:21:56 · 364 阅读 · 0 评论 -
storm学习(一)
一、 相关术语 1、Nimbus: storm集群主节点,负责资源分配和任务调度 2、Supervisor: storm集群工作节点,接受Nimbus分配任务,管理Worker 3、Worker: Supervisor下的工作进程,具体任务执行 4、Task:Worker下的工作进程,0.8版本之后表示逻辑线程 5、Topology:实时计算逻辑,计算拓扑,由Spout和Bolt组成的图状原创 2017-03-22 22:40:22 · 221 阅读 · 0 评论 -
大数据之专业术语
专业术语快速失败(fail-fast): 能在任意时刻被停止,并且当进程重启后能够正确恢复执行 无状态: 程序不会保留任意的状态数据,为了重启可以恢复,状态数据要么保存在zookeeper中,要么保存在本地磁盘上主从模式: 主节点和从节点。主节点负责管理元数据信息,从节点实际处理逻辑 主备模式: 主节点和备份节点。防止单点故障,主节点挂了,备份节点接上原创 2017-10-11 21:50:03 · 801 阅读 · 0 评论 -
storm学习(三)
spout方法调用顺序:1. declareOutputFields(调用一次)2. open(调用一次)3. active(调用一次)4. nextTuple(循环调用)5. deactive(手动调用)Bolt接口方法调用顺序:1. declareOutputFields(调用一次)2. prepare(调用一次)3. execute(循环执行)原创 2017-10-02 20:11:24 · 198 阅读 · 0 评论 -
Mina(一)
Mina1、 定义: Mina是Apache的顶级项目,基于java Nio构建,同时支持TCP/IP和UDP/IP两种协议。Mina对外屏蔽了java NIO使用的复杂性,并在性能上做了不少的优化。2、 关键类: IoConnector、IoAccepter、IoHandler、IoSession。mina采用Filter Chain的方式封装消息发送和接收的流程,在这个Filter Chai原创 2017-10-02 09:26:54 · 188 阅读 · 0 评论 -
RPC(一)
RPC1、 RPC基本概念 RPC(Remote Procedure Call Protocotl) 远程过程调用协议,一种通信的描述是: 客户端在不知道调用细节的情况下,调用存在于远程计算机上的某个对象,就像调用本地应用程序中的对象一样。比较正式的描述是:一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。目前典型的RPC实现包括: Dubbo、Thrift、GRPC、Net原创 2017-10-02 09:19:50 · 420 阅读 · 0 评论 -
服务治理(一)
服务治理RPC的不足: 1. 为了实现跨语言通信,编写IDL,但是一旦当业务发生变化后,需要重新编写IDL,重新生成接口代码 2. 当现场需要更新服务时,如何通知其他服务系统1、 服务治理处理逻辑 阿里在众多系统的RPC通信的上层再架一层专门进行RPC通信的协调管理,称为服务治理(阿里的Dubbo和taobao的HSF) 1). 当服务提供者能够向外部系统提供调用服务时,它会首先向”服务管理原创 2017-10-01 14:40:26 · 456 阅读 · 0 评论 -
Springboot quartz 注解 集群分布式定时任务
1.配置文件 quartz.properties:#调度器实例名称org.quartz.scheduler.instanceName = quartzScheduler#调度器实例编号自动生成org.quartz.scheduler.instanceId = AUTO#持久化方式配置org.quartz.jobStore.class = org.quartz.impl.jdbcjo...原创 2019-08-14 12:09:20 · 636 阅读 · 0 评论