小小本科生成长之路

不积跬步,无以至千里;不积小流,无以成江海。

一致性算法Raft详解

原文出处:http://www.solinx.co/archives/415?utm_source=tuicool&utm_medium=referral 一致性算法Raft详解 背景   熟悉或了解分布性系统的开发者都知道一致性算法的重要性,Paxos一致性算法从90年提出...

2017-06-21 20:05:25

阅读数:5647

评论数:0

Java设计模式学习01——单例模式

Java单例模式是一种常见且较为简单的设计模式。单例模式,顾名思义一个类仅能有一个实例,并且向整个系统提供这一个实例。  单例模式的特点: 单例类仅能有一个实例。单例类必须为自己创建实例。单例类必须向外界提供获取实例的方法。  以下是几种实现方法 一、懒汉式单例(能够延时加载) public ...

2017-04-15 10:31:32

阅读数:691

评论数:0

Spark应用运行流程

相关基本术语 ------------------------- Application:应用,即用户需要完成的应用程序。一般来说,这部分代码需要用户根据自己的需求来完成。这部分代码主要包括两部分:Driver和Executor。 Driver:顾名思义,驱动者,为Application准备运行环...

2017-04-10 22:06:14

阅读数:1891

评论数:0

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'userDao'问题

昨天通过Spring+springmvc+hibernate搭一个简易的页面,遇到如下问题: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'userDao': Inje...

2017-04-03 12:03:14

阅读数:741

评论数:0

HDFS文件读取、写入过程详解

HDFS架构--------------------------    运行在廉价的硬件之上的、成本较低的、访问大型数据集、具有容错的特性、容错机制。HDFS是master/slaves架构,由一个名称节点以及多个数据节点构成。namenode负责namespace管理以及client的访问。内部...

2017-03-29 21:05:42

阅读数:2711

评论数:3

Spark Streaming 简介

批量计算与流计算 -----------------------------    数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和实时计算。批量计算以“静态数据”为对象,可以在很充裕的时间内对海量数据进行批量处理,计算得到有价值的信息。H...

2017-03-29 09:57:22

阅读数:559

评论数:1

apache storm简介与原理

简介 ----------------------------    Storm是一个分布式的、高容错的实时计算系统。    Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语,使我们对数据进行批处理变的非常的简单和优美。同样,St...

2017-03-20 11:28:25

阅读数:2081

评论数:1

HBase简单使用

增删改查 ------------------------------------ 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录       ...

2017-03-13 22:11:02

阅读数:389

评论数:0

HBase简介

Hbase简介 ---------------------------------- HBase– Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群,海量数据的快速随机访问。...

2017-03-13 22:08:48

阅读数:1770

评论数:1

Apache Avro简介与操作

本文根据Apache Avro官方文档所写,http://avro.apache.org/docs/current/index.html.一、Avro简介avro是一个数据序列化系统 提供了: 丰富的数据结构 紧凑的,快速的,二进制的数据格式 一种文件格式,用于存储持久化数据 远程过程调用系统(...

2017-03-08 15:32:47

阅读数:2512

评论数:0

Hadoop机架感知配置

文章装载自http://blog.csdn.net/l1028386804/article/details/51935169 1.背景       Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某...

2017-02-22 16:40:32

阅读数:370

评论数:0

Windows下安装hadoop-eclipse-plugin插件

一、简介由于经常在windows环境下的eclipse写Hadoop的Java代码,而每次开发的mapreduce都需要打成jar包,然后放到linux系统进行调试。通过window下面的eclipse插件,可以直接在windows下面调试mapreduce的方法,十分便利。二、插件安装步骤1.下...

2017-02-17 22:31:39

阅读数:2566

评论数:0

hadoop完全分布式下datanode无法开启解决方法

一、问题描述 当我多次格式化文件系统时,如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format会出现datanode无法启动,查看日志,发现错误为: 2016-12-20 20:39:46,501 ERROR or...

2017-01-04 11:00:42

阅读数:396

评论数:0

深入理解Hadoop集群与网络

本文侧重于Hadoop集群的体系结构和方法,以及Hadoop与网络和服务器基础设施之间的关系。 Hadoop集群部署时有三个角色:Client machines, Master nodes和Slave nodes。 Master nodes负责Hadoop的两个关键功能:数据存...

2016-12-29 21:04:00

阅读数:518

评论数:1

Java设计模式20-备忘录模式

一、场景当我们使用文本编译器记录一些内容时,发现这一步写错了,往往可以使用Ctrl+Z的方式会退到上一个状态,其中运用到的知识就是备忘录模式。二、定义备忘录模式,即保存某个对象内部状态的拷贝,这样以后就可以将该对象恢复到原先的状态。三、模式结构 发起者角色(Originator):负责创建一个备忘...

2016-12-02 10:34:47

阅读数:1499

评论数:3

Java设计模式19——观察者模式

一、定义观察者模式定义了一个一对多的依赖关系,让多个观察者对象同时监听同一个主题对象。当这个主题状态发生改变时,会通知所有观察者对象,让它们自动更新自己。二、类似场景 聊天室程序的创建。服务器创建好后,A、B、C三个客户端连接好公开聊天。A向服务器发送数据,服务器在将数据分别发送给其他在线客户。也...

2016-11-20 18:37:00

阅读数:929

评论数:1

Java设计模式18——状态模式

一、定义状态(State)模式又称为状态对象模式(Pattern of Objects for State),状态模式是对象的行为模式。状态模式允许一个对象在其内部状态改变时改变其行为,用于解决系统中复杂对象的状态装换以及不同状态下行为的封装问题。状态和行为:   所谓对象的状态,通常指的就是对...

2016-11-16 19:46:08

阅读数:3926

评论数:6

Android 异步消息处理机制(Handler 、 Looper 、MessageQueue)源码解析

1、Handler的由来   当程序第一次启动的时候,Android会同时启动一条主线程( Main Thread)来负责处理与UI相关的事件,我们叫做UI线程。   Android的UI操作并不是线程安全的(出于性能优化考虑),意味着如果多个线程并发操作UI线程,可能导致线程安全...

2016-11-15 22:26:21

阅读数:434

评论数:0

Java设计模式17——模板方法模式

一、介绍模板方法模式是编程中经常用到的模式。它定义了一个操作中的算法骨架,将某些步骤延迟到子类中实现。这样,新的子类可以在不改变一个算法结构的前提下重新定义该算法的某些特定步骤。二、场景举例当一个客户到银行办理业务时,有以下流程: 1.取号排队 2.办理具体现金/转账/企业/理财业务 3.给银行工...

2016-11-15 18:20:22

阅读数:902

评论数:1

Java回调机制简单讲解

今天刚好学了一下设计模式中的观察者模式,其中涉及到了回调的相关内容,以前也经常用到回调函数,今天稍微总结一下相关内容。回调所谓回调:简单来说就是,A对象调用了自己的方法a,方法a接收的参数是B接口的实例b,而在方法a中将执行接口B中的方法c。这样解释可能有点绕不过来,下面我们来看一个例子: 比如...

2016-11-14 22:57:51

阅读数:414

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭