2017年02月_0x12A2A7F

转载 mongoDB常用命令

成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令：show dbs:显示数据库列表 show collections：显示当前数据库中的集合（类似关系数据库中的表） show users：显示用户use ：切换当前数据库，这和MS-SQL里面的意思一样 db.help()：显示数据库操作命

2017-02-26 13:08:42 503

转载利用R语言实现spark大数据分析与可视化

系统概述在日常业务分析中， R是非常常用的分析工具，而当数据量较大时，用R语言需要需用更多的时间来完成训练模型，spark作为大规模数据计算框架，采用内存计算，可以短时间内完成大量的数据的处理及计算模型，但缺点是不能图形展示， R语言的sparkly则提供了R语言和Spark的接⼝，实现了在数据量大的情况下，应用Spark的快速数据分析和处理能力结合R语言的图形化展示功能，方便

2017-02-23 21:20:14 6486

转载 R资源大全

0.前言　　虽然很早就知道R被微软收购，也很早知道R在统计分析处理方面很强大，开始一直没有行动过。。。直到　　直到12月初在微软技术大会，看到我软的工程师演示R的使用，我就震惊了，然后最近在网上到处了解和爬一些R的资料，看着看着就入迷了，这就是个大宝库了，以前怎么没发现，看来还是太狭隘了。直到前几天我看到这个Awesome R文档，我就静不下来了，对比了目前自己的工作和以后的方向，非常

2017-02-22 21:49:15 7731

转载 Zookeeper在大型分布式系统中的应用

一、前言　　在大数据时代，各种分布式系统层出不穷，其中，有很多系统都直接或间接使用了Zookeeper，用来解决诸如配置管理、分布式通知/协调、集群管理和Master选举等一系列分布式问题。二、 Hadoop　　Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce，分别提供了对海量数据的存储和计算能力，后来，Had

2017-02-22 21:19:02 397

转载 Zookeeper的服务器角色

一、前言　　Zookeeper中服务器的各个角色及其细节。二、服务器角色　　2.1 Leader　　Leader服务器是Zookeeper集群工作的核心，其主要工作如下　　(1) 事务请求的唯一调度和处理者，保证集群事务处理的顺序性。　　(2) 集群内部各服务器的调度者。　　1. 请求处理链　　使用责任链来处理每个客户端的请求时Zoo

2017-02-22 21:09:59 489

转载 Zookeeper源码分析之序列化

一、前言　　在完成了前面的理论学习后，现在可以从源码角度来解析Zookeeper的细节，首先笔者想从序列化入手，因为在网络通信、数据存储中都用到了序列化，下面开始分析。二、序列化　　序列化主要在zookeeper.jute包中，其中涉及的主要接口如下　　　　· InputArchive　　　　· OutputArchive　　　　· Index

2017-02-22 21:02:46 783

转载 Zookeeper源码分析之Watcher机制（三）

一、前言　　前面已经分析了Watcher机制中的大多数类，本篇对于ZKWatchManager的外部类Zookeeper进行分析。二、ZooKeeper源码分析　　2.1 类的内部类　　ZooKeeper的内部类框架图如下图所示　　说明：　　· ZKWatchManager，Zookeeper的Watcher管理者，其源码在之前已经分析过，不再累赘。　　· WatchRe...

2017-02-21 23:14:07 650

转载 Zookeeper源码分析之Watcher机制（二）

一、前言　　前面已经分析了Watcher机制中的第一部分，即在org.apache.zookeeper下的相关类，接着来分析org.apache.zookeeper.server下的WatchManager类。二、WatchManager源码分析　　2.1 类的属性　public class WatchManager { // Logger private ...

2017-02-21 23:04:12 354

转载 Zookeeper源码分析之Watcher机制（一）

一、前言　　分析Zookeeper中的Watcher机制所涉及到的类。二、总体框图　　对于Watcher机制而言，主要涉及的类主要如下。　　说明：　　Watcher，接口类型，其定义了process方法，需子类实现。　　Event，接口类型，Watcher的内部类，无任何方法。　　KeeperState，枚举类型，Event的内部类，表示

2017-02-21 22:59:19 528

转载 Zookeeper与Paxos

一、前言　　Paxos在开源软件Zookeeper中的应用。二、Zookeeper　　Zookeeper是一个开源的分布式协调服务，其设计目标是将那些复杂的且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一些列简单的接口提供给用户使用。其是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/发布、负载均衡、命名服务、分布式协调

2017-02-21 22:40:58 279

转载 Zookeeper源码分析之请求处理链

一、总体框图　　对于请求处理链而言，所有请求处理器的父接口为RequestProcessor，其框架图如下说明：　　AckRequestProcessor，将前一阶段的请求作为ACK转发给Leader。　　CommitProcessor，将到来的请求与本地提交的请求进行匹配，这是因为改变系统状态的本地请求的返回结果是到来的请求。　　FinalReques

2017-02-21 22:25:36 1086

转载 Zookeeper序列化及通信协议

一、Jute　　Jute是Zookeeper底层序列化组件，其用于Zookeeper进行网络数据传输和本地磁盘数据存储的序列化和反序列化工作。　　2.1 Jute序列化　　　　MockReHeader实体类package com.hust.grid.leesf.jute.examples;import org.apache.jute.InputArchive;im

2017-02-21 20:54:24 2719

LW_ICE