2018年09月_zealscott

原创 hadoop编程实践（一）

Hadoop操作基础与IDE环境配置。Hadoop操作目录操作在操作之前，需要在hadoop根目录下创建与Linux用户同名的user目录./bin/hdfs dfs -mkdir -p /user/hadoop之后，所有的文件都默认放入这个目录下面，很多命令与Linux命令一致，比如查看当前文件夹：这个input是这样创建的：./bin/hfs dfs -mkdi...

2018-09-30 15:56:18 4390 3

原创 VIM使用简介

VIM使用备忘。VIM的启动启动命令：vi my.txt如果文件存在，则vi显示文件内容并等待用户的命令。如果指定的文件不存在，则vi将告知用户这是未命名的文件，并进入一个空白的界面。启动vi时都是默认处于命令模式。用户必须使用命令切换到文本输入模式才能进行输入编辑，或者可执行删除、复制等编辑命令。VIM的退出冒号进命令行模式下：:q! 不存档强制退出。:w保存但不退出...

2018-09-30 08:18:44 143

原创 shell脚本使用

介绍Shell脚本在Linux下的使用。步骤shell脚本能提高用户操作和管理员进行系统管理的效率一般步骤编辑器编写脚本程序shell做解释程序，非交互地执行脚本，两种执行方式：用sh命令执行脚本文件给脚本文件添加执行权限，用./命令执行基本元素#! /bin/bash必须的，指出shell的类型也可以指定python执行#表示注释变量特殊符号...

2018-09-30 08:17:15 235

原创 hadoop安装与配置

安装并使用多种方法配置Hadoop。准备创建Hadoop用户创建新用户sudo useradd –m hadoop –s /bin/bash设置密码sudo passwd hadoop增加管理员权限sudo adduser hadoop sudo最后，切换到该用户进行登录SSH登录权限设置配置SSH的原因Hadoop名称节点（NameNode）需要...

2018-09-26 13:48:07 350

原创存储的正确性

数据不会被恶意串改和删除（一般不在数据库中考虑）在发生宕机、磁盘损坏或其他意外时，数据完好在程序出错的情况下，数据不被损坏（很难补救）如何衡量？一个CRUD操作成功，将永久性生效（Durability）除了read，其余操作为导致状态转移任何一个CRUD操作都将被正确的执行逻辑上不出错原子性（Atomicity）一个操作在瞬间完成只有完成和未完成两种可能...

2018-09-23 21:58:09 210

原创高可用性

High availability - fault tolerantUseful linkRaft algorthemvisualization of Raftoriginal paperzh_cn versionworkusing Redundancy and Replication to reach fault tolerantRaftkey pointlead...

2018-09-23 20:56:32 213

原创常见概率分布总结

DiscreteBernoulli distributionpmffX(x)=P(X=x)={(1−p)1−xpxfor x = 0 or 10otherwisef_X(x) = P(X= x) =\left\{\begin{aligned}(1-p)^{1-x}p^x &amp; \quad \text{for x = 0 o...

2018-09-22 21:51:03 850

原创 RPC in Java

Implement Socket and RPC in Java.SocketTCP基于TCP的Socket通信，实现前后端通信服务器端服务器端需要先运行，指定监听端口，等待客户端接入package TCP;import java.io.*;import java.net.ServerSocket;import java.net.Socket;public clas...

2018-09-20 21:03:45 121

原创 RPC and serialization

Socket and RPC implement.Implement can be seen there.Socketusing TCPTCP (Transmission Control Protocol) is a standard that defines how to establish and maintain a network conversation via which ...

2018-09-20 21:02:46 133

原创 Document-oriented DB:MongoBD(1)

Introduce to Document-oriented Database: MongoBD.ConceptionDocument -> Collection -> DatabaseExample: MongoDB (using in Web App) using B-Tree as storage structureObject Oriented Progr...

2018-09-12 19:00:47 165

crazy_scott的博客