夜夜无痕-CSDN博客

原创 hbase 入门篇

1. HBase框架简单介绍hbase是一个分布式、面向列的开源数据库，不同于一般的的关系型数据库，是一个适合非结构化数据存储的数据库。hbase 基于列的非行的数据库，hbase和BigTable的非常相似的数据模型。BigTable：是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库，是一个稀疏的、分布式的、持久化存储...

2019-01-07 15:48:20 154

转载 hadooop mr shuffle 笔记

Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图：这张是官方对Shuffle过程的描述。但我可以肯定的是，单从这张图你基本不可能明白Shuffle的过程，因为它与事实相差挺多，细...

2018-09-24 23:27:14 159

转载 Hadoop数据完整性与CheckSum校验原理

Hadoop数据完整性与CheckSum校验原理用户肯定都希望系统在存储和处理数据时，数据不会有任何丢失或损坏。但是，受网络不稳定、硬件损坏等因素，IO操作过程中难免会出现数据丢失或脏数据，难免会出现数据丢失或脏数据，数据传输的量越大，出现错误的概率就越高。检测数据是否损坏的常见措施是，在数据第一次引入系统时计算校验和(checksum)并存储，在数据进行传输后再次计算校验和进行对比，如果...

2018-08-27 10:19:15 980

转载 orcale 分区

一. 分区表理论知识Oracle提供了分区技术以支持VLDB(Very Large DataBase)。分区表通过对分区列的判断，把分区列不同的记录，放到不同的分区中。分区完全对应用透明。Oracle的分区表可以包括多个分区，每个分区都是一个独立的段（SEGMENT），可以存放到不同的表空间中。查询时可以通过查询表来访问各个分区中的数据，也可以通过在查询时直接指定分区的方法来进行查询。...

2018-08-09 14:28:07 404

Java 流在处理上分为字符流和字节流。字符流处理的单元为 2 个字节的 Unicode 字符，分别操作字符、字符数组或字符串，而字节流处理单元为 1 个字节，操作字节和字节数组。Java 内用 Unicode 编码存储字符，字符流处理类负责将外部的其他编码的字符流和 java 内 Unicode 字符流之间的转换。而类 InputStreamReader 和 OutputStreamWriter...

2018-07-12 15:06:05 116

原创 ECLIPSE/MYECLIPSE 中的一些常用的快捷键

一、eclipse 中的一些常用的快捷键 Eclipse的编辑功能非常强大，掌握了Eclipse快捷键功能，能够大大提高开发效率。Eclipse中有如下一些和编辑相关的快捷键。 1. 【ALT+/】此快捷键为用户编辑的好帮手，能为用户提供内容的辅助，不要为记不全方法和属性名称犯愁，当记不全类、方法和属性的名字时，多体验一下【ALT+/】快捷键带来的好处吧。 2. 【Ctrl+O】显示类...

2018-07-12 11:19:41 100

原创 Hadoop 常用查看文件的命令

随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...

2018-07-03 14:40:56 15991

转载如何上传安装包到服务器

1、上传安装包到服务器**可以使用图形化工具，如： filezilla**可以使用sftp工具： alt+p 调出后，用put命令上传上传（如果不cd指定目录，则上传到当前用户的主目录）：sftp> cd /home/ sftp> put C:\Users\Administrator\Desktop\day02\soft\jdk-7u45-linux-x64.tar.gz下载（l...

2018-06-24 01:48:14 4034

原创 Linux split拆分文件

inux split 命令功能说明：切割文件。 -a, --suffix-length=N use suffixes of length N (default 2) 指定拆分文件的后缀长度 -b, --bytes=SIZE put SIZE bytes per output file 按字节拆分，默认单位字节 -C, --line-bytes=SIZE pu...

2018-06-24 00:40:44 266

qq_34905853的博客