自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 hbase 入门篇

1. HBase框架简单介绍hbase是一个分布式、面向列的开源数据库,不同于一般的的关系型数据库,是一个适合非结构化数据存储的数据库。hbase 基于列的非行的数据库,hbase和BigTable的非常相似的数据模型。BigTable:是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储...

2019-01-07 15:48:20 153

转载 hadooop mr shuffle 笔记

    Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么,那么请看这张图:     这张是官方对Shuffle过程的描述。但我可以肯定的是,单从这张图你基本不可能明白Shuffle的过程,因为它与事实相差挺多,细...

2018-09-24 23:27:14 158

转载 Hadoop数据完整性与CheckSum校验原理

Hadoop数据完整性与CheckSum校验原理用户肯定都希望系统在存储和处理数据时,数据不会有任何丢失或损坏。但是,受网络不稳定、硬件损坏等因素,IO操作过程中难免会出现数据丢失或脏数据,难免会出现数据丢失或脏数据,数据传输的量越大,出现错误的概率就越高。检测数据是否损坏的常见措施是,在数据第一次引入系统时计算校验和(checksum)并存储,在数据进行传输后再次计算校验和进行对比,如果...

2018-08-27 10:19:15 976

转载 orcale 分区

一. 分区表理论知识Oracle提供了分区技术以支持VLDB(Very Large DataBase)。分区表通过对分区列的判断,把分区列不同的记录,放到不同的分区中。分区完全对应用透明。Oracle的分区表可以包括多个分区,每个分区都是一个独立的段(SEGMENT),可以存放到不同的表空间中。查询时可以通过查询表来访问各个分区中的数据,也可以通过在查询时直接指定分区的方法来进行查询。...

2018-08-09 14:28:07 395

转载 Java中的IO流系统详解

Java 流在处理上分为字符流和字节流。字符流处理的单元为 2 个字节的 Unicode 字符,分别操作字符、字符数组或字符串,而字节流处理单元为 1 个字节,操作字节和字节数组。Java 内用 Unicode 编码存储字符,字符流处理类负责将外部的其他编码的字符流和 java 内 Unicode 字符流之间的转换。而类 InputStreamReader 和 OutputStreamWriter...

2018-07-12 15:06:05 114

原创 ECLIPSE/MYECLIPSE 中的一些常用的快捷键

一、eclipse 中的一些常用的快捷键 Eclipse的编辑功能非常强大,掌握了Eclipse快捷键功能,能够大大提高开发效率。Eclipse中有如下一些和编辑相关的快捷键。    1. 【ALT+/】此快捷键为用户编辑的好帮手,能为用户提供内容的辅助,不要为记不全方法和属性名称犯愁,当记不全类、方法和属性的名字时,多体验一下【ALT+/】快捷键带来的好处吧。    2. 【Ctrl+O】显示类...

2018-07-12 11:19:41 100

原创 Hadoop 常用查看文件的命令

随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...

2018-07-03 14:40:56 15988

转载 如何上传安装包到服务器

1、上传安装包到服务器**可以使用图形化工具,如: filezilla**可以使用sftp工具:  alt+p 调出后,用put命令上传上传(如果不cd指定目录,则上传到当前用户的主目录):sftp> cd /home/   sftp> put C:\Users\Administrator\Desktop\day02\soft\jdk-7u45-linux-x64.tar.gz下载(l...

2018-06-24 01:48:14 4027

原创 Linux split拆分文件

inux split 命令    功能说明:切割文件。  -a, --suffix-length=N use suffixes of length N (default 2) 指定拆分文件的后缀长度 -b, --bytes=SIZE put SIZE bytes per output file 按字节拆分,默认单位字节 -C, --line-bytes=SIZE pu...

2018-06-24 00:40:44 265

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除