iteye_15948-CSDN博客

原创 HDFS磁盘调度策略

callstack: FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long) OR FsVolumeList.getNext...

2016-03-29 10:15:48 290

原创 Linux >/dev/null 2>&1，以及2>1 VS 2>&1

1. 标准输入stdin文件描述符为0，标准输出stdout文件描述符为1，标准错误stderr文件描述符为22. /dev/null 空设备，相当于垃圾桶3. 重定向符号：>3. 2>1 与 2>&1 的区别 2>1, 把标准错误stderr重定向到文件1中 2>&1,把标准错误stderr重定向到标准输出stdout4. ...

2015-06-03 16:46:29 99

原创 Linux常用命令大全

文件系统操作命令： 1. cat：可以显示文件的内容（经常和more搭配使用），或将多个文件合并成一个文件。 2. chgrp：用来改变文件或目录所属的用户组，命令的参数以空格分开的要改变属组的文件列表，文件名支持通配符，如果用户不是该文件的所有者，则不能改变该文件的所属组。 3. chmod：用于改变文件或目录的访问权限，该命令有两种用法：一种是使用图形化的方法，另一种是数字设置法...

2015-06-03 14:26:03 77

原创 Hbase写数据，存数据，读数据的详细过程

Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个Store...

2015-06-03 11:11:04 183

原创 HBase查找一条数据的过程

HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的 RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那...

2015-06-03 11:08:17 101

原创 HIVE和HBASE区别（转载）

1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/...

2015-06-03 11:05:09 72

原创 Hadoop学习之Win7下 Hadoop-2.4.0 Eclipse插件编译实践

转载：http://blog.csdn.net/osg_yanglinping/article/details/25702333 一、准备工作下载插件源码地址：https://github.com/winghc/hadoop2x-eclipse-plugin下载ANT：http://www.apache.org/dist/ant/binaries/apache-ant-1.9.4...

2015-03-24 15:29:47 63

原创 Hadoop集群环境安装步骤

1. 实验环境：1) 三台主机，IP地址和记住名称如下：IP：132.129.31.36 主机名：ossitsp3 用途：主节点（Master）IP：132.129.31.37 主机名：ossitsp4 用途：从节点（Slaver）IP：132.129.31.38 主机名: ossitsp5 用途：从节点（Slaver）其中36主机作为主节点，37和38作为从节点...

2015-01-15 09:09:10 92

原创 Linux操作系统下的JDK安装详细说明

1. 卸载原有系统自带JDK2. 下载JDK版本JDK 版本：jdk-7u71-linux-x64.tar.gz3. 解压安装我准备把JDK安装到这个路径：/usr/local/java如果没有这个目录（第一次当然没有），我们就新建一个目录 cd /usr/local mkdir java chmod 777 java建立好了以后，我们来到刚才下载好的压缩包的目...

2015-01-15 09:04:51 70

iteye_15948的博客