- 博客(9)
- 收藏
- 关注
原创 HDFS磁盘调度策略
callstack: FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long) OR FsVolumeList.getNext...
2016-03-29 10:15:48
290
原创 Linux >/dev/null 2>&1,以及2>1 VS 2>&1
1. 标准输入stdin文件描述符为0,标准输出stdout文件描述符为1,标准错误stderr文件描述符为22. /dev/null 空设备,相当于垃圾桶3. 重定向符号:>3. 2>1 与 2>&1 的区别 2>1, 把标准错误stderr重定向到文件1中 2>&1,把标准错误stderr重定向到标准输出stdout4. ...
2015-06-03 16:46:29
99
原创 Linux常用命令大全
文件系统操作命令: 1. cat:可以显示文件的内容(经常和more搭配使用),或将多个文件合并成一个文件。 2. chgrp:用来改变文件或目录所属的用户组,命令的参数以空格分开的要改变属组的文件列表,文件名支持通配符,如果用户不是该文件的所有者,则不能改变该文件的所属组。 3. chmod:用于改变文件或目录的访问权限,该命令有两种用法:一种是使用图形化的方法,另一种是数字设置法...
2015-06-03 14:26:03
77
原创 Hbase写数据,存数据,读数据的详细过程
Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除 -> 当StoreFiles Compact后,逐步形成越来越大的StoreFile -> 单个Store...
2015-06-03 11:11:04
183
原创 HBase查找一条数据的过程
HBase中的Client如何路由到正确的RegionServer在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的 RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并 不知道哪个RegionServer管理哪个Region,那...
2015-06-03 11:08:17
101
原创 HIVE和HBASE区别(转载)
1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/...
2015-06-03 11:05:09
72
原创 Hadoop学习之Win7下 Hadoop-2.4.0 Eclipse插件编译实践
转载:http://blog.csdn.net/osg_yanglinping/article/details/25702333 一、准备工作 下载插件源码地址:https://github.com/winghc/hadoop2x-eclipse-plugin下载ANT:http://www.apache.org/dist/ant/binaries/apache-ant-1.9.4...
2015-03-24 15:29:47
63
原创 Hadoop集群环境安装步骤
1. 实验环境:1) 三台主机,IP地址和记住名称如下:IP:132.129.31.36 主机名:ossitsp3 用途:主节点(Master)IP:132.129.31.37 主机名:ossitsp4 用途:从节点(Slaver)IP:132.129.31.38 主机名: ossitsp5 用途:从节点(Slaver)其中36主机作为主节点,37和38作为从节点...
2015-01-15 09:09:10
92
原创 Linux操作系统下的JDK安装详细说明
1. 卸载原有系统自带JDK2. 下载JDK版本JDK 版本:jdk-7u71-linux-x64.tar.gz3. 解压安装我准备把JDK安装到这个路径:/usr/local/java如果没有这个目录(第一次当然没有),我们就新建一个目录 cd /usr/local mkdir java chmod 777 java建立好了以后,我们来到刚才下载好的压缩包的目...
2015-01-15 09:04:51
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人