- 博客(6)
- 资源 (24)
- 收藏
- 关注
原创 hadoop常问问题
hadoop常问问题:1,hadoop的调度机制,2,机架感知,3,MR数据倾斜原因和解决方案,4,集群HA配置5,mapreduce的流程6,如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容;7,每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕,不残留数据;8,对于hive,你写过哪些UDF函数,作用是什么9,
2014-03-31 15:54:48 1143
原创 CDH4.6中的配置文件
在CDH4.6中,我们利用parcels的方式安装cdh,然后cm会自动将cdh的各个tar包解压到/usr/lib/目录下,比如hadoop,hive,hbase,pig,zookeeper等都在这个目录下面,在etc/profile中引入安装位置即可cdh的配置文件位于/etc/conf/hadoop 或者hive,hbase下面,这里的文件都是采用软连接的方式,修改以后,会自动在/opt
2014-03-26 00:33:26 1376
转载 Linux的inode的理解
一、inode是什么?理解inode,要从文件储存说起。文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是
2014-03-25 11:09:28 685
原创 Cloudera CDH 、Impala本地通过Parcel安装配置详解
Cloudera CDH 、Impala本地通过Parcel安装配置详解详细见链接:http://www.cnblogs.com/shudonghe/archive/2013/06/19/3145013.html创建本地yum软件源,为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备:ht
2014-03-18 17:18:18 2162
转载 CentOS6.4系统中Mysql数据库卸载、安装与配置教程
就像Windows server 2003,2008中一般安装的是Sql Server 数据库,在linux系统中一般安装的是mysql数据库,而且Mysql数据库的第一个版本就是发行在Linux系统上的。一、mysql简介MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司。MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的
2014-03-13 14:11:51 611
原创 VMware虚拟机中调整Linux分区大小
利用vmware安装centos6.4时,发现虚拟机的linux存储容量不够,则增加10G的空间给linux,可是这样并不能解决linux中分区大小,需要配置。查看分区占用情况,发现/dev/sda2挂载的根分区占用最多,软件全部安装在该分区中。/dev/sda1 及swap分区情况正常。我们分区扩大sda2的分区大小[root@localhost ~]# fdisk -l
2014-03-13 12:19:26 3678
spring-batch-reference.pdf
2019-12-16
虚拟化与云计算
2011-11-01
[Objective-C[1].2.0程序设计(原书第2版)].(美)Stephen.G.Kochan.扫描版
2011-11-01
进程调度算法模拟程序设计
2010-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人