- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hadoop配置fair-scheduler的方法
hadoop有以下几种调度方法1，FIFO(先进先出调度器)这种是hadoop默认的调度2，capacity-scheduler(计算能力调度器)3，fair-scheduler(公平调度器)。以下是fair-scheduler的配置方法。1. 将HADOOP_HOME/contrib/fairscheduler的jar包考入到HADOOP_HOME/lib下例如：cp $
2013-09-30 16:41:21
1217
1
原创 Eclipse连接hadoop的配置方法
1，将hadoop-1.0.3-eclipse-plugin.jar(这里一定要跟你的hadoop版本支持的一致) 文件放入liunx 下的hadoop目录及win下的eclipse的plugins目录下， 然后打开eclipse 在windows->open perspective 下可看到Map/Reduce 点击后 可在窗口下方看到Map/Reduce Locations，右键“New Ha
2013-09-30 14:21:40
1234
原创 重置root密码
Linux下重置root密码：1， 在启动linux时按”e”键2， 进入选项后，将选项选到” kernel”带头的一串选项中，按”e”键进入编辑3， 在出现的可编辑内容中的ro前加上”single”表是单用户进入。4， 按回车键返回选项区，然后继续将光标放入”kernel”内容上按”b”键进入编辑5， 当出现命令行以”sh -”带头时，即可在其后输入”passwd root”
2013-09-29 14:15:03
559
原创 元数据的类别
元数据(Metadata)：是关于数据的数据，即对数据的描述。ETL过程的元数据模型主要包括几方面：1， 数据源的元数据：如果是文本，则应包括该文本的格式表述信息如果是数据库，则应包含数据库信息、数据库模式、数据的表结构、数据字段的属性、数据的完整性约束等2， 数据仓库的元数据：为数据抽取任务配置管理提供信息，包括数据仓库信息，数据仓库模式，数据的表结构，数据的字段属性，数据的完整
2013-09-29 13:36:43
1556
原创 数据仓库的两种建模
1,自下而上(适合先建立数据集市)又称为总线架构(kimball) 按用户的需求通过螺旋发展的过程来设计数据仓库，第一步是根据特定业务过程按照维度模型建立数据集市，然后通过一系列维度相同的数据集市递增地构建成数据仓库。不同数据集市之间通过创建一致性维度来集成，每次增加数据集市都必需整合一致性维度，并将整合好的一致性维度同步更新到所有的数据集市。在这种方法中，可以把数据集市理解为整
2013-09-27 23:33:28
1345
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人