- 博客(13)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 EXTJS GRID分页时序号自增的实现
ExtJs Grid分页时，默认情况下每页的序号都是从1起始的，这往往不符合我们的习惯。这里实现了序号的自动增加。先看效果图：实现步骤如下：1、定义全局变量。 var record_start = 0;2、Grid的columns部分的定义。 columns : [new Ext.grid.RowNumberer({ header : "序号",
2013-11-25 10:32:50
1760
转载 hadoop MapReduce实例解析
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job
2013-11-21 23:02:40
801
转载 Hadoop数据传输工具sqoop
概述sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop的进一步发展可以参考：A New Ge
2013-11-15 11:47:20
1319
转载 hbase 与 hive 结合
前置条件hadoop hive hbase环境搭建完成。搭建版本hadoop-1.0.3hive-0.9.0hbase-0.94.2zookeeper-3.3.5步骤配置hive xml，配置hbase与hive结合包Xml代码 hive.aux.jars.path file:///usr/local/hive-0.9.0/lib/hive-hba
2013-11-15 11:04:37
1006
转载 sqoop hbase导入并与hive结合
sqoop语句以tid为主键，info为列族Html代码 sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-fami
2013-11-15 10:27:44
1752
1
转载 Hive部署（包括集成Hbase和Sqoop）
1 安装环境1.1 系统环境 主要是选择软件版本。Hadoop 1.0.3Hbase 0.94.0Hive 0.8.1zookeeper-3.3.5Mysql 5.5.28JDK 1.6Sqoop-1.4.21.2 环境变量$HDOOP_HOME：/home/hadoop/hadoop$HBASE_HOME：/home/hadoop/hbase$HIVE_HOME
2013-11-15 10:12:14
943
转载 sqoop的安装、配置及使用简介
下载sqoop和hadoop：wget http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gz wget http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz解压：tar zxvf sqoop
2013-11-07 22:55:38
1180
转载 MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用程序管理器（ApplicationMaster）。一
2013-11-05 19:59:06
1032
转载 Hadoop 新 MapReduce 框架 Yarn 详解
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 1.Hadoop 原 MapReduce 架构 从上图中可以清楚的看出原
2013-11-05 19:56:54
715
转载 使用hive读取hbase数据
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，
2013-11-01 17:20:58
1594
1
转载 hadoop，hbase，hive安装全记录
操作系统：CentOS 5.5Hadoop：hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master，namenode的IP:10.10.102.15datanode主机名:slave1，datanode的IP:10.10.106.8datanode主机名:slave2，datanode的IP:10.10.106.9一、hadoop 安装
2013-11-01 17:17:54
1046
转载 hive集成hbase笔记
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进
2013-11-01 17:16:16
960
转载 Hadoop之Hive本地与远程mysql数据库管理模式安装手册
一、环境描述Mysql版本：mysql-installer-community-5.5.27.1 32位Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机 master slave的开销和使用空间还可以多利用一台机器的资源，如果你的虚拟机资源很紧张的话也可以这样部署。Linux ISO：CentOS
2013-11-01 10:48:33
1651
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人