sqoop
文章平均质量分 70
驰驰的老爸
IT民工一枚,长期耕耘于JAVA, JS,LINUX一线,现在努力提高机器学习方面的技能。
展开
-
使用 Sqoop 使HDFS Informix 数据可以互相写入
1.下载sqoop-1.3.0-cdh3u6.tar.gz,实验中所有hadoop相关子项目都是cdh版,解压到指定目录。[hadoop@master software]$ tar -xvf sqoop-1.3.0-cdh3u6.tar.gz 2.复制informix驱动到sqoop lib目录下。[hadoop@master software]$ cp ifxjdbc.jar原创 2013-07-03 18:16:29 · 2628 阅读 · 1 评论 -
sqoop 从 hive 导到mysql遇到的问题
环境hive 版本hive-0.11.0sqoop 版本 sqoop-1.4.4.bin__hadoop-1.0.0从hive导到mysqlmysql 表:mysql> desc cps_activation;+————+————-+——+—–+———+—————-+| Field | Type | Null | Key |转载 2014-02-09 10:45:30 · 18672 阅读 · 0 评论 -
sqoop 1.99 安装配置
http://abloz.com摘要:1. sqoop 1.99的安装配置2. client使用3. 从HBase,Hive导数据到mysql版本sqoop-1.99.2-bin-hadoop100Sqoop是Hadoop系统数据和RDBMS互导数据的工具。1.99新版的一个包里包含两个部分:客户端和服务器端。必须在集群中安装好一个节点的服务器端。所有客户端转载 2014-02-09 10:50:45 · 6965 阅读 · 0 评论 -
用sqoop进行mysql和hdfs系统间的数据互导
sqoop 是apache下用于RDBMS和HDFS互相导数据的工具。本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase。下载:http://www.apache.org/dyn/closer.cgi/sqoop/[zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apach转载 2014-02-09 11:25:39 · 16314 阅读 · 0 评论 -
使用sqoop1导出mysql数据到hbase中
安装配置cdh5.03版sqoop2-1.99.3导入数据1.下载sqoop2:http://www.cloudera.com/content/support/en/downloads/cdh/cdh-5-0-3.html2.无法启动配置server/conf下catalina.properties文件,把所有hadoop的共享jar包配置到sqoop环境变量中,可以参考官方文档搞定。原创 2014-07-18 12:54:56 · 3356 阅读 · 0 评论 -
(一) hbase+solr概念和环境搭建
(一) hbase+solr概念和环境搭建概念:Hadoop实现了一个分布式文件系统(HadoopDistributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽原创 2014-07-24 12:13:36 · 14265 阅读 · 19 评论 -
hbase导入数据总结:
目前有两种方式导入:1.使用sqoop工具导入。2.通过写hbase java api导入。总结:hbase的入库性能还行,查询效率高。 目前咱们的数据量很难遇到极端场景。1.使用sqoop 把cpp数据导入hbasesqoop思义sql to hadoop。sqoop特性:支持多种导入方式,包括指定列导入,指定格式导入,支持增量导入(有更新才导入)等等。原创 2014-08-05 16:37:28 · 3789 阅读 · 1 评论 -
java jvm GC 参数设置
programatically转载 2014-07-31 12:40:59 · 1469 阅读 · 0 评论