![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据迁移
姹紫_嫣红
生活也好,工作也好,本来就是消磨人的事儿,要在被消磨之间反身抗衡是需要勇气的。
博客园:http://www.cnblogs.com/xleer/
展开
-
HBase之Bulk Load实现快速导入数据
目录: 【1】传统的HTableOutputFormat写HBase有什么问题? 【2】BulkLoad的流程与实现? 【3】说明 【1】传统的HTableOutputFormat写HBase有什么问题?通常的Mapreduce在写入HBase时使用的是TableOutputFormat方式,在Reduce中直接生成Put对象写入到HBase。该方式转载 2015-10-19 17:36:26 · 2155 阅读 · 0 评论 -
Put方法实现Mysql向Hbase数据迁移
配置hadoop location同eclipse hadoop开发。创建mapreduce project项目,build path引入HBase(同eclipse中HBase开发)和mysql(mysql connection)的jar包。右键新建class类,编辑代码:package dfs;import java.io.IOException;import ja原创 2015-07-26 17:30:50 · 2095 阅读 · 2 评论 -
利用HBase提供的ImportTSV工具导入数据
利用ImportTSV将HDFS上的cvs文件导入到已经建好的Hbase表中。首先用Hbase shell建表:hbase $bin/ hbase shellhbase>create 'b',{NAME=>'cf'}然后,新建一个cvs文件,写入:(用,号隔开的)1,"tome"2,"sam"3,"jerry"4,"marry"然后利用命令将文件上传至hdfs上原创 2015-11-23 17:18:30 · 1533 阅读 · 2 评论 -
Hbase的completebulkload导入数据
有时候,我们需要将日志文件中的数据导入到Hbase中,通常情况下,你可以写一个方法逐行读取日志记录然后写入到Hbase中,但是这种方法往往效率比较低下,更好地方式试讲日志文件的内容通过某种工具直接导入到Hbase中,会显得更快速更方便,Hbase中有现成的工具支持来这么做。这两个工具分别是ImportTSV和complete不离开load。ImportTSV是用来将日志文件转化成HFile原创 2015-11-23 22:16:25 · 2093 阅读 · 0 评论 -
hbase数据迁移的mapreduce代码
package translate1;import java.io.IOException;import java.util.Scanner;import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapreduce.*;import org.apa原创 2015-12-30 16:28:11 · 688 阅读 · 0 评论 -
hbase数据迁移put方法java代码
package ceshi;import java.io.IOException;import java.util.Scanner;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement; import java.sql.ResultSet;import org原创 2015-12-30 16:29:20 · 1460 阅读 · 0 评论 -
mysql到hbase数据迁移之getobject
代码:/**********************************************************************************连接mysql数据库中的information_schema数据库,获取要迁移的mysql数据库中各个表中的字段数目和名称*****************************************************...原创 2016-07-05 09:17:58 · 1645 阅读 · 0 评论 -
sqoop1安装在hadoop2.6.0上不能使用import命令的问题
本人是菜鸟一枚,之前自己就在dell的台式机上安装了hadoop2.6.0的伪分布式,一直认为hadoop高深非我等常人可以明白理解的,怀揣着不求机理、问题清楚明了,只求能折腾出我想要的结果的心游走在Hadoop的边缘,所谓擦边球。但最近发现很多功能试了又试就是达不到预想的结果。然后网上搜了n多解决方案,依然不能解决。看了一个帖子,评论上说回归logs,如果连logs都看不明白,那你只能上个棒槌了...原创 2016-08-03 17:30:08 · 1498 阅读 · 0 评论 -
sqoop2安装 sqoop1.99.6+hadoop2.6.0
1.下载sqoop2安装包:http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/2.解压安装包,sudo tar -zxvf sqoop*.tar.gz3.修改文件的名字为sqoop1996,sudo mv sqoop* sqoop19964.进入sqoop1996文件,进行配置:cd sqoop19961.配置环境变量,sudo gedit ~/...原创 2016-08-01 20:33:52 · 2692 阅读 · 0 评论