通过sqoop将MySQL数据库中的数据导入Hbase

最新推荐文章于 2024-08-12 03:04:15 发布
最新推荐文章于 2024-08-12 03:04:15 发布
阅读量3.7k 收藏 9
点赞数 2
分类专栏： 大数据 文章标签： sqoop hadoop hbase mysql sqoop定时导入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_21431775/article/details/71436050
版权
本文介绍了如何在大数据环境中，利用sqoop工具进行安装配置，并详细讲解了如何从MySQL数据库定时导入数据到Hbase的过程，包括解决hbase与hadoop的兼容问题及具体的sqoop命令使用。
摘要由CSDN通过智能技术生成

从接触到大数据到成功的实现一个功能期间走了不少弯路也踩了不少坑，这里作为我的学习笔记也可以作为小白们的前车之鉴，少走弯路，有不正确之处，望指出

环境准备：

hadoop、hbase、sqoop、mysql

hbase和hadoop版本存在兼容问题，具体兼容信息参照官网和相关资料

一、sqoop安装配置

1.下载
下载地址

2.解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ /home/sqoop

3.环境变量配置
vi /etc/profile
添加以下内容
export SQOOP_HOME=/home/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
使其生效 source /etc/profile
最低0.47元/天 解锁文章
杨启萌
关注
专栏目录
mysql数据导入hbase
11-19
MySQL通过sqoop工具用命令将数据导入到hbase的代码文件
使用Sqoop从MySQL中导入数据
sn_gis的专栏
06-11 1632
使用Sqoop从MySQL中导入数据 Sqoop是Apache项目，是Hadoop
sqoop 连接mysql数据库
最新发布
weixin_41357933的博客
08-12 47
我整理的一些关于【MySQL,SQL】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/yOSbkRSqoop 连接 MySQL 数据库的流程与实现 Sqoop 是一个用于在 Hadoop 和关系型数据库之间传输数据的强大工具。在本篇文章中，我们将一步一步地学习如何使用 Sqo...
mysql导入hbase
weixin_30861459的博客
03-08 120
##########################cat dt.txt 2015-12-02 422015-12-04 12015-12-09 27692015-12-10 64392015-12-11 5966#########cat imp.py # -*- coding: utf-8 -*-import sys reload(sys)sys.setdefaultencoding('utf...
mysql导入hbase_mysql导入hbase
weixin_39637260的博客
01-18 177
##########################cat dt.txt2015-12-02 422015-12-04 12015-12-09 27692015-12-10 64392015-12-11 5966#########cat imp.py# -*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')...
sqoop把mysql数据导入hbase2.1.6
03-13
首先，Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive，还能直接导入到HBase。关键在于正确使用参数： 1. `--hbase-table`：此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话，数据将被导入...
mysql导出到hbase sqoop_Sqoop将mysql数据导入hbase的血与泪
weixin_42659194的博客
12-24 190
Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天)版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处： https://my.oschina.net/yunshuxueyuan/blogQQ技术交流群：299142667一、问题如何产生庞老师只讲解了mysql和hdfs，mysq与hive的数据互导，因此决定研究一下将mysql数据直接导入hbase,这时出现...
使用sqoop将MySQL数据库中的数据导入Hbase
cqboy1991的专栏
06-05 1546
使用sqoop将MySQL数据库中的数据导入Hbase 前提：安装好 sqoop、hbase。 下载jbdc驱动：mysql-connector-java-5.1.10.jar 将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下 MySQL导入HBase命令： sqoop import --connect j
sqoop mysql导入hbase乱码_sqoop将mysql数据导入hbase、hive的血与泪
weixin_31498229的博客
02-11 372
一、 需求：(将以下这张表数据导入mysql)由此，编写如下sqoop导入命令sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.1.9/spider --username root --password root --table test_goods --hbase-create-table --...
mysql数据导入到hbase中
08-03
利用sqoop把mysql数据导入到hbase中，建立phoenix与hbase的映射，用phoenix jdbc操作hbase！达到sql操作nosql！
mysql中数据经处理导入到hbase中
12-02
根据mysql中数据库配置表信息查询mysql中数据，将部分处理为json格式，上传到hbase中。
将mysql数据导入hbase
younglishun的博客
05-27 371
#MySQL导出本地文件 mysql -A monitor_data -h 172.16.100.208 -uroot -p7ujm8ik, -ss -e “SELECT * from kpi;” | sed ‘s/\t/","/g;s/^/"/;s/$/"/;s/\n//g’ > kpi1.csv #远程数据导出到本地 ssh root@172.16.100.208 ‘mysql -A monitor_data -h 172.16.100.208 -uroot -ptrustfar -ss -e “
Linux采用sqoop定时从关系型数据库中导入hbase中
似水流年
07-27 1398
在Hbase创建 buyer_name表以及簇列buyer_info create 'buyer_name','buyer_info' crontab -e #crm 57 10 * * * /usr/home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/sqoop import --append --connect jdbc:oracle:t
HBase:Sqoop整合HBase
12-20 2901
Sqoop整合HBase sqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去 我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据 需求一：将mysql表当中的数据导入到HBase当中来 第一步：修改sqoop配置文件 sqoop导入导出HBase的数据，需要修改sqoop的配置文件sqoop...
mysql数据导入hbase增量_Mysql表数据导入Hbase
weixin_39895283的博客
02-02 235
一、问题：目前数据库一个表数据非常大，达到几千万行，需要导入Hbase进行处理二、实现思路2.1用shell导入，基于sqoop思义sql to hadoop。sqoop特性：支持多种导入方式，包括指定列导入，指定格式导入，支持增量导入(有更新才导入)等等。如下的导入都是指定一个列族，rowkey即为./sqoop import –driver com.mysql.jdbc.Driver –con...
mysql数据导入hbase增量_mysql数据导入到hbase
weixin_42613360的博客
02-02 183
实现过程中发现 不会写shell是个硬伤最后只能分两步进行操作1.sel_tabs.sh/usr/bin/mysql -hIp地址 -u用户名 -p密码 -D数据库名<useselect table_name from information_schema.tables where table_schema=‘数据库名‘ and table_type=‘base table‘;EOF运行 b...
sqoop导入mysql定时_【sqoop】定时执行shell脚本，sqoop从mysql导出多张表信息到hbase...
weixin_42501785的博客
02-11 171
一、shell脚本#!/bin/bash#coding=UTF-8#date_year=$(date +%Y)#echo $date_yearsource /etc/profilefor((i=3;i<=8;i++));do/opt/sqoop-1.4.6/bin/sqoop import --connect jdbc:mysql://192.168.150.86:3306/ablesky_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值