【大数据】Sqoop
【大数据】Sqoop
北京小辉
余辉,硕士毕业于中科院,从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色:研发、架构师、负责人、讲师。数据知识产权:出版大数据书籍【1】本,论文【2】篇,软著【6】篇,专利【65】篇。
展开
-
Sqoop每天全量抽取SqlServer的数据存储到hive中
需求:1、通过Sqoop每天全量抽取SqlServer的数据,按照存储到hive中,通过hive的partition进行分割#!/usr/bin/env bash################################################################################# 功能描述:抽取关系型数据库中数据(全量)# 输入:源表名称、目...原创 2019-09-29 11:12:46 · 1588 阅读 · 2 评论 -
sqoop--离线数据接入平台项目详解
目录1、需求2、架构和步鄹3、细化步鄹讲解1、需求近期公司需要抽取mysql和SqlServer数据到hive中,且将数据处理过程成需要进行加密脱敏。2、架构和步鄹3、细化步鄹讲解1、源数据到stage功能描述:抽取关系型数据库中数据(全量或增量)启动方式:extract -n stageDataBaseName -s stageTableName ...原创 2019-10-18 12:14:23 · 843 阅读 · 0 评论 -
sqoop入门教程
目录一、Sqoop概述       1、简介       2、Sqoop架构原理      &nb原创 2019-01-22 20:45:01 · 3515 阅读 · 0 评论 -
Sqoop抽取Phoenix数据
使用场景:主要想实现抽取hbase数据到hive中,Sqoop不支持对hbase的直接抽取,但是我们可以通过Phoenix映射hbase表实现。安装好phoenix后对于HBase中已经存在的数据表不会自动进行映射,所以想要再phoenix中操作HBase已有数据表就需要手动进行配置。查看phoenix的版本,如果版本是4.10之前的,映射关系是根据列来映射的,phoenix可以通过create...原创 2019-05-06 21:35:09 · 809 阅读 · 0 评论