![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
秋无之地
大佬们点点关注,会回关
展开
-
【大数据】Sqoop 使用案例
目录 一、导入数据 1.1 RDBMS到HDFS 1.2 RDBMS到Hive 1.3 RDBMS到Hbase 二、导出数据 2.1 HIVE/HDFS到RDBMS 三、脚本打包 一、导入数据 在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。 1.1 RDBMS到HDFS 确定Mysql服务开启正常 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -原创 2022-03-14 17:00:46 · 114 阅读 · 0 评论 -
【大数据】Sqoop 概述及安装环境搭建
目录 一、Sqoop简介 二、Sqoop原理 三、Sqoop安装 3.1 下载并解压 3.2 修改配置文件 3.3 拷贝JDBC驱动 3.4 配置环境变量 3.5 验证是否安装成功 一、Sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到原创 2022-03-14 16:47:40 · 223 阅读 · 0 评论 -
【大数据】hadoop完全分布式集群搭建
目录 一、编写分发脚本xsnyc 1、在home/data/bin目录下创建分发脚本xsnyc 2、编写xsnyc脚本文件 3、修改脚本文件权限 4、分发脚本 二、配置SSH免密登录 1、生成密钥对 2、将公钥发送到本机 3、分别用SSH免密登录一下所有节点并exit 4、将home/data/.ssh文件分发到各个节点 三、集群配置(3个env脚本,4个xml文件,1个slaves脚本) 1、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh文件原创 2022-03-11 15:25:55 · 1457 阅读 · 0 评论