Sqoop
本栏为sqoop学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
基于Sqoop+Hive+MySQL网站日志分析项目实战
目录一、需求分析及数据准备(1)需求分析(2)实施分案(3)准备数据二、pv+uv数据分析三、导出结果四、企业优化方案五、编写自动加载数据脚本六、编写自动调度数据分析七、运行测试 一、需求分析及数据准备 (1)需求分析 对网站日志的 pv , uv 分析并导出结果数据到mysql表 (2)实施分案 1.创建hive分区表(date,hour) 2.加载数据 3.数据分析生产结果表 4.导出结果表数据到MySQL (3)准备数据 (1)创建表 create table track原创 2020-11-02 14:37:58 · 2372 阅读 · 0 评论 -
数据转换工具Sqoop详解!
目录一、Sqoop服务架构二、Sqoop import讲解(1)准备数据(2)import相关参数详解三、Sqoop export讲解四、Sqoop import Hive和Sqoop export Hive五、options-file讲解 一、Sqoop服务架构 Apache Sqoop™ is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores suc原创 2020-11-01 11:11:30 · 601 阅读 · 0 评论 -
Centos7下Sqoop安装与配置
目录Centos7下Sqoop安装与配置第一步:安装软件(1)上传文件(2)解压文件第二步:配置环境变量第三步:修改配置文件第四步:测试 Centos7下Sqoop安装与配置 电脑系统:macOS 10.15.4 虚拟机软件:Parallels Desktop14 Hadoop各节点节点操作系统:CentOS 7 JDK版本:jdk1.8.0_162 Hadoop版本:hadoop-2.6.0-cdh5.9.3 sqoop版本:sqoop-1.4.6-cdh5.9.3 sqoop的下载地址: http:原创 2020-10-31 14:15:56 · 992 阅读 · 0 评论