大数据实验3.4

于 2022-12-15 18:46:52 发布
阅读量233 收藏
点赞数 1
分类专栏： Java 文章标签： hadoop java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/noahtian/article/details/128333897
版权

1.Sqoop概述

Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

Sqoop导入原理：

在导入开始之前，Sqoop使用JDBC来检查将要导入的表。他检索出表中所有的列以及列的SQL数据类型。这些SQL类型（varchar、integer）被映射到Java数据类型（String、Integer等），在MapReduce应用中将使用这些对应的Java类型来保存字段的值。Sqoop的代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录。Sqoop启动的MapReduce作业用到一个InputFormat，他可以通过JDBC从一个数据库表中读取部分内容。

Hadoop提供的DataDriverDB InputFormat能为查询结果进行划分传给指定个数的map任务。为了获取更好的导入性能，查询会根据一个“划分列”来进行划分。Sqoop会选择一个合适的列作为划分列（通常是表的主键）。在生成反序列化代码和配置InputFormat之后，Sqoop将作业发送到MapReduce集群。Map任务将执行查询并将ResultSet中的数据反序列化到生成类的实例，这些数据要么直接保存在SequenceFile文件中，要么在写到HDFS之前被转换成分割的文本。Sqoop不需要每次都导入整张表，用户也可以在查询中加入到where子句，以此来限定需要导入的记录。

Sqoop导出原理：

Sqoop导出功能的架构与其导入功能非常相似，在执行导出操作之前，Sqoop会根据数据库连接字符串来选择一个导出方法。一般为JDBC。然后，Sqoop会根据目标表的定义生成一个Java类。这个生成的类能够从文本文件中解析记录，并能够向表中插入合适类型的值。接着会启动一个MapReduce作业，从HDFS中读取源数据文件，使用生成的类解析记录，并且执行选定的导出方法。

2.准备环境

1.首先切换到/data目录下，创建名为edu4的目录

view plain "copy

  1. cd /data  

view plain "copy

  1. mkdir /data/edu4  

再切换目录到/data/edu4目录下，下载实验所需的文件。

view plain "copy

  1. cd /data/edu4  

view plain "copy

  1. wget http://59.64.78.41:60000/allfiles/edu4/pinglun  

view plain "copy

  1. wget http://59.64.78.41:60000/allfiles/edu4/creationtime_out  

view plain "copy

  1. wget http://59.64.78.41:60000/allfiles/edu4/userlevelname_out  

2.输入jps，查看hadoop是否已经启动

view plain "copy

  1. jps  

若未启动，则执行启动Hadoop命令

view plain "copy

  1. cd /apps/hadoop/sbin  

view plain "copy

  1. ./start-all.sh  

启动MySQL服务(数据库密码为：zhangyu)

view plain "copy

  1. sudo service mysql start  

查看MySQL服务是否已经启动

view plain "copy

  1. sudo service mysql status  

3.启动Hive

view plain "copy

  1. hive  

在Hive中创建数据库名为edu4，并切换到edu4下

view plain "copy

  1. create database edu4;  
  2. use edu4;  

在Hive中创建pinglun表，

view plain "copy

  1. create table pinglun (  
  2. productid       string,  
  3. commentcount    int,  
  4. goodcount       int,  
  5. generalcount    int,  
  6. poorcount       int,  
  7. goodrateshow    float,  
  8. generalrateshow float,  
  9. poorrateshow    float,  
  10. guid            string,  
  11. content         string,  
  12. creationtime    string,  
  13. score           int,  
  14. nickname        string,  
  15. userlevelname   string,  
  16. userclientshow  string,  
  17. ismobile        string,  
  18. days            int  
  19. )  row format delimited  
  20. fields terminated by '\t';  

将/data/edu4/pinglun评论数据导入到Hive的pinglun表中

view plain "copy

  1. load data local inpath '/data/edu4/pinglun' into table pinglun;  

3.需求一，将Hive表中数据，导入到MySQL

统计pinglun中，用户使用各设备类型数量，并将结果导到mysql中。

1.首先在Hive中，创建一张表，命名为ismobilehive，用于存储统计结果。

view plain "copy

  1. create table ismobilehive(  
  2. ismobile string,  
  3. num int  
  4. )  
  5. row format delimited  
  6. fields terminated by '\t'  
  7. stored as textfile;  

ismobilehive表，有两个字段：设备类型及设备数量

2.在Hive中，统计设备类型数量，并将结果临时存储在hive中的ismobilehive表中。

view plain "copy

  1. insert into table ismobilehive  
  2. select  
  3. case  
  4. when ismobile='true' then 1  
  5. when ismobile='false' then 0  
  6. end as ismobile,  
  7. count(1) as num  
  8. from pinglun  
  9. group by ismobile;  

查看ismobile表。

view plain "copy

  1. select * from ismobilehive;  

3.新打开一个命令行终端，连接Mysql（密码：strongs）

view plain "copy

  1. mysql -u root -p  

在mysql中，创建名为edu4out的数据库，用于存储导过来的数据

view plain "copy

  1. CREATE DATABASE IF NOT EXISTS edu4out DEFAULT CHARSET utf8 COLLATE utf8_general_ci;  
  2. use edu4out  

在Mysql中创建名为ismobilesql的表，用于储蓄Hive中ismobilehive表的数据。此表也包含两个字段设备类型及设备数量

view plain "copy

  1. create table ismobilesql (ismobile varchar(10),num int);  

4.再新开启一个终端模拟器，使用Sqoop命令将Hive中的ismobilehive表导入到Mysql的ismobilesql中。

view plain "copy

  1. sqoop export \  
  2. --connect jdbc:mysql://localhost:3306/edu4out?characterEncoding=UTF-8 \  
  3. --username root \  
  4. --password strongs \  
  5. --table ismobilesql \  
  6. --export-dir /user/hive/warehouse/edu4.db/ismobilehive/000000_0 \  
  7. --input-fields-terminated-by '\t'  

查看mysql中ismobilesql表，数据内容

view plain "copy

  1. select * from ismobilesql;  

这样，我们就将Hive中的ismobilehive表数据成功导入到Mysql中了。

5.在执行导数据之前，可以进行一个测试，验证Sqoop是否可用

查看Mysql中的数据库。通过此步验证，可以测试出Sqoop以及Mysql是否可以正常连接

view plain "copy

  1. sqoop list-databases \  
  2. --connect jdbc:mysql://localhost:3306/ \  
  3. --username root \  
  4. --password strongs  

结果列出了Mysql中的所有数据库，证明Sqoop可以与Mysql正常连接。

4.需求二，将Hive表中数据，导入到MySQL

将hive中多久进行评论数据统计结果导入到Mysql中的dayssql表中

1.在Hive中，创建用户评论周期分析结果表dayshive，包含两个字段多久评论及数量

view plain "copy

  1. create table dayshive(  
  2. day int,  
  3. num int  
  4. )  
  5. row format delimited  
  6. fields terminated by '\t'  
  7. stored as textfile;  

2.对用户评论间隔时间进行统计，并将统计结果导入到Hive中的dayshive表中。

view plain "copy

  1. insert into table dayshive  
  2. select days, count(1) as num from pinglun group by days order by num desc;  

查看Hive表dayshive中的数据

view plain "copy

  1. select * from dayshive;  

3.在Mysql端口创建dayssql表，用于存储dayshive中的数据。dayssql中同样包含两个字段间隔时间及数量

view plain "copy

  1. create table dayssql(day int,num int);  

4.使用Sqoop命令将Hive的dayshive表导入到Mysql的dayssql里。

view plain "copy

  1. sqoop export \  
  2. --connect jdbc:mysql://localhost:3306/edu4out?characterEncoding=UTF-8 \  
  3. --username root \  
  4. --password strongs \  
  5. --table dayssql \  
  6. --export-dir /user/hive/warehouse/edu4.db/dayshive/000000_0 \  
  7. --input-fields-terminated-by '\t'  

查看mysql中dayssql表。

view plain "copy

  1. select * from dayssql;  

5.需求三，将HDFS数据导入到MySQL

将HDFS存储有用户级别统计结果数据文件userlevelname_out导入到MySQL中userlevelnamesql表中

1.在HDFS上创建目录/myedu4/in，并将/data/edu4下的creationtime_out和userlevelname_out文件上传到HDFS中的in目录下。

view plain "copy

  1. hadoop fs -mkdir -p /myedu4/in  
  2. hadoop fs -put /data/edu4/creationtime_out /myedu4/in  
  3. hadoop fs -put /data/edu4/userlevelname_out /myedu4/in  

2.在MySQL中，创建表userlevelnamesql。表中包含两个字段用户等级名及数量

view plain "copy

  1. create table userlevelnamesql(userlevelname varchar(10),num int);  

3.使用Sqoop命令将HDFS中/myedu4/in/userlevelname_out表导入到MySQL的userlevelnamesql中。

view plain "copy

  1. sqoop export \  
  2. --connect jdbc:mysql://localhost:3306/edu4out?characterEncoding=UTF-8 \  
  3. --username root \  
  4. --password strongs \  
  5. --table userlevelnamesql \  
  6. --export-dir /myedu4/in/userlevelname_out \  
  7. --input-fields-terminated-by '\t'  

查看userlevelnamesql中的数据

view plain "copy

  1. select * from userlevelnamesql;  

6.需求四，将HDFS中数据导出到MySQL中

将HDFS中的存储有评论日期数据统计结果文件creationtime_out导入到MySQL中creationtimesql表中

27.在MySQL端创建creationtimesql表，包含两个字段（creationtime date，num int）

view plain "copy

  1. create table creationtimesql(creationtime date,num int);  

28.使用Sqoop命令将HDFS中的creationtime_out表导入到Mysql中。

view plain "copy

  1. sqoop export \  
  2. --connect jdbc:mysql://localhost:3306/edu4out?characterEncoding=UTF-8 \  
  3. --username root \  
  4. --password strongs \  
  5. --table creationtimesql \  
  6. --export-dir /myedu4/in/creationtime_out \  
  7. --input-fields-terminated-by '\t'  

在Mysql中，查看creationtimesql表。

view plain "copy

  1. select * from creationtimesql;  

这样，我们就将四项需求的分析结果导入到MySQL中了！

田亮海
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
sqoop将hive中数据导入mysql（实例讲解）
Saint
07-02 3904
假设这样一个场景： 数据已经导入hive（hive实例讲解看这里），现在要把hive中数据库导入出到（mysql）关系型数据库中，这里使用的工具是sqoop(sqoop详细讲解看这里)。 该怎么处理呢？ 首先，我们需要的是在mysql中建立对应的表，数据字段类型与hive数据表中要导出的数据类型保持一致； 然后，我们需要在假如你不是需要原样输出而是需要经过计算统计的话，就需要写在h...
将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式
NIITYZU的专栏
04-22 1万+
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：         下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这
sqoop把hive中的数据导入mysql
weixin_52136304的博客
05-28 4618
使用sqoop将hive中的数据导入mysql中 记录简单案例 首先开启集群： start-all.sh 在hive中建库建表，并插入一条数据来为自己做实验： 验证一下，是否插入成功： 在mysql中建表，并且要与hive中传过来的数据字段相对应： 建表后为空： 用sqoop将hive中的数据传到mysql中： export 导出数据， –connect 连接数据库的参数， –username root 是指用户名为root, test mysql中使用的数据库的库名， –password ‘’
使用sqoop将hive中的表数据导入到mysql数据库表中，错误解决
duan19056的专栏
12-12 6631
[hadoop@Master bin]$ sqoop export --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000 --table users --export-dir /user/hive/warehouse/users/part-m-00000 --input-fields-terminat
使用Sqoop将Hive表数据导入到mysql
jun_life的专栏
06-14 2万+
通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下： 1.全部导入 Sqoop export --connect  jdbc:mysql://127.0.0.1
sqoop1.99.7create job的注意点
巴氏旅人的专栏
05-26 1485
前人博客本文大部分内容拷贝自”前人博客”,因为sqoop的交互实在太不友好了，针对创建job的实践中遇到的问题整理了下，以便有些同学也掉入坑中。红色部分是本人修改和补充(也是坑人需要着重说明)的地方。以下是各个属性Name：一个标示符，自己指定即可。Schema Name：指定Database或Schema的名字，在MySQL中，Schema同Database类似，具体什么区别没有深究过，但官网描述
山东大学单片机原理与应用实验工程文件 3.4 矩阵键盘扫描实验
07-05
山东大学单片机原理与应用实验工程文件 3.4 矩阵键盘扫描实验 详解博客地址：https://blog.csdn.net/m0_52316372/article/details/125630386 第2部分 Proteus 系统仿真实验 3.4 矩阵键盘扫描实验
数据结构实验3.4：以邻接表为存储结构的图的深度、宽度优先遍历.doc
10-29
数据结构实验报告
北京科技大学数字逻辑上机实验3.4
06-15
含数字逻辑上机所需所有代码
radmin3.4+3.5
06-14
radmin3.4+3.5
opencv3.4.2.16
09-23
opencv3.4.2.16，python3.7，opencv安装包，python3.7+opencv3.4安装包
Hadoop大数据处理与分析教程
m0_51338409的博客
10-19 2089
本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop）链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6提取码：i5s6。
大数据技术之Hadoop （HDFS文件系统）
lady88888888的博客
08-07 508
大数据技术之Hadoop （HDFS文件系统）一 HDFS概念1.1 概念1.2 组成1.3 HDFS 文件块大小二 HFDS命令行操作三 HDFS客户端操作3.1 eclipse环境准备3.1.1 jar包准备3.1.2 eclipse准备3.2 通过API操作HDFS3.2.1 HDFS获取文件系统3.2.3 HDFS文件下载3.2.4 HDFS目录创建3.2.5 HDFS文件夹删除3.2.6 HDFS文件名更改3.2.7 HDFS文件详情查看3.2.8 HDFS文件夹查看3.3 通过IO流操作HDFS
hadoop启动验证命令jps问题
m0_67392126的博客
04-18 2683
hadoop启动验证命令jps问题 redhat7.0 64位有Java1.7自带, 习惯用老的方法来查看hadoop进程是否正确启动,即jps,可是它却告知 -bash: jps: command not found 原因很简单,redhat系统自带的 java没有jps命令 以下为解决方式: 上次下载自带的jdk，同时将java报信息录入环境变量中去 [hadoop@master bin]$ vi /etc/profile [hadoop@master bin]$ /etc/profile export
Sqoop进行MySQL和Hive间的导入导出操作
Life is for sharing的博客
12-26 5983
1.MySQL表数据导入到Hive中 1.1MySQL建表 1.2Sqoop创建Hive表 1.3Sqoop导入数据到Hive 2.Hive表数据导出到MySQL表中 2.1MySQL建表 2.2Sqoop导出数据到MySQL 3.Sqoop的eval操作 4.Sqoop的job操作 4.1创建job 4.2查看job集合 4.3显示job详细信息 4.4执行job 4.5删除job ...
sqoop把hive表数据导入到mysql中
鲍礼彬的CSDN博客 ~_~
05-26 8609
应用： SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 1.把数据从mysql导入到hdfs(默认是/user/)中 sqoop import --connect jdbc:mysql://hadoop0:
利用sqoop将hive数据导入导出数据到mysql
热门推荐
东杰书屋
08-05 4万+
运行环境  centos 5.6   hadoop  hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2
sqoop中hive数据导入mysql_使用Sqoop将Hive表数据导入到mysql
weixin_31523667的博客
01-30 552
通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入到mysql对应的表中。两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下：1.全部导入Sqoop export --connect jdbc:mysql://127.0.0.1:3306/dbna...
sqoop将hive数据导入mysql
c1052981766的专栏
01-16 971
命令： ./sqoop-export  --connect jdbc:mysql://192.168.3.8:3306/db1 --username root --password 123456 --table table1--fields-terminated-by '\001' --export-dir 'hdfs://hadoop1:9000/tmp/hive/warehouse/tabl...
process 3.4
最新发布
09-06
在计算机科学领域，Process 3.4是指一种特定的编程流程或程序执行步骤。具体来说，Process 3.4可以是一系列的指令、操作或算法，用于执行特定的任务或完成特定的计算任务。这个流程的目的通常是实现一个预定的功能或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值