7. 数据装载

最新推荐文章于 2024-07-04 17:40:51 发布
最新推荐文章于 2024-07-04 17:40:51 发布
阅读量428 收藏 7
点赞数 9
分类专栏： 大数据之Hive 文章标签： linux centos hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43808213/article/details/134630904
版权

1、创建数据库与表

1、创建库

hive> create database sogou;

2、创建表

hive> create table if not exists sogou.sogou_500w(
    > ts string,
    > uid string,
    > keyword string,
    > rank int,
    > orders int,
    > url string) row format delimited fields terminated by '\t' stored as textfile;
OK
Time taken: 0.385 seconds

2、数据装载

hive> load data local inpath '/root/sogou.500w.utf8' overwrite into table sogou.sogou_500w;
Loading data to table sogou.sogou_500w
OK
Time taken: 5.18 seconds
  • 查看；500w数据真的是眼都花了
    在这里插入图片描述

3、提取数据

1、创建表sogou_xj

hive> create table if not exists sogou.sogou_xj(
    > ts string,
    > uid string,
    > keyword string,
    > rank int,
    > orders int,
    > url string) row format delimited fields terminated by '\t' stored as textfile;
OK
Time taken: 0.455 seconds

2、筛选带有‘仙剑奇侠装’的数据插入上表中

hive> insert overwrite table sogou.sogou_xj select * from sogou.sogou_500w where keyword like '%仙剑奇侠传%';
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20231126183129_57894c50-cf47-4706-b6a8-dca2760e413e
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Job running in-process (local Hadoop)
2023-11-26 18:31:30,701 Stage-1 map = 0%,  reduce = 0%
2023-11-26 18:31:31,761 Stage-1 map = 100%,  reduce = 0%
Ended Job = job_local1259273538_0003
Stage-4 is filtered out by condition resolver.
Stage-3 is selected by condition resolver.
Stage-5 is filtered out by condition resolver.
Launching Job 3 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Job running in-process (local Hadoop)
2023-11-26 18:31:35,004 Stage-3 map = 100%,  reduce = 0%
Ended Job = job_local1385583283_0004
Loading data to table sogou.sogou_xj
MapReduce Jobs Launched: 
Stage-Stage-1:  HDFS Read: 3100078204 HDFS Write: 411085 SUCCESS
Stage-Stage-3:  HDFS Read: 1147541830 HDFS Write: 338082 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
Time taken: 6.224 seconds
  • 查看
hive> select * from sogou.sogou_xj limit 100;
OK
20111230003647  2e6a9aa494ae241b95664ff56971b72a        仙剑奇侠传三    2       1       http://www.tvmao.com/drama/LWlTVw==/episode
20111230003727  2e6a9aa494ae241b95664ff56971b72a        仙剑奇侠传三    3       2       http://www.youku.com/show_page/id_zcc07361a962411de83b1.html
20111230010508  89072e859c41da47298d967ab8d787c5        仙剑奇侠传1刘亦菲版全集 2       1       http://www.tudou.com/playlist/id11482399.html
20111230012415  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解 游民    2       1       http://bbs.gamersky.com/thread-927101-1-1.html
20111230012515  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解 游民    4       2       http://www.gamersky.com/Soft/200712/10802.shtml
20111230012532  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     2       1       http://zhidao.baidu.com/question/293761707
20111230012544  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     1       2       http://www.duote.com/tech/7/18820.html
20111230012544  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     9       3       http://game.shangdu.com/news/pcgl/2011-08-17/359792.html
20111230013132  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     8       4       http://my.nuaa.edu.cn/thread-152913-1-1.html
20111230015346  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     10      5       http://tieba.baidu.com/p/1240255091
20111230020738  ebaf6800291f038901bfa25bf193262d        仙剑奇侠传5九宫格攻略   1       1       http://cheats.3234.com/danjigonglue/10216_2.htm
20111230024104  0d14ebeaf5c4429a519f0aa8b73e8b93        仙剑奇侠传2     4       1       http://zhidao.baidu.com/question/109364646
20111230024213  0d14ebeaf5c4429a519f0aa8b73e8b93        仙剑奇侠传4电视剧       2       1       http://tv.sogou.com/series/wxt4vu5644qm7sn5updont6awsv4xrgtz3h3pnvpxowq.html?p=40230600
20111230024246  0d14ebeaf5c4429a519f0aa8b73e8b93        仙剑奇侠传4电视剧       1       2       http://hi.baidu.com/sousun/blog/item/1a3ae9180b0253bc4aedbcc1.html

4、数据备份

hive> create table sogou.sogou_xj_backup as select * from sogou.sogou_xj;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20231126184539_8337b51c-413c-4927-a11d-6b80d3bb4bf9
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Job running in-process (local Hadoop)
2023-11-26 18:45:40,986 Stage-1 map = 100%,  reduce = 0%
Ended Job = job_local728323564_0005
Stage-4 is selected by condition resolver.
Stage-3 is filtered out by condition resolver.
Stage-5 is filtered out by condition resolver.
Moving data to directory hdfs://hadoop:8020/user/hive/warehouse/sogou.db/.hive-staging_hive_2023-11-26_18-45-39_474_8148677371035998524-1/-ext-10002
Moving data to directory hdfs://hadoop:8020/user/hive/warehouse/sogou.db/sogou_xj_backup
MapReduce Jobs Launched: 
Stage-Stage-1:  HDFS Read: 1147726908 HDFS Write: 506639 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
Time taken: 1.785 seconds
  • 查询
hive> select * from sogou.sogou_xj_backup limit 10;
OK
20111230003647  2e6a9aa494ae241b95664ff56971b72a        仙剑奇侠传三    2       1       http://www.tvmao.com/drama/LWlTVw==/episode
20111230003727  2e6a9aa494ae241b95664ff56971b72a        仙剑奇侠传三    3       2       http://www.youku.com/show_page/id_zcc07361a962411de83b1.html
20111230010508  89072e859c41da47298d967ab8d787c5        仙剑奇侠传1刘亦菲版全集 2       1       http://www.tudou.com/playlist/id11482399.html
20111230012415  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解 游民    2       1       http://bbs.gamersky.com/thread-927101-1-1.html
20111230012515  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解 游民    4       2       http://www.gamersky.com/Soft/200712/10802.shtml
20111230012532  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     2       1       http://zhidao.baidu.com/question/293761707
20111230012544  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     1       2       http://www.duote.com/tech/7/18820.html
20111230012544  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     9       3       http://game.shangdu.com/news/pcgl/2011-08-17/359792.html
20111230013132  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     8       4       http://my.nuaa.edu.cn/thread-152913-1-1.html
20111230015346  3a195290e645f623d13c2b12cce4c273        仙剑奇侠传5破解教程     10      5       http://tieba.baidu.com/p/1240255091
Time taken: 0.11 seconds, Fetched: 10 row(s)

5、导入数据

1、创建表sogou_liangjian

hive> create external table if not exists sogou.sogou_liangjian(
    > ts string,
    > uid string,
    > keyword string,
    > rank int,
    > orders int,
    > url string) row format delimited fields terminated by '\t' stored as textfile location '/sogou/liangjian';
OK
Time taken: 0.076 seconds
hive> show tables;
OK
sogou_500w
sogou_liangjian
sogou_xj
sogou_xj_backup
Time taken: 0.041 seconds, Fetched: 4 row(s)
hive> select  * from sogou_liangjian;
OK
Time taken: 0.143 seconds
hive>

2、hive创建一个临时目录

hive> dfs -mkdir /tmp/export;
hive> dfs -ls /tmp/;
Found 2 items
drwxr-xr-x   - root supergroup          0 2023-11-26 20:13 /tmp/export
drwx-wx-wx   - root supergroup          0 2023-11-20 21:16 /tmp/hive

3、创建文件liangjian.txt；查询 ‘亮剑’ 数据写入临时目录

hive> insert overwrite directory '/tmp/export'
    > row format delimited
    > fields terminated by '\t'
    > select * from sogou.sogou_500w where keyword like '亮剑';

4、将临时目录中数据导入本地文件

[root@hadoop ~]# hadoop fs -cat /tmp/export/* > liangjian.txt
[root@hadoop ~]# ls
a.txt  e1.txt  e2.txt  e3.txt  e.txt  liangjian.txt  sogou.500w.utf8  start.sh  student.txt
[root@hadoop ~]# cat liangjian.txt 
20111230003230  fa1f5f9f7983637d04179187c9fad3b0        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230010001  574a4e94e666fce031689064ce6b524e        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230012058  2a0f064f2afdf8fc5084f7e57c6ab007        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/

5、将上边到处文件进行移动

hadoop fs -put liangjian.txt /sogou/liangjian

  • 查看表数据
hive> select * from sogou.sogou_liangjian limit 20;
OK
20111230003230  fa1f5f9f7983637d04179187c9fad3b0        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230010001  574a4e94e666fce031689064ce6b524e        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230012058  2a0f064f2afdf8fc5084f7e57c6ab007        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230012451  2dd3dff74740d3b3916f1e677622d27b        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230012529  2dd3dff74740d3b3916f1e677622d27b        亮剑    4       2       http://www.tvmao.com/drama/LW5SVw==/episode
20111230012609  2dd3dff74740d3b3916f1e677622d27b        亮剑    1       3       http://tv.sohu.com/s2011/liangjian/
20111230013423  70ccb6376487856cbe3bb504bffa9c1c        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230032827  118c57f32d2c053059d6c0690977080a        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230040244  de4112c7c970329fb99730cfbf408c62        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230040323  295ecf2ec896525e065d755c462d1410        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230043913  8196855fbb30033cde52aee315b11bbd        亮剑    5       1       http://www.youku.com/show_page/id_zcbfb715e962411de83b1.html
20111230052332  325807155a90a376b4fea826f13282e5        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230052335  325807155a90a376b4fea826f13282e5        亮剑    3       2       http://www.iqiyi.com/dianshiju/lj.html?src=alddsj
20111230084909  1870be054489ec858a7694a78c1311e6        亮剑    2       1       http://tv.sogou.com/series/wxt4vu5644qmdqn5um.html?p=40230600
20111230091503  c0fbc36d1c97babcd336b26926709197        亮剑    6       1       http://baike.baidu.com/view/3340.htm
20111230091701  680fac79aab4682d3bb91a0241ee79a6        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230092558  18a523a8c39c242d44236835a9b3a7b6        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
20111230093823  a9bfdff7b47717cc3d0d946ebb714f46        亮剑    5       1       http://www.youku.com/show_page/id_zcbfb715e962411de83b1.html
20111230094129  75ff86584a04922da136bc5001a793de        亮剑    3       1       http://www.iqiyi.com/dianshiju/lj.html?src=alddsj
20111230095018  2cbc43d3721f8a76c027b9dd8350979b        亮剑    1       1       http://tv.sohu.com/s2011/liangjian/
Time taken: 0.119 seconds, Fetched: 20 row(s)

6、导出数据

  • 查看文件
    hadoop fs -ls /user/hive/warehouse/sogou.db/sogou_xj_backup/000000_0
  • 导出文件
    hadoop fs -get /user/hive/warehouse/sogou.db/sogou_xj_backup/000000_0
  • 查看数据
[root@hadoop ~]# head 000000_0 
201112300036472e6a9aa494ae241b95664ff56971b72a仙剑奇侠传三21http://www.tvmao.com/drama/LWlTVw==/episode
201112300037272e6a9aa494ae241b95664ff56971b72a仙剑奇侠传三32http://www.youku.com/show_page/id_zcc07361a962411de83b1.html
2011123001050889072e859c41da47298d967ab8d787c5仙剑奇侠传1刘亦菲版全集21http://www.tudou.com/playlist/id11482399.html
201112300124153a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解 游民21http://bbs.gamersky.com/thread-927101-1-1.html
201112300125153a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解 游民42http://www.gamersky.com/Soft/200712/10802.shtml
201112300125323a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解教程21http://zhidao.baidu.com/question/293761707
201112300125443a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解教程12http://www.duote.com/tech/7/18820.html
201112300125443a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解教程93http://game.shangdu.com/news/pcgl/2011-08-17/359792.html
201112300131323a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解教程84http://my.nuaa.edu.cn/thread-152913-1-1.html
201112300153463a195290e645f623d13c2b12cce4c273仙剑奇侠传5破解教程105http://tieba.baidu.com/p/1240255091

7、总结

  1. 需要注意的是hive中主要是操作数据库创建与数据导入，在bash命令中使用hadoop操作HDFS文件
  2. 需要手动创建目录，掌握数据导出到本地文件的方法
  3. 注意数据库备份命令，备份文件位置及写法
幸福总是在奔跑的路上！
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
创建外部表并加载数据
qq_15074737的博客
11-25 1093
第一  创建数据库并自定义路径 如 /sogou/500w          hive> create  database  sogou location '/sogou/500w' ;               进入改表中创建表         hive> use sogou; 第二步 创建外部分区表 如 sogou_partition         hive> ...
Hive数据定义与操作
shi_zi_183的博客
09-16 535
Hive数据定义与操作 HiveQL数据定义语言 创建数据库 create database sogou; 如果数据库sogou已经存在的话，会抛出异常，创建数据库的命令应为 create database if not exists sogou; 查看数据库 随时可以通过如下命令查看Hive中所包含的数据库 show databases; 数据多的时候，可以使用正则表达式来筛选 show databases like 's.*'; 为数据库增加描述，以说明该数据库的业务含义 create
Hive笔记之------------基础&&实例操作(sogou 500w数据，创建一张表sogou_20111230....)
似水流年
09-23 1814
Hive实质为SQL的引擎,是对SQL语句的封装,本身不存储任何数据 进入Hive环境shell命令 cd apache-hive-0.13.1-bin/bin/hive 如下 hive> > > 创建数据库  create  database  数据库名; 查看  show databases; 创建表格: use  数据库名; create  tables  表
大数据----基于sogou.500w.utf8数据的MapReduce编程
niulinbiao的博客
12-24 1565
最近学习大数据的知识，需要做一些有关的实验实验内容是在数据的基础上进行的。1、统计出搜索过包含有“仙剑奇侠传”内容的UID及搜索关键字记录2、统计rank<3并且order>2的所有UID及数量3、上午7-9点之间，搜索过“赶集网”的用户UID4、通过Rank：点击排名 对数据进行排序该实验是在已经搭建好Hadoop集群的基础上进行的，如果还没有搭建，请参考以下文章进行集群搭建。
26.Oracle11g的数据装载
qq_46645079的博客
12-04 1358
数据装载是指将数据从一个数据源加载到Oracle 11g数据库中的过程。这个过程通常涉及从外部数据文件、其他数据库或数据源中提取数据，然后将其插入到Oracle 11g数据库的表中。数据装载是ETL（抽取、转换、加载）过程的一部分，用于将外部数据整合到数据库中，以便进行分析、报告和其他数据处理操作。在Oracle 11g中，数据装载可以通过多种方式实现，包括使用SQL*Loader工具、外部表、PL/SQL程序、以及各种ETL工具（如Oracle Data Integrator）等。
oracle 数据装载方式汇总
jianxing11的专栏
10-17 1138
1、数据源文件，是sql格式： 工具：plsql developer ，命令窗口：sql&gt;@D:\daoru.sql 或者tools--&gt;导入表 2、数据源文件，是csv、excel格式： 工具：plsql developer，tools--&gt;文本导入器（csv）、tools--&gt;ODBC导入器（excel） 3、数据源文件，是csv格式，且数据量比较大： 工具...
回溯算法 --- 例题1.装载问题
PG13okc的博客
12-21 2251
一.问题描述 n个集装箱装到2艘载重量分别为c1,c2的货轮,其中集装箱i的重量为wi且Σwi <= c1 + c2 , 1<=i<=n 问题要求找到一个合理的装载方案可将这n个货箱装上这2艘轮船。 例如 当n=3, c1=c2=50, w=[10, 40, 40], 可将货箱1和2装到第一艘船上;货箱3装到第二艘船上; 若w=[20, 40, 40], 则无法将全部货箱装船. 二.解题思路 简单分析可知: 当Σwi = c1+c2, 1<=i<=n问题等价于子集和问题 当
数据装载命令Load
qq_43528451的博客
09-27 2340
数据装载命令Load Load命令用于将外部数据加载到Hive表中 语法： load data [local] inpath '/export/servers/datas/student.txt' overwrite | into table student [paritition (partcol=val,...)] 参数： 1、load data：表示加载数据 2、local：表示从本地加载数据到hive表；否则从HDFS加载数据到hive表 3、inpath：表示加载数据的路径 4、overwrit
Pandas装载高维数据
BeiErGeLaiDe的博客
11-12 1540
不知道是pandas的bug还是特性，使用pandas确实可以装载高维的list数据，而直接使用高维的np.ndarray会报错。 # 使用pandas装载3维数据 import pandas as pd import numpy as np data = np.ones([2, 2, 2]) data = data[:, np.newaxis, :, :] # 必须插入第二维作为pandas的column data = data.tolist() df = pd.DataFrame() df['d
HiveQL装载数据
JinbaoSite
05-20 1170
1 装载数据 HiveQL装载数据其实就是向表里加载数据，但是这个装载是一次性操作，因为Hive没有行级别的数据插入、数据更新和删除操作。我们对Hive中的表一般是一次加载大量的数据或者自己将数据文件写入到Hive表中所在的存储位置下。 我们以管理表manage_table为例，建表语句如下 CREATE TABLE IF NOT EXISTS manage_table( id ST...
提高MySQL中数据装载效率
09-11
在MySQL数据库管理中，数据装载效率是一个关键的优化领域，尤其是在处理大量数据导入时。优化数据装载不仅可以显著提高数据库性能，还能减少系统资源的消耗。以下是一些提高MySQL中数据装载效率的具体策略： 1. **...
sqlldr装载数据实现代码
09-10
本文将详细介绍如何用sqlldr装载数,需要了解更多的朋友可以参考下
数据结构箱子装载问题
11-21
在本项目中，我们关注的是一个具体的数据结构应用——"数据结构箱子装载问题"，这是一个0/1背包问题的扩展，涉及到了优化算法和决策制定。 0/1背包问题是一个经典的组合优化问题，它源自于物流、运输和资源分配等...
基于SQL＊Loader的海量数据装载方案优化.pdf
09-19
本文档将深入探讨如何针对大规模数据装载场景优化SQL*Loader的使用，以提高数据处理效率和性能。 首先，理解SQL*Loader的工作原理是优化的基础。SQL*Loader通过读取控制文件（.ctl文件）来确定如何解析输入数据，并...
PMAT数据装载机说明书.ppt
07-12
PMAT数据装载机说明书.ppt
正式邀测！ OS Copilot——一款基于大模型构建的 Linux 智能操作系统助手
weixin_60347558的博客
07-02 533
重塑操作系统交互新体验，开启您的智能化系统管理之旅
Linux-Kafka 3.7.0 Kraft+SASL认证模式 集群安装与部署超详细
最新发布
qq_41118173的博客
07-04 1082
这个是3.2.0版本新引入的认证方式，可以参考 https://cwiki.apache.org/confluence/display/KAFKA/KIP-801%3A+Implement+an+Authorizer+that+stores+metadata+in+__cluster_metadata。5.修改kafka-console-producer.sh和kafka-console-consumer.sh启动文件两个都要改。# 如果未设置，则使用"listeners"的值.
Linux：系统安全及应用
pangdongqiqi的博客
07-01 1203
通过su命令可以非常方便地切换为另一个用户，但前提条件是必须知道目标用户的登 录密码。例如，若要从zhangsan 用户切换为 root 用户，必须知道 root 用户的密码。对于生产环 境中的 Linux 服务器，每多一个人知道特权密码，其安全风险也就增加一分。有没有一种折中的办法，既可以让普通用户拥有一部分管理权限，又不需要将 root 用户的密码告诉他呢？答案是肯定的，使用 sudo命令就可以提升执行权限。
Linux存储管理I
m0_54563444的博客
07-03 786
主要知识点: 基本分区、逻辑卷LVM、EXT3/4/XFS文件系统、RAID。
Oracle 批量数据装载测试
05-24
Oracle 批量数据装载测试可以使用 SQL*Loader 工具来进行。SQL*Loader 是 Oracle 提供的一个数据加载工具，可以从文本文件中读取数据并将其加载到 Oracle 数据库中。以下是 SQL*Loader 的基本使用步骤： 1. 创建一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值