从HDFS拷贝一个表到系统目录生成CSV

最新推荐文章于 2022-11-16 10:03:32 发布
最新推荐文章于 2022-11-16 10:03:32 发布
阅读量4k 收藏 3
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shushugood/article/details/50505036
版权

1.首先建立一个文本表(text表)，默认create table xx as select * from xxx ;  就生成了xx文本表。

   这里s1_date 是已经建好的文本表，不再累述。

2. 查看文本表s1_date在hdfs存储的位置。

[slave20:21000] > describe formatted s1_date;
Query: describe formatted s1_date
+---------------------------------+------------------------------------------------------------+----------------------+
| name                            | type                                                       | comment              |
+---------------------------------+------------------------------------------------------------+----------------------+
| # col_name                      | data_type                                                  | comment              |
|                                 | NULL                                                       | NULL                 |
| eci                             | int                                                        | NULL                 |
| s1_cnt_erabcreate_req           | bigint                                                     | NULL                 |
| s1_cnt_erabcreate_succ          | bigint                                                     | NULL                 |
| s1_cnt_hoout_req                | bigint                                                     | NULL                 |
| s1_cnt_hoout_succ               | bigint                                                     | NULL                 |
| s1_cnt_erabrelease_req          | bigint                                                     | NULL                 |
| s1_cnt_uerelease                | bigint                                                     | NULL                 |
| s1_cnt_uerelease_abnormal       | bigint                                                     | NULL                 |
| user_cnt_tcp_downretrans        | bigint                                                     | NULL                 |
| user_octet_up                   | bigint                                                     | NULL                 |
| user_octet_down                 | bigint                                                     | NULL                 |
| user_totaldelay_http_page30     | bigint                                                     | NULL                 |
| user_totaloctet_http_page30     | bigint                                                     | NULL                 |
| user_totaldelay_http_pageless30 | bigint                                                     | NULL                 |
| user_cnt_http_pageless30        | bigint                                                     | NULL                 |
| user_totaloctet_http_page500    | bigint                                                     | NULL                 |
| user_totaldelay_http_page500    | bigint                                                     | NULL                 |
| user_totaloctet_http_page2      | bigint                                                     | NULL                 |
| user_totaldelay_http_page2      | bigint                                                     | NULL                 |
| user_cnt_tcp_upretrans          | bigint                                                     | NULL                 |
|                                 | NULL                                                       | NULL                 |
| # Detailed Table Information    | NULL                                                       | NULL                 |
| Database:                       | mobile                                                     | NULL                 |
| Owner:                          | impala                                                     | NULL                 |
| CreateTime:                     | Tue Dec 29 21:30:40 CST 2015                               | NULL                 |
| LastAccessTime:                 | UNKNOWN                                                    | NULL                 |
| Protect Mode:                   | None                                                       | NULL                 |
| Retention:                      | 0                                                          | NULL                 |
| Location:                       | hdfs://myha/user/hive/warehouse/mobile.db/s1_date          | NULL                 |
| Table Type:                     | MANAGED_TABLE                                              | NULL                 |
| Table Parameters:               | NULL                                                       | NULL                 |
|                                 | transient_lastDdlTime                                      | 1451395840           |
|                                 | NULL                                                       | NULL                 |
| # Storage Information           | NULL                                                       | NULL                 |
| SerDe Library:                  | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe         | NULL                 |
| InputFormat:                    | org.apache.hadoop.mapred.TextInputFormat                   | NULL                 |
| OutputFormat:                   | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat | NULL                 |
| Compressed:                     | No                                                         | NULL                 |
| Num Buckets:                    | 0                                                          | NULL                 |
| Bucket Columns:                 | []                                                         | NULL                 |
| Sort Columns:                   | []                                                         | NULL                 |
+---------------------------------+------------------------------------------------------------+----------------------+
Fetched 43 row(s) in 0.15s


3. 回到master节点，查看该路径下有多少个文件，是否正确。

[slave20:21000] > exit;
[root@MASTER01~]# hadoop fs -ls /user/hive/warehouse/mobile.db/s1_date/
Found 48 items
drwxrwxrwx   - impala supergroup          0 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/.impala_insert_staging
-rw-r--r--   2 impala supergroup      28040 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a3_1538064594_data.0.
-rw-r--r--   2 impala supergroup      27948 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a4_1769399956_data.0.
-rw-r--r--   2 impala supergroup      26547 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a5_376761693_data.0.
-rw-r--r--   2 impala supergroup      27712 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a6_748289471_data.0.
-rw-r--r--   2 impala supergroup      26024 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a7_376761693_data.0.
-rw-r--r--   2 impala supergroup      25695 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a8_2090998726_data.0.
-rw-r--r--   2 impala supergroup      27486 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a9_1028851036_data.0.
-rw-r--r--   2 impala supergroup      26543 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53aa_1410957694_data.0.
-rw-r--r--   2 impala supergroup      29005 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53ab_1984115561_data.0.
-rw-r--r--   2 impala supergroup      23728 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53ac_1346909925_data.0.

4.查看该表的记录条数 

[root@MASTER01 ~]# impala-shell -i slave30
Starting Impala Shell without Kerberos authentication
Connected to slave30:21000
Server version: impalad version 2.0.1-cdh5 RELEASE (build cc09df07d93c79351052eef2f4e5baf52373dc33)
Welcome to the Impala shell. Press TAB twice to see a list of available commands.

Copyright (c) 2012 Cloudera, Inc. All rights reserved.

(Shell build version: Impala Shell v2.0.1-cdh5 (cc09df0) built on Wed Nov 19 10:57:34 PST 2014) 
[slave30:21000] > use mobile;
Query: use mobile
[slave30:21000] > select count(*) from s1_date;
Query: select count(*) from s1_date
+----------+
| count(*) |
+----------+
| 9226     |


5.在本地建个s1_date 目录，并进入目录 

[root@MASTER01 ~]# mkdir s1_date;
 
[root@MASTER01 ~]# cd s1_date/
[root@MASTER01 s1_date]# ls

6.从HDFS拷贝到本地目录 s1_date 

[root@MASTER01 s1_date]# hadoop fs -copyToLocal /user/hive/warehouse/mobile.db/s1_date/* .
[root@MASTER01 s1_date]# pwd
/root/s1_date
[root@MASTER01 s1_date]# ls
cc4fd90699199b86-7baa2858d61b53a3_1538064594_data.0.  cc4fd90699199b86-7baa2858d61b53b3_533285813_data.0.   cc4fd90699199b86-7baa2858d61b53c3_1880186907_data.0.
cc4fd90699199b86-7baa2858d61b53a4_1769399956_data.0.  cc4fd90699199b86-7baa2858d61b53b4_781871636_data.0.   cc4fd90699199b86-7baa2858d61b53c4_1108168201_data.0.
cc4fd90699199b86-7baa2858d61b53a5_376761693_data.0.   cc4fd90699199b86-7baa2858d61b53b5_1226722329_data.0.  cc4fd90699199b86-7baa2858d61b53c5_1865579449_data.0.
cc4fd90699199b86-7baa2858d61b53a6_748289471_data.0.   cc4fd90699199b86-7baa2858d61b53b6_1892136031_data.0.  cc4fd90699199b86-7baa2858d61b53c6_568737959_data.0.
cc4fd90699199b86-7baa2858d61b53a7_376761693_data.0.   cc4fd90699199b86-7baa2858d61b53b7_1139362409_data.0.  cc4fd90699199b86-7baa2858d61b53c7_491335232_data.0.
cc4fd90699199b86-7baa2858d61b53a8_2090998726_data.0.  cc4fd90699199b86-7baa2858d61b53b8_969914465_data.0.   cc4fd90699199b86-7baa2858d61b53c8_1413328270_data.0.
cc4fd90699199b86-7baa2858d61b53a9_1028851036_data.0.  cc4fd90699199b86-7baa2858d61b53b9_419715216_data.0.   cc4fd90699199b86-7baa2858d61b53c9_855410744_data.0.


7.查看拷贝出来的文件个数 ，是否与表条数相同 

[root@MASTER01 s1_date]# cat * |wc -l
9226

8.把所有数据放入csv中，下载即可（如果分隔符不对，需要重新替换分隔符，才能正常打开） 

[root@MASTER01 s1_date]# cat *  > s1_date.csv
[root@MASTER01 s1_date]# cat s1_date.csv |wc -l
9226
[root@MASTER01 s1_date]# sz s1_date.csv 
*B00000000000000


查看，分隔符。
重新保存，用csv打开

老农民挖数据
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop hdfs合并文件下载到本地单个文件
yy的博客
12-21 3713
hdfs数据目录 /tmp/FromOracle/2001/part_1.txt /tmp/FromOracle/2001/part_2.txt /tmp/FromOracle/2002/part_1.txt /tmp/FromOracle/2002/part_2.txt ..... 命令 hadoop fs -getmerge hdfs:/tmp/FromOracle/*/* 本地文件名 参数解读 这里的 星号 是通配符的意思 * 表示任意文件名或者文件夹名...
java将csv导入hdfs_把HDFS里的json数据转换成csv格式
weixin_36403106的博客
02-27 216
1. 全景图.2. 用ListHDFS获取所有文件名如果想重新再取一次，右健view state：点击 clear state, 再运行，即可再次采集数据了。3. 用FetchHDFS 取出json 数据4. 用ExecuteScript 转换import org.apache.commons.io.IOUtilsimport java.nio.charset.*import java.text....
把HDFS里的json数据转换成csv格式
weixin_34318326的博客
08-22 116
  1. 全景图 2. 用ListHDFS获取所有文件名   如果想重新再取一次，右健view state：   点击 clear state, 再运行，即可再次采集数据了。   3. 用FetchHDFS 取出json 数据   4. 用ExecuteScript 转换 import org.apache.commons.io.IOUtils import java.nio.cha...
导出hive表名_将hive表导出为hdfs中的csv
weixin_34082139的博客
12-24 326
I know there is a known issue with delimiters when saving a table to csv (or other text file) in Hive. So I'm wondering if you guys can help me get around that.I have an existing table (Table A) and ...
探寻从HDFS到Spark的高效数据通道
02-26
为了保证高效的数据移动，locality是大数据栈以及分布式应用程序所必须保证的性质，这一点在Spark中尤为明显。...本文以小文件输入为案例，看看从HDFS到Spark的数据通道中到底发生了什么，并讨论如何设计
FlowView:一个监视系统，跟踪从数据生成到HDFS到Hive的数据流
05-12
FlowView是一个监视系统，可跟踪从数据生成到HDFS到Hive的数据流。 用法 FlowView操作分为三个主要阶段：设置，加载或清理。 % python runFlowView.py --config=<ConfigFileName> --stage=setup % python ...
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
09-16
从标签中我们可以进一步了解到涉及的技术包括Python、HDFS、上传下载、Pandas和CSV。 首先，Python连接HDFS主要依赖于`pyhdfs`模块。这个模块提供了一个简单易用的API来执行读写操作。以下是如何使用`pyhdfs`进行...
一个基于springboot和hdfs的大文件管理系统.zip
最新发布
03-20
标题 "一个基于SpringBoot和HDFS的大文件管理系统" 暗示了我们正在讨论一个集成SpringBoot框架与Hadoop分布式文件系统（HDFS）的项目。这个系统旨在管理和处理大文件，利用HDFS的分布式存储能力，以实现高效、可靠的...
如何将hive的数据表导出到csv格式的文件中
weixin_41648769的博客
02-22 1万+
由于在hive hue web页面上无法全部展示比较大的数据，并且就算导出到excel中也会对服务器产生特别大的压力。所以就需要将hive数据表的数据导出以csv形式的存储！ hive -e “select * from dhtest.temp_uv” &gt;&gt; res1.csv 将需要的查询数据导出到 res1.csv [hdfs@datanode11 wangchong]$ hive ...
05.SQL Server大数据群集小试牛刀--HDFS查询
人月神话
03-11 896
05.SQL Server大数据群集小试牛刀--HDFS查询 SQL Server大数据群集查询HDFS ，利用之前创建好的大数据群集，使用官方提供的测试数据进行测试。脚本是官方的脚本，要知道干了什么，就需要分析脚本了。大概干几件事情 1、下载测试数据bak 2、还原数据库 3、导入出数据写入到HDFS 要完成这些任务，必须有几个工具才能完成，所以前提条件是要安装之前提过的几个大数据工具...
Haoop导入csv文件
qq_27130997的博客
07-02 309
背景 我有很多 csv文件需要处理，所以第一步是导入到hadoop里面。 前提 要把文件预先创建好 /hdfs dfs -put /APP/NingXia_ADMIN.csv /mapdata/csv
hive数据导出成csv文件shell脚本
m0_38109926的博客
04-06 2453
#!/bin/bash tab_nm=$1 etldt=`date -d $2 + "%Y%m%d"` dt=`date -d $2 + "%Y-%m-%d"` echo "${tab_nm}_${dt}" #数据存放目录 data_hdfs_dir ="/tmp/idap/export_data/${tab_nm}" #数据导出路経 local_path ="/gpfsetl/jcp_dw/script/idap/test/${tab_nm}_${dt}" #scp将数据传到目标服务器上 scp_c.
idea操作hdfs
IT6848的博客
09-26 2608
准备工作： 1.把hadoop的jar放在一个文件 2.idea的导包 3.点击ok我们就完成了idea的hadoop的jar导入工作 一、在HDFS上创建目录或文件 1.获取HDFS配置 hdfs namenode Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://ip地址:9000"); 2.根据配置连接HDFS FileSystem fileSystem
将Oracle数据导入HDFS
Mozart__的博客
12-19 1053
将Oracle数据导入HDFS一、安装sqoop二、导入至HDFS1.测试连接2.导入数据三、导入至Hive 一、安装sqoop 1）下载连接：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/ 此处使用的是1.4.7版本 2）解压sqoop安装包到指定目录，如 [Mozart@hadoop1 software]$ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/moudle [Mozart@hadoop
Transwarp Inceptor中的对象
Auspicious航的博客
11-16 1116
和TEXT表相似，CSV表常用于向Inceptor中导入原始数据，然后针对不同场景，用户可以将其中的数据放入ORC表或Holodesk表中。在Inceptor中，您可以使用常见的数据库对象，包括数据库（database），表（table），视图（view）和函数（function）。分区表下的数据按分区键的值（或值的范围）放在HDFS下的不同目录中，可以有效减少查询时扫描的数据量，提升查询效率。建外部TEXT表，让该表指向HDFS上的一个目录，Inceptor会将目录下文件中的数据都导入该表。
记 读取hdfs 转 pandas 再经由pandas转为csv的一个坑
qq_39314099的博客
11-06 1016
工作流程是这样的： 读取 hdfs 的 csv 文件，采用的是 hdfs 客户端提供的 read 方法，该方法返回一个生成器。 将读取到的数据按 逗号 处理，变为一个二维数组。 将二维数组传给 pandas，生成 df。 经若干处理后，将 df 转为 csv 文件并写入hdfs。 问题是这样的： 正常的数据： ZERO,MEAN,STD,CV,INC,OPP,CS,IS_...
Hive导出数据到本地CSV
热门推荐
gezailushang的博客
10-31 3万+
https://www.iteblog.com/archives/955.html https://cloud.tencent.com/developer/article/1352376 https://blog.csdn.net/pzw_0612/article/details/48064697 https://blog.csdn.net/gezailushang/article/deta...
hive把hql查询的结果导出到本地或者HDFS上面
西瓜追随螃蟹的脚步
08-29 2624
hive可以把hql查询的结果导出到linux本地或者导出到HDFS上面，这样可以利用结果集做一些
从hdfs上将csv文件load到hive表
06-08
可以按照以下步骤从HDFS上将CSV文件加载到Hive表中： 1. 在Hive中创建一个表，指定表的列和数据类型，例如： ``` CREATE TABLE mytable ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值