创建txt文件指令_本地文件导入hive案例

最新推荐文章于 2022-07-22 23:08:56 发布
最新推荐文章于 2022-07-22 23:08:56 发布
阅读量928 收藏
点赞数
文章标签： 创建txt文件指令
本文介绍了如何将本地的txt文件上传到Hive中，包括创建本地txt文件，启动Hive，创建Hive表，加载数据，并提供了不通过Hive直接使用hadoop fs命令的方法。
摘要由CSDN通过智能技术生成

177b0a20df76e3583d9dc3d531a414ab.png

在上一篇文章中，我们已经完成了hive的安装，这里通过一个简单案例，展示本地文件上传hive的过程

一、创建本地文件数据

在/opt/module/目录下创建datas

cd /opt/module
mkdir datas

在/opt/module/datas/目录下创建test.txt文件并添加数据，分隔符是tab键

cd datas
touch test.txt
vim test.txt
1001 zhangsan
1002 lisi
1003 wanger

b485f27970a78ec8fe69166703ba6674.png

二、hive操作

【1】启动hive

cd /opt/module/hive
bin/hive</
最低0.47元/天 解锁文章
weixin_39774644
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive建表操作案例.txt
12-25
hive分桶，分区操作案例实战。学习的好资料。hive分桶，分区操作案例实战。学习的好资料。hive分桶，分区操作案例实战。学习的好资料。
大数据实训第五天总结
lzq603的博客
09-04 278
什么是Hive？ Hive: 由Facebook开源用于解决海量结构化日志的数据统计 Hive是基于Hadoop的一个数据仓库工具 1.Hive安装 同样可完全参照Hive学习指南 2.Hive命令 创建、修改和删除数据库 create database if not exists hive; --创建数据库 show databa...
云计算学习日志-第2周-1-linux文件管理2
weixin_44115801的博客
05-16 888
文件、目录批量创建，文件写入操作 ，查看文件
大数据-hive操作实例详细过程讲解（包括建表、创造数据txt文件、将文件数据加载到hive表中）
weixin_47055922的博客
02-02 2980
一、建表语句 create table pt_log_20210202(id int, name string, pass string, mail string, nickname string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile; 代码说明：这段代码在hive>中执行，create后面是基本的sql语...
在hive上创建数据
m0_47605847的博客
12-26 1464
hive将元数据存储在metastore上，将数据存储在hdfs上；二者怎么关联呢? 准备基础 1.Hadoop安装，hdfs集群启动 2. hive安装 3. 用jps命令查看各客户端的启动情况；如下： 数据准备 我们想要上传的数据内容如下： 先创建一个 testdata.txt touch testdata.txt { "name": "songsong", "friends": ["bingbing" , "lili"] , "children": { "xiao song": 18 ,
test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr
09-21
hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr”暗示了我们讨论的主题是关于使用PHP通过Thrift接口与Hive数据仓库进行交互的一个库，具体来说，是一个名为“ThriftHive.php”的文件。这个库允许开发...
Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连
09-23
在大数据处理领域，Apache Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL（HQL，Hive Query Language）查询存储在Hadoop集群中的大型数据集。Hive JDBC（Java Database Connectivity）是Hive提供的一种...
将csv文件放到hive对应的服务器上
04-13
将“數倉數據提供與報表流程開發\码表导入\TY”中csv内容导入hive的码表当中。 目标csv：sfc_b_phase.csv 2、将csv文件放到hive对应的服务器上 hadoop服务器：10.176.153.32 1、将sfc_b_phase.csv放在32的root目录下...
hive客户端安装_hive客户端安装_hive_
10-01
2. 修改Hive配置文件（$HIVE_HOME/conf/hive-site.xml），添加以下内容： ```xml <name>javax.jdo.option.ConnectionURL <value>jdbc:derby:;databaseName=/var/lib/hive/metastore;create=true <name>...
Hive_UDF.rar_hive_sqoop
09-24
在这个名为“Hive_UDF.rar_hive_sqoop”的压缩包中，我们可能会找到关于如何集成和自定义 Hive 用户定义函数（UDF）以及利用 Sqoop 进行数据导入导出的详细资料。 首先，让我们深入理解 Hive UDF。Hive 支持多种...
大数据实验总结_全部
11-30
大数据实验总结_全部 大数据实验总结_全部 大数据实验总结_全部
记一次HIve作业（数据表创建时加载数据，各复杂类型取值）
惊鸿的博客
05-08 633
数据表创建时加载数据，各复杂类型取值源数据操作步骤总结定义格式符时我不熟悉，下面我在打一遍，定义的顺序不能变各类型取值 源数据 操作步骤 -- 1:在虚拟机 /opt/software 下创建student_exam.txt 并添加内容 -- 2:将 student_exam.txt 文件上传到/hive_data/data/student_exam/ 下 -- 3:根据数据的结构 创建考试成绩表 student_exam_table -- student_name 学生姓名 -- intent
Hadoop从入门到入土（第十六天）
W2484980893的博客
05-27 424
Hadoop-API上传 在自己d盘下创建一个文件夹，再在文件夹下面建一个txt文件，复制该路径 在HdfsClient.java中添加如下代码： /* 上传 */ @Test public void testPut() throws IOException { //参数解读：参数1：表示是否删除原数据；参数2：是否允许覆盖；参数3：原数据路径；参数4：目的地路径 fs.copyFromLocalFile(false, fal
HIVE入门详情（二）
prefect_start的博客
07-22 653
Hive的DDL操作
【Hive】Hive表创建练习
HR的博客
03-22 589
Hive表创建练习 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格 式为 基于上述数据结构，我们在 Hive 里创建对应的表，并导入数据。 创建本地测试文件 test.txt songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing 解析上
hive建表语句（包括txt、Orc和分区）
Small-Apple的博客
12-12 1万+
-------------------------------- txt格式  无分区 ------------------------------- use an_pafc_safe; create table an_pafc_safe.sx_ela_bp_info ( id_ela_bp_info   string, code             string, agent_no ...
Hive将txt、csv等文本文件导入hive表
热门推荐
Aurora Silent
07-25 3万+
1、将txt文本文件放置hdfs目录下2、登录hive并进入到指定数据库3、创建表create external table if not exists fun_user_external ( tid INT, userid STRING, pwd STRING, create_time BIGINT, email STRING ... ) ROW
hive建表读取TXT文本
macfei的博客
12-03 1525
1.建表语句 create table temp.mg_order( father_id string, order_id string, user_id string, account string, created_time timestamp, pay_status string, pay_time timestamp, money double, pay_type string, mall string, order_type string, order_status string )ROW for
林子雨hive实践教程错误笔记
cf_wu95的博客
01-04 1791
1.注意最后要加上这一句话，没有这句话，就会报错。 alter database hive set dbproperties('edited-by'='hadoop');#为hive设置键值对属性 hive-site.xml的正确配置方式应加上&amp;amp;useSSL=false，否则会出现warning提示。其中&amp;amp;是&amp;在HTML中对应的转义符。 &lt;c...
hive外部表创建文件 test_external.txt
最新发布
04-28
创建外部表的语法如下： ``` CREATE EXTERNAL TABLE table_name( col1 data_type, col2 data_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION 'hdfs://path/to/directory'; ``` 其中，`table_name` 是表名，`col1`, `col2` 是列名和列的数据类型，`ROW FORMAT DELIMITED` 表示使用分隔符进行行分隔，`FIELDS TERMINATED BY '\t'` 表示列之间使用制表符 `\t` 进行分隔，`LOCATION` 指定外部表的存储路径。 假设有一个名为 `test_external.txt` 的文件，存放在 HDFS 的 `/user/hive/external/` 目录下，可以使用以下语句创建外部表： ``` CREATE EXTERNAL TABLE test_external( col1 string, col2 int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/user/hive/external/'; ``` 注意，外部表只是对数据的一种映射，不会在 HDFS 上创建任何文件或目录，而是直接读取指定路径下的数据文件。因此，在使用外部表之前，需要先在 HDFS 上创建相应的数据文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值