hive的脚本执行

最新推荐文章于 2023-09-14 16:49:28 发布
最新推荐文章于 2023-09-14 16:49:28 发布
阅读量683 收藏
点赞数 1
分类专栏： hadoop 文章标签： hadoop hive shell hdfs

hive -e "SQL"

hive -f file

实例

[root@spark1 ~]#hive -e "show tables" #查看有哪些表
[root@spark1 ~]#hive -e "show tables" >> wujiadong #将查看结果追加到wujiadong文件中
[root@spark1 ~]#hive -f 1.sql #直接跟一个文件，执行后退出
[root@spark1 ~]#hive -i 1.sql #执行之后还可以继续执行
hive> source1.sql#再hive断也可以source执行文件
 
 

  

 

 hive与依赖环境的交互
 

  

 

与linux交互
 
 

hive> !pwd;#查看路径
 

hive> !ls; #查看有哪些文件
 
 

与hdfs交互
 
 

hive> dfs -ls / ; #查看hdfs下目录
 

hive> dfs -mkdir /hahaha; #hdfs下创建目录hahaha
 
 


 
 

FROM：http://www.cnblogs.com/wujiadong2014/p/6170265.html

                

        

        

    

  


    

      

        

            

              
                
                  xinxiangsui2008
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
hive中执行.sql文件

				
			

			

				

					qq_40302627的博客
				

				

					05-11
					
					1105
					
				

			

		

		

			
				
hive -e
hive -e “source 路径/文件.sql”
hive -e ""也可以直接执行sql语句
hive -f
#hive文件/cib/a.sql中的语句：
select * from student where etl_date='${hivevar:input_date}' and jxsj='${hivevar:yesterday}';


执行a.sql文件
`hive -hivevar input_date=20200202 -hivevar yesterday=2020020

			
		

	



                

              
                



	

		

			

				
					
python调用hive脚本_python 中写hive 脚本

				
			

			

				

					weixin_40005454的博客
				

				

					02-04
					
					770
					
				

			

		

		

			
				
1、直接执行.sql脚本import numpy as npimport pandas as pdimport lightgbm as lgbfrom pandas import DataFramefrom sklearn.model_selection import train_test_splitfrom io import StringIOimport gcimport sysimport ...

			
		

	



                


  
              

                


	

		

			

				
					
hive脚本开发

				
			

			

				

					大块白云的博客
				

				

					12-07
					
					506
					
				

			

		

		

			
				
#!/bin/bash
sourceName=$1
writeName=$2
dt=$3
dtValue=$4
hive -e "set spark.app.name=clean_distinct_transfer_dept;
set spark.executor.instances=5;
set spark.executor.memory=10g;
set spark.executor.cores=2;
set spark.driver.memory=8g;
insert overwrite table.

			
		

	





	

		

			

				
					
hive 执行sql脚本。

				
			

			

				

					一杯派蒙的博客
				

				

					08-27
					
					5356
					
				

			

		

		

			
				
Hive执行sql文件
方法1： hive -f sql文件
t.sql文件内容：
select *from userinfo limit 10;
　　执行命令
hive -f t.sql
方法2： 进入hive shell, 执行source命令
进入hive 终端
$ hive
hive>
使用source命令执行
hive>source t.sql

...

			
		

	



		

			
		



	

		

			

				
					
python如何编写脚本-如何在python中写hive脚本

				
			

			

				

					weixin_39700397的博客
				

				

					11-11
					
					151
					
				

			

		

		

			
				
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下1、直接执行.sql脚本import numpy as npimport pandas as pdimport lightgbm as lgbfrom pandas import DataFramefrom sklearn.model_selecti...

			
		

	





	

		

			

				
					
在hive命令中执行脚本sql语句

				
			

			

				

					qq_36570086的博客
				

				

					06-21
					
					1000
					
				

			

		

		

			
				
hivesql命令内容摘要

			
		

	





	

		

			

				
					
如何在python中写hive脚本

				
			

			

				

					09-18
				

			

		

		

			
				
以下将详细介绍如何在Python环境中执行Hive查询和管理Hive脚本。  1. **直接执行Hive SQL脚本**   可以使用`os`模块的`popen`函数直接执行存储在本地的.sql文件。例如：   ```python  import os   hive_cmd = "hive ...

			
		

	





	

		

			

				
					
hive-shell批量命令执行脚本的实现方法

				
			

			

				

					01-20
				

			

		

		

			
				
HIVE_HOME='/opt/module/cdh-5.3.6-ha/hive-0.13.1-cdh5.3.6' ####### execute hive ###### sql=$(cat <<!EOF use db_01; drop table dept_nopart; create table IF NOT EXISTS dept_part( deptno int, dname ...

			
		

	





	

		

			

				
					
hive脚本的三种执行方式

				
			

			

				

					pan_haufei的博客
				

				

					08-17
					
					2507
					
				

			

		

		

			
				
1.hive控制台执行，安装了hive之后直接命令行输入hive，进入控制台。

2.hive -e "sql语句",直接输入就会有结果，sql语句根据具体情况自己书写



3.hive -f a.sql -hivevar table=people
a.sql的内容如下

set mapred.job.queue.name=default;
set hive.exec.red

			
		

	





	

		

			

				
					
Linux 脚本 hive脚本

				
			

			

				

					dbc_zt的博客
				

				

					08-30
					
					419
					
				

			

		

		

			
				
原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本

编写脚本: notepad++(工具)

------------------------------------------------------------------------------以下 脚本 --------------------------------......

			
		

	





	

		

			

				
					
hive脚本挂后台命令

				
			

			

				

					Beeman_xia的世界
				

				

					03-29
					
					2758
					
				

			

		

		

			
				
nohup sh xxx.sh xxx> xxx.log & 
nohup sh：.sh脚本挂后台命令 
xxx:脚本中的参数（可无）
  xxx.log 将日志写到xxx.log文件中 
  & 挂后台标志

			
		

	





	

		

			

				
					
如何创建您的第一个HIVE脚本？

				
			

			

				

					danpu0978的博客
				

				

					04-23
					
					511
					
				

			

		

		

			
				
总览
 Apache Hive是Hadoop生态系统的组成部分。 Hive可以定义为类似于软件的数据仓库，该软件可促进对HDFS（Hadoop分布式文件系统）的查询和大数据管理。 必须记住，Hive不是数据仓库软件，它提供了某种机制来管理分布式环境中的数据并使用类似于SQL的语言称为HiveQL或HIVE查询语言进行查询。 Hive脚本可以定义为捆绑在一起的一组Hive命令，以减少执行时间。 ...

			
		

	





	

		

			

				
					
hive sql脚本学习

				
			

			

				

					java技术分享
				

				

					01-20
					
					1730
					
				

			

		

		

			
				
show databases ;

-- 创建数据库  相当于新增一个 目录
create database test_db1;
-- 删除数据库   相当于删除一个目录
drop database test_db1;

use test_db;
show tables ;
create table helloword(id int,name string) row format delimited fields terminated by ',';
create table sex(id int,name

			
		

	





	

		

			

				
					
shell命令执行hive脚本的方式

				
			

			

				

					Linuxprobe18的博客
				

				

					04-11
					
					504
					
				

			

		

		

			
				
导读
			本文主要介绍了shell命令执行hive脚本(hive交互)，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
		Hive执行方式

Hive的hql命令执行方式有三种：

1、CLI 方式直接执行

2、作为独立文件，通过shell调用 hive –f或hive –i执行执行

3、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”）

方式1


键入“hive”，启动hive的cli交互模式。Set可以查看

			
		

	





	

		

			

				
					
Hive常用命令

				
			

			

				

					一枚小白的博客
				

				

					11-17
					
					1356
					
				

			

		

		

			
				
hive常用交互命令-e和-f 以及 其他命令（查看hdfs、本地文件系统，查看hive历史命令，退出命令）

			
		

	





	

		

			

				
					
Hive的使用之脚本文件

				
			

			

				

					松门一枝花
				

				

					09-01
					
					3086
					
				

			

		

		

			
				
好处
在实际开发中，遇到复杂的hivesql，在文件里先写好再执行，比直接在控制台写更高效，纠错，修改更方便，也易于后期维护。


[hadoop@hello110 ~]$ 模式
$>hive -e "sql语句"





$>hive -e "sql语句">aaa  把sql执行结果覆盖到aaa文件里
$>hive -e "sql语句">>aaa  把sql执行结果追加

			
		

	





	

		

			

				
					
hive 中运行sql文件

				
			

			

				

					suyun1221的专栏
				

				

					07-17
					
					382
					
				

			

		

		

			
				
1.在hive之外：hive -f test.sql
2.在hive之内：source test.sql;

			
		

	





	

		

			

				
					
一百七十七、Hive——海豚调度执行Hive的.sql文件

					
最新发布

				
			

			

				

					tiantang2renjian的博客
				

				

					09-14
					
					540
					
				

			

		

		

			
				
海豚调度执行Hive的.sql文件

			
		

	





	

		

			

				
					
hive sql 报错后继续执行_Hive事务管理避坑指南

				
			

			

				

					weixin_42517807的博客
				

				

					12-31
					
					973
					
				

			

		

		

			
				
原标题：Hive事务管理避坑指南1 简介Hive作为Hadoop家族历史最悠久的组件之一，一直以其优秀的兼容性支持和稳定性而著称，越来越多的企业将业务数据从传统数据库迁移至Hadoop平台，并通过Hive来进行数据分析。但是我们在迁移的过程中难免会碰到如何将传统数据库的功能也迁移到Hadoop的问题，比如说事务。事务作为传统数据库很重要的一个功能，在Hive中是如何实现的呢？Hive的实现有什么不...

			
		

	





	

		

			

				
					
shell定时执行hive脚本

				
			

			

				

					03-31
				

			

		

		

			
				
要在shell中定时执行hive脚本，可以使用crontab命令。Crontab是一个用于在Linux系统中运行定期任务的工具。它可以定时运行shell命令或脚本。

下面是一个示例crontab命令，用于每天早上5点执行hive脚本：

```
0 5 * * * hive -f /path/to/hive_script.hql
```

解释：

- **0 5 * * ***：表示每天的5点钟执行。
- **hive -f /path/to/hive_script.hql**：指定要执行的hive脚本的路径和文件名。

要使用crontab命令，可以按以下步骤操作：

1. 打开终端并输入以下命令：`crontab -e`

2. 在打开的文件中添加上述命令。

3. 保存并退出文件。

现在，hive脚本将在每天早上5点自动执行。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值