shell脚本写hive代码

最新推荐文章于 2023-02-07 15:11:17 发布
最新推荐文章于 2023-02-07 15:11:17 发布
阅读量2.6k 收藏 3
点赞数 1
分类专栏： Hadoop学习 文章标签： hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YiXiao1997/article/details/96425275
版权

①创建文件：vi hivesql.sh

②写入文件：

#!/bin/bash
datetime=$(date '+%Y%m%d%H')
source /etc/profile
hive -e 'select *from demo.movie limit 10'

③调用这个脚本：sh hivesql.sh

Behersve
关注
专栏目录
完整的Hive脚本
someInNeed的博客
05-17 1016
上线的Hivesql必须配合Shell脚本使用 ，并且将问题写入日志 #!/bin/bash source /etc/profile source /opt/security/profiles/fbi_authenticate.sh ####业财队列 if [ $# != 1 ] ; then echo "USAGE: $0 number of parameters used: 1" echo " parameter 1: beginDate yyyyMMdd" exit 1; fi rpt
Shell脚本执行Hive语句
dajuezhao的专栏
07-29 1万+
一、环境 1、Hadoop 0.20.2 2、Hive 0.5 3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、步骤 1、直接贴上脚本吧 #!/bin/bash #give the params: name value tablename if [ $# -eq 3 ] then name=
hive 脚本
bupt041137的专栏
05-07 181
hive bin=`dirname "$0"` bin=`cd "$bin"; pwd` //$0 命令行的第一个参数，代表命令本身(当前Shell程序的文件名) //dirname $0，获取当前Shell程序的路径(返回命令的路径) // . "$bin"/hive-config.sh //运行hive-config.sh if [ "$SERVICE" = "...
shell脚本中写hive的sql语句
健康平安的活着的专栏
07-09 5618
2.3shell脚本中写hive语句 2.3.1test.sh脚本内容 #!/bin/bash analysis_date=$1 #开始执行方法 #/opt/hive-2.3.5/bin/hive -e "select count(1) from hv_orders_user_buckets" echo"输入的参数变量为:$analysis_date" hive -e "u...
Hive 脚本
tianxiajianling的专栏
01-25 708
Hive 子嵌套不能在 where语句中用，只能在from中使用 可以通过join  on 来实现where子嵌套功能
Hive脚本
onlyyou0516的博客
05-24 367
http://www.powerxing.com/hadoop-build-project-using-eclipse/ /*第四章  HiveQL：数据定义*/   /*4.1 Hive中的数据库*/ create database financials; create database if not exists  financials; show  databases; crea
使用shell脚本执行hive、sqoop命令的方法
09-15
### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域，Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析，而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率，简化...
通过shell访问hive_通过shell脚本执行hive语句(批量添加hive分区)
weixin_39905816的博客
12-18 1779
最近临近年关,2018年在向我们招手,但是有好多东西也要处理一番啦,这不马上到2018年,hive分区只建立啦2017年和之前的呢,所以要把hive的2018年的分区建立好,其实hive数据仓库的文件是放在hdfs目录的,hive只是映射的hdfs目录的文件,所以说,首先要创建的是hdfs目录,创建hdfs目录这个简单,就是建立一个文件夹而已,一行语句就可以搞定,并且速度也挺快,一年的数据按天创建...
通过shell访问hive_Hive执行方式及结合shell脚本
weixin_39795116的博客
12-29 1565
Hive可以在CLI命令行中执行，但是对于不懂的hive的人会比较麻烦，所以就想能否通过shell去执行hive的语句呢，封装起来只要执行一条shell命令就可以了，每次执行只要自己传入不同参数就可以了，并且如果以后需要做定时器任务crontab也是需要调用shell的，于是就有了下面的学习1、直接在命令行中执行hive -e 'create table db.cl_a(a string);cre...
hive-shell批量命令执行脚本的实现方法
01-20
HIVE_HOME='/opt/module/cdh-5.3.6-ha/hive-0.13.1-cdh5.3.6' ####### execute hive ###### sql=$(cat <<!EOF use db_01; drop table dept_nopart; create table IF NOT EXISTS dept_part( deptno int, dname ...
shell脚本导出hive数据库和表信息到csv(数据资产盘点)
weixin_52305312的博客
04-02 3045
当我们想统计下现有的数据库下有哪些表,以及表的相关信息,需要做数据资产盘点,发现数据库和表太多的时候,当然是想通过脚本自动的去获取,以下脚本实现了扫描hive库下的表信息并输出到csv # 获取所有数据库 databases=(`hive -e "show databases;"`); # 遍历得到每个数据库 for database in ${databases[*]} do # 获取得到数据库下所有表 tables=(`hive -e "use ${database};show tabl
hive脚本
BestwishesTolover的专栏
06-04 909
Hive 注意 hive分区字段不能包含中文字段值 hive学习网站 HIVE函数大全 大数据博客 HIVE资料 新建表 create table kdcloud_cosmic_poa.ztest_poa_1( time STRING, num STRING ); 按分区新建表 create table kdcloud_cosmic_poa.ztest_poa_1( time STRING, num STRING )partitioned by(day string);
Hive 脚本执行
热门推荐
zzShine的专栏
12-11 1万+
继上篇DDL中load的数据继续进行脚本操作。 hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，不会显示OK和抓取的数据条数 hive -f sqlfile 执行
Hive中如何写shell命令（纯小白）
qq_44812523的博客
04-28 450
昨天安装了hive，在执行shell语句时，发现不管自己输入什么命令，总是什么反应也没有，一直显示输入的箭头。像下图这样。 以致于在退出的时候，输入exit或者quit都没有反应，没办法只能输Ctrl+C强制退出了。 今天在解决其他问题的时候，看到一篇博文，才发现hive里的shell命令不是回车就能启动运行的，需要输入；（分号）。 如下图所示 又是一个无脑的问题，我这个小白也是太小白了。 从...
Hive常用脚本
DSSZLLZH的博客
02-07 211
Hive常用脚本
hive脚本开发
大块白云的博客
12-07 531
#!/bin/bash sourceName=$1 writeName=$2 dt=$3 dtValue=$4 hive -e "set spark.app.name=clean_distinct_transfer_dept; set spark.executor.instances=5; set spark.executor.memory=10g; set spark.executor.cores=2; set spark.driver.memory=8g; insert overwrite table.
Hive中常见的脚本
lihuazaizheli的博客
09-15 1057
HIVE中创建脚本
shell脚本执行hive sql
最新发布
03-16
可以使用以下命令在shell脚本中执行Hive SQL语句： ``` hive -e "SELECT * FROM table_name;" ``` 其中，`table_name`是要查询的表名。您可以将此命令放在shell脚本中，并使用`sh`命令运行脚本。例如： ``` #!/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值