Hadoop脚本编写

本文详细介绍了在Linux环境中编写脚本的注意事项,包括在Linux服务器而非Windows上编写以避免编码和格式问题,确保脚本调用顺序清晰,指定绝对路径,以及在从Hive中导出数据时的格式要求。此外,还强调了在编写脚本时需在文件开头引入./etc/profile,并在Hive环境下执行脚本。
摘要由CSDN通过智能技术生成


 
   编写脚本注意事项:
   1.脚本的编写应尽量在linux服务器上进行编写,若在windows机器上进行编写会出现编码,格式无法识别等问题。
   2.脚本之间可以相互调用,但前后顺序必须条例清晰,后执行脚本对之前脚本的依赖关系要清晰。
   3.所有定时任务脚本要指明绝对路径,脚本间的相互调用也要指明绝对路径。
   4.需要从hive中进行导出的数据,必须声明分割符,即在hive建表语句中末尾添加
        row format delimited fields terminated by '^'
   #先在数据库工具中写sql,写完拷贝到hive中执行下,如果能执行,然后再替换   单引号 -->  \"替换'$yearStart'这种变量替换为具体的数据然后每行最后加上 \  且后面不能出现空格,最后拷贝到脚本中。
   查询条件如果使用 *,那么  *  后面不能再跟别的表的字段,想用   *  可以,但是不能即用  *  又后面查别的字段

编写脚本 表头必加   . /etc/profile

 

脚本完成后在hive环境下找到对应的路径执行脚本即可..

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沐艺^^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值