- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 shell脚本中使用if和bc比较变量值和指定值
【需求场景】 我想要在整点时间运行某脚本，但是不想使用crontab。这里用到了bc来比较大小。 如果没有安装bc，需要以root用户使用yum install -y bc即可安装，安装后就能直接使用了。示例脚本如下。#!/bin/bashfunction run_job(){ yesterday=`date -d"1 days ago&am
2018-05-24 14:44:41
6475
原创 hive shell按照日期分区查询出错container rejected as it is allocated by a previous RM
【错误现象】错误日志摘要如下hive> SELECT COUNT(*) FROM user_emails WHERE DT='2018-05-04';Query ID = hive_20180521154838_e7c24767-8634-44e7-bad6-3a73ce13f768Total jobs = 1Launching Job 1 out of 1Status: Running (...
2018-05-21 16:09:14
1825
原创 如何在linux shell脚本中自动输入密码.
答案是需要通过expect 来实现。【注意】如果没有 expect ，需要预先安装[tony@pd2 ~]$ yum info expectLoaded plugins: fastestmirrorRepodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fastLoading mirror speed...
2018-05-15 18:04:26
44214
1
原创 python函数式编程示例
# 下面的例子是关于调用“从未在类中定义过的函数”>>> class X(object): def __init__(self, arg1, arg2): self.a1 = arg1 self.b1 = arg2 print "init"
2018-05-11 17:16:23
409
原创 python面向对象代码示例
以python2.7为例说明示例一，指定调用哪个对象的函数>>> class Foo(object): def func(self): print "foo's function"&
2018-05-11 15:27:00
1264
原创 kylin2.3作业将结果写入hbase时报错TableNotFoundException
执行kylin作业报错，这个作业是要把运行结果写入到hbase的表里的，但是再写入hbase过程中报错hbase中没有表 'kylin_metadata'。错误日志摘要——2018-05-07 20:28:46,137 WARN [main] util.HeapMemorySizeUtil:55 : hbase.regionserver.global.memstore.upperLimit is...
2018-05-09 20:08:42
4162
1
原创 hive中创建关联hbase表的几种方案
【运行环境】hive-1.2.1 hbase-1.1.2【需求背景】有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询，也就是通过hive就能查到hbase里的数据。但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是：hbase中已经存在了一张表。既可以在hive中关联此表的...
2018-05-03 16:28:00
9635
[案例]从冷备份的hdfs数据中恢复到原来的hbase表
2018-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人