duncan

原创 Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

问题导读1.LAG功能是什么？2.LEAD与LAG功能有什么相似的地方那个？3.FIRST_VALUE与LAST_VALUE分别完成什么功能？接上篇Hive分析窗口函数(二、三) NTILE,ROW_NUMBER,RANK,DENSE_RANK继续学习这四个分析函数。注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句，Hive分析窗口函数（一）SUM,AVG,MIN,M...

原创 Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

ER,RANK,DENSE_RANK继续学习这四个分析函数。注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句，Hive分析窗口函数（一）SUM,AVG,MIN,MAx）Hive版本为 apache-hive-0.13.1数据准备：cookie1,2015-04-10 10:00:02,url2cookie1,2015-04-10 10:00:00,url1cookie1,2015-04-10 10:03:04,1url3cookie1,2015-04-10

shell报bash: service: command not found解决方法

今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下： 脚本报错如下：./olap_quick_intall.sh: line 57: service: command not found./olap_quick_intall.sh: line 59: jp...

shell报bash: service: command not found解决方法

linux shell脚本中切换用户执行命令方法

经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下： 1、执行单个命令：su - user -c "command"如：下面命令是以test用户在/data目录下创建test123目录[root@slave19 /data]# su - test -c "mkdir /data/test123"  2、执行批量命令：su - user -s ...

linux shell脚本中切换用户执行命令方法

安装hadoop时 执行jps命令Error occurred during initialization of VM

在安装hadoop时，执行JPS出现下面错误 [slave16]root@192.168.11.10:/tmp/hsperfdata_hdfs# jpsError occurred during initialization of VMjava.lang.Error: Properties init: Could not determine current working dir...

安装hadoop时 执行jps命令Error occurred during initialization of VM

termine current working directory.        at java.lang.System.initProperties(Native Method)        at java.lang.System.initializeSystemClass(System.java:1119) 从错误知道JVM有问题，可以执行java -version命令：[slave16]root@192.168.11.10:/tmp/hsperfdata_hdfs#  java

原创 Impala ODBC 安装笔记

Impala在线文档介绍了 Impala ODBC接口安装和配置http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/Impala/Installing-and-Using-Impala/ciiu_impala_odbc.htmlImpala ODBC 驱动下载地址：http://www.cloud...

原创 Impala ODBC 安装笔记

ODBC 驱动下载地址：http://www.cloudera.com/content/support/en/downloads/connectors.html本文详细讲解了CentOS-6.5-x86_64环境下 Impala ODBC的安装和使用。  一、检查unixODBC是否安装：rpm -qa|grep unixODBC如果没有安装，使用下面的命令安装： yum install unixODBC yum install unixODBC-devel使用

原创 Windows中查找某个目录下的所有文件中包含某个字符串的命令

findstr可以完成这个工作。 [html] view plaincopy >findstr /s /i "string" *.*  上面的命令表示，当前目录以及当前目录的所有子目录下的所有文件中查找"string"这个字符串。  *.*表示所有类型的文件。/s 表示当前目录以及所有子目录/i 表示不区分大小写 可...

原创 Windows中查找某个目录下的所有文件中包含某个字符串的命令

所有文件中查找"string"这个字符串。  *.*表示所有类型的文件。/s 表示当前目录以及所有子目录/i 表示不区分大小写 可以参考help findstr的输出解释来使用此命令。 本来转自：http://blog.csdn.net/bendanban/article/details/8860344

原创 Hive几种导出数据方式

Hive几种导出数据方式 1.拷贝文件 如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoop fs –cp source_path target_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据，会报错--只能使用insert overwrite l...

原创 Hive几种导出数据方式

get_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据，会报错--只能使用insert overwrite local directory来导出数据 --hive0.11版本之前，只能使用默认分隔符^A(ascii码是\00001)insert overwrite local directory '/home/sopdm/wrk'select id,name,tel,age from sopdm.wyp;