2013年12月_幸运小侯子

12月 11月 10月 09月

原创 hive指定行分割符和列分隔符

指定行分割符和列分隔符由于默认的是能指定列分隔符，但是不可以指定行分隔符，所以这个时候，我们存在hdfs上的数据有的可能是\001是列分隔符，和\002是分隔符这个时候就得重写一下inputformat来使用了。 package com.hcr.hadoop.hive; import java.io.IOException;import java.io.UnsupportedE

2013-12-26 10:34:13 13547

hive指定行分割符和列分隔符

指定行分割符和列分隔符由于默认的是能指定列分隔符，但是不可以指定行分隔符，所以这个时候，我们存在hdfs上的数据有的可能是\001是列分隔符，和\002是分隔符这个时候就得重写一下inputformat来使用了。(当然还有其他的方式，比如书上说serDe 来做)package com.hcr.hadoop.hive; import java.io.IOException;im...

2013-12-26 10:34:00 3364

原创 hive 自定义函数UDF,UDAF

自定义函数在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（user defined function =UDF）由于hive本身是用java语言开发，所以udf必须用java来写才可以。Hive中有三种UDF1. 普通udf（UDF）操作单个数据行，且产生一个数据作为输出。例如（数学函

2013-12-26 10:29:56 11352 1

hive 自定义函数UDF,UDAF

自定义函数在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（user defined function =UDF）由于hive本身是用java语言开发，所以udf必须用java来写才可以。Hive中有三种UDF1.普通udf（UDF）操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函...

2013-12-26 10:29:00 143

原创 hive 数据查询复杂SQL

排序和聚集正常在数据少的情况下直接使用order by来操作即可，因为是全排序所以要在一个reduce中完成 from recordsselect year,temperatureorder by year asc,temperature desc; 如果数据量大，并且不需要全排序，只是需要每个reduce中的数据排序即可。如下根据year来指定（dis

2013-12-26 10:24:45 8155

hive 数据查询复杂SQL

排序和聚集正常在数据少的情况下直接使用order by来操作即可，因为是全排序所以要在一个reduce中完成from recordsselect year,temperatureorder by year asc,temperature desc;如果数据量大，并且不需要全排序，只是需要每个reduce中的数据排序即可。如下根据year来指定（distrib...

2013-12-26 10:24:00 590

原创 hiveQL学习和hive常用操作

Hive服务Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用-service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务列表。下面介绍最有用的一些服务。cli Hive的命令行接口(外壳环境)。这是默认的服务。hiveserver 让Hive以提供Trift服务的服务器形式运行，允许用不同语言编写的客户端

2013-12-26 10:17:17 2355

hiveQL学习和hive常用操作

Hive服务Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用-service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务列表。下面介绍最有用的一些服务。cliHive的命令行接口(外壳环境)。这是默认的服务。hiveserver 让Hive以提供Trift服务的服务器形式运行，允许用不同语言编写的客户端进 ...

2013-12-26 10:17:00 294

原创 hive 安装和配置

修改配置文件[hcr@ebsdi-23260-oozie>javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNamehivejavax.jdo.option.ConnectionPasswordhive

2013-12-25 20:49:51 1898

原创 centos 开机自动启动网络

本来在虚拟机上安装的centos6.0(Final)版本系统，安装的后，由于每次登陆用crt 登，但默认开机不在虚拟机上登陆，crt连不上（网卡没启动）。接下来就修改一下查看一下使用的网卡。[hcr@slave2 ~]$ ifconfigeth1 Link encap:Ethernet HWaddr 00:0C:29:8C:BF:DF

2013-12-22 12:27:17 4114

转载 Velocity中的ComparisonDateTool、MathTool、NumberTool

可以从Apache官方网站自带的例子中查找，位置\velocity-tools-1.4-src\examples\showcase。Apache官方网站自带的例子有下面一些：使用Velocity Tools的时候，一定要在toolbox.xml中指定，然后在应用的web.xml中配置。这里，关于jar包的引用，很可能出现一种Velocity运行时异常，例如：

2013-12-06 11:02:15 2348

Velocity中的ComparisonDateTool、MathTool、NumberTool

2013-12-06 11:02:00 208

原创 hdfs文件系统FileSystem.rename异常

org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hdfs.server.namenode.INodeFileUnderConstruction cannot be cast to org.apache.hadoop.hdfs.ser

2013-12-04 17:30:51 4693