JACKY57592365-CSDN博客

原创 hive的自定义函数开发和测试

在用Hive进行ETL的时候，对于一些复杂的数据处理逻辑，往往不能用简单的HQL和函数来解决，这个时候就需要使用自定义的函数来解决。用户可以使用‘show functions’ 查看内置函数列表，可以使用'describe function function-name'查看函数说明hive提供的函数包括以下几类：1. 关系操作符：包括 = 、 =等2. 算数操作符：包括 + 、 -

2014-07-10 19:09:18 1748

原创 HIVE测试用的记录语句

create table testhello(name string,val string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ; create EXTERNAL table IF NOT EXISTS hivelog5 (val1 STRING) partitioned by (ptdate string) R

2014-07-10 19:10:41 827

转载 hive 创建/删除/截断表(翻译自Hive wiki)

这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表create table table_name ( id int,

2014-07-10 19:07:04 759

转载 Hive-UDAF开发指南

refer to:http://www.cnblogs.com/ggjucheng/archive/2013/02/01/2888051.html 在用Hive进行ETL的时候，对于一些复杂的数据处理逻辑，往往不能用简单的HQL来解决，这个时候就需要使用UDAF了。对于底层的内容还没有细看，先从应用的角度来说一下吧。使用UDAF需要实现接口GenericU

2014-07-10 19:04:46 774

转载 hive udaf开发入门和运行过程详解

介绍hive的用户自定义聚合函数（UDAF）是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和gr

2014-07-10 19:03:17 638

转载 Hive Lateral view介绍

原文：http://blog.csdn.net/youziguo/article/details/6837368 Hive Lateral view介绍2011-09-30 14:20 99人阅读评论(0) 收藏举报1）. Lateral View语法[html] view plaincopy

2014-07-10 19:01:53 653

转载 HIVE的数据类型hive array、map、struct使用

hive array、map、struct使用

2014-07-10 17:28:35 1095

原创 java.lang.SecurityException: WifiService: Neither user 错误

java.lang.SecurityException: WifiService: Neither user 这个错误的出现，是安卓上面开发百度地图时遇到WIFI定位问题，主要原因是百度文档说加的权限其实我们还要加入这个权限在XML里搞四我了。神马文档

2014-03-11 14:48:05 2709

原创解决淘宝助理第一张图片不显示

代理给你的压缩数据包里面有一个CSV文件和一个文件夹 CSV数据文件记录店铺宝贝数量和描述等等文件里面是记录淘宝第一张图片 -------------------------------------------------------------------------CSV数据包和文件名称要一致并且放在同一个目录--------------------------...

2010-08-23 13:28:08 261

原创淘宝助理引用picture存在盗链解决方案

做代理到销的卖家朋友可能会经常遇到用上家给的数据包，但是上传的时候淘宝助理会提示：“上传失败原因：Ttem service unavailable :商品描述校验失败：引用picture存在盗链”。其实这个是因为在你使用该数据包的时候淘宝上最少存在5家以上在和你用同样的数据包，按照经验，一般是一个图片的地址不能在超过3家以上的店铺使用，否则就可能被判断是“引用picture存在盗链”。解...

2010-08-03 15:46:38 184

原创淘宝网店相册搬家流程

1.使用淘宝助理备份数据包http://news.cnudp.com/20100719_638.html2.将备份好数据上传至网站进行图片自动搬家！http://news.cnudp.com/20100716_634.html3.下载网站自动生成好的CSV文件，将搬家生产的CSV文件导入淘宝助理中http://news.cnudp.com/20100719_639.html...

2010-07-30 10:21:34 314

原创超级淘宝图片搬家教程-CSV文件修改

本教材来自：CNUDP图片存储专家网站地址：www.cnudp.com 使用淘宝助理备份网店数据如果你没有安装淘宝助理请到 http://www.taobao.com/tbassistant/index.php 下载最新版的淘宝助理。 1.登入账号：选择淘宝图片搬家： 2.添加淘宝助理备份好的店铺数据3.选择你要搬家文件。4.上传CSV数据包...

2010-07-19 10:40:03 398

原创淘宝图片搬家常见问题解答FQA

本教材来自：CNUDP图片存储专家网站地址：www.cnudp.com 整站搬家几大特点：1。不会产生多余文件，节省空间 (多家店铺搬家，也会跳过同名同URL地址的图片)；2。不会对架上宝贝有任何影响，销售记录等等……注意事项：上传店铺数据包网站自动搬家过程中,请勿刷新网站!耐心等待服务器下载CSV文件中的所有图片！网站系统自动检测数据包中的图片路径,...

2010-07-19 10:37:42 257

原创庆祝由cnudp图片储存专家网站赞助：第2届-秋意浓晒图活动圆满结束

庆祝由cnudp图片储存专家网站赞助：第2届-秋意浓晒图活动圆满结束由cnudp图片储存专家www.cnudp.com举办的-这个秋天谁最牛，谁最框，谁最色？晒出你的秋天的生活，分享你的假期图片日记!图片已圆满结束【感谢】在这里感谢CNUDP图片储存专家网店专用网站www.cnudp.com对于我们的帮助提供1G的储存空间。使得圆满结束。在这里感谢大家...

2009-11-05 22:12:00 154