- 博客(15)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 inux中的set命令: "set -e" 与 "set -o pipefail"
转载自: http://blog.sina.com.cn/s/blog_8bb0a3bd010171cp.htmlinux中的set命令: "set -e" 与 "set -o pipefail" (2012-07-18 14:43:43)标签： linux set分类： 班门弄斧碎碎念工作中经常在
2015-05-19 11:05:16
1310
转载 Hive+UDAF简单示例
转载自 http://blog.csdn.net/wisgood/article/details/26167367在之前的一篇博文中,演示了一个使用通用UDTF来计算总分的小示例,下面用UDAF来做这个工作。 1.编写UDAF。 [java] view plaincopypackage co
2015-05-04 14:30:12
973
转载 Hive+UDTF简单示例
Hive+UDTF简单示例转自http://blog.csdn.net/wangzhun0129/article/details/16988381 UDTF(User-Defined Table-Generating Functions) 用来解决输入一行输出多行(On-to-many maping) 的需求。 我们来看一个简单的例子。
2015-05-04 14:29:13
455
转载 Hive+GenericUDF示例一
转载自 http://blog.csdn.net/wisgood/article/details/26169313 和UDF相比，通用GDF（GenericUDF）支持复杂类型（比如List，struct等）的输入和输出。 下面来看一个小示例。 Hive中whereme表中包含若干人的行程如下： [plain] vie
2015-05-04 14:23:33
804
转载 hadoop fs 命令
1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的
2015-05-04 14:19:55
403
转载 hive udf
转载自：http://blog.csdn.net/yfkiss/article/details/7885262今天有同事来问一个我写过的UDF的问题，想起之前貌似写过一篇这样的文章，草稿箱里找了下，确实有，躺了一年半了，发出来，也许对某些同学有帮助~HIVE允许用户使用UDF（user defined function）对数据进行处理。用户可以使用‘show f
2015-04-30 17:46:43
578
转载 hadoop配置、运行错误总结[二]
转载自 三江小渡 http://blog.pureisle.net/archives/1785.html接上一篇。十二、如果遇到如下错误：FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里
2015-04-27 12:55:24
372
转载 hadoop参数配置优化
转载自 三江小渡 http://blog.pureisle.net/archives/1956.html由于最近一直忙于项目的开发，所以很多配置大致进行了一下测试，具体的数据并没有统计，所以以下配置还需要根据自身的项目应用和硬件配置进行修改，事后等空闲了进行一下配置优化测试。先给出配置项。配置版本hadoop 1.0.3，版本不同可能配置项的名称会有差异。主要参照官方给出的配置指南进
2015-04-27 12:50:53
1196
转载 hadoop配置、运行错误总结
转载自：三江小渡 http://blog.pureisle.net/archives/1687.html新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible names
2015-04-27 12:45:58
564
原创 hadoop运行错误总结
一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=...错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至
2015-04-27 12:43:58
344
转载 Hive配置文件中配置项的含义详解
Hive配置文件中配置项的含义详解（收藏版）这里面列出了hive几乎所有的配置项，下面问题只是说出了几种配置项目的作用。更多内容，可以查看内容问题导读：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hive中还是hadoop中？4.一个查询的最后一个map/reduce任务输出是否被压缩的标志，通过哪个配置项？5.当用户
2015-03-31 16:37:30
1054
转载 Hive几种数据导入方式
本文链接地址: 《Hive几种数据导出方式》（http://www.iteblog.com/archives/955）在本博客的《Hive几种数据导入方式》文章中，谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出
2015-03-24 13:58:32
755
转载 hadoop常用命令
hadoop常用命令 启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wang
2015-03-24 13:50:45
326
转载 分析函数first_value()与last_value()
<br />刚开始接触分析函数，总有些头绪梳理不清楚，下面是引用了itpub上nyfor的一些。<br />问题的提出：在使用first_value()或last_value()的时候，同时使用partition和order by会得不到想要的效果。<br />SQL> select deptno,empno,ename,sal,<br />2 last_value(sal) over( partition by deptno )<br />3 from emp;<br />DEPTNO EMPNO ENA
2010-08-20 16:53:00
360
转载 Oracle Rman 命令详解
<br /> Oracle Rman 命令详解 收藏<br />那天突然发现归档日志已经大到有些可怕了，需要删除一些。连进去RMAN，可忘了一些命令，百度了几下才搜到。今天在网上看到篇不错的帖子，记下来，以后就不用到处找了。<br />===================================================================================<br />一、list常用命令总结备忘<br /> list命令列出控制文件、RMAN恢复目录中备份
2010-08-20 16:44:00
439
张孝祥深入体验java web开发内幕高级特性
2010-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人