hadoop
文章平均质量分 54
哲学家之死
对分布式感兴趣。
展开
-
Hive分区表添加分区时的注意事项
总的来说,Hive相当于在hadoop之上加了一个SQL语法层,它提供了客户端与接口供使用人员与hadoop间接交互,简化了hadoop的使用。它接收SQL语句,转换成MapReduce任务,供hadoop执行。而且SQL语法很规范哦,上手很简单。其他关于使用方面的说明不再赘述,这方面的网上很多。想记录一个很小的问题。是关于外部分区表使用相关的。外部分区表建表语句 CREATE EXTERNA原创 2016-06-09 13:29:14 · 4248 阅读 · 0 评论 -
HDFS命令行接口
HDFS命令行接口Hadoop文件系统所提供的接口大部分接近于Linux的文件操作命令。文件查看 hadoop fs -ls 路径名它的输出格式类似于Unix中的”ls -l”,第1列为文件模式,第2列示文件的备份数,第3列为所属用户,第4列维所属用户组,第5列维文件大小,单位为字节,目录的话则固定为0,第6、7列则分别是文件的最后修改日期和时间,第8列为文件或目录的绝对路径。文件拷贝 h原创 2016-06-05 23:25:18 · 1101 阅读 · 0 评论 -
Hive的一些常识性技巧
导语Hive的SQL语法层设计,个人感觉很多一部分参照了MySQL的实现,目的是为了让人更容易上手,毕竟MySQL的用户还是很多的,算是变相的降低了Hive的使用门槛吧。本文介绍了些在MySQL上比较常用的技巧,也会介绍一些与MySQL不同的地方,以及在Hive上特有的小技巧。内容如下Hive支持三种集合类型,这是一种反范式的设计,关系型数据库都不存在集合的数据类型,当然,Hive本身也不是为了关原创 2016-07-02 16:38:16 · 1745 阅读 · 0 评论 -
Pig ERROR 1002
最近在学习编写Pig的UDF,碰到了很多问题。如果UDF中存在空指针的问题,可能会报出如下错误。因为一会要上班了,先写到这。得空了再回来补充。 ERROR 1002: Unable to store alias a org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator原创 2016-08-03 09:36:18 · 463 阅读 · 0 评论