![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
ningguixin
喜欢游泳嘿嘿
展开
-
./bin/hadoop namenode -format namenode格式化命令出错
hadoop-0.21.0 配置好1.core-site.xml 2.hdfs-site.xml 3.mapred-site.xml 格式化namenode 报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/server/namenode/NameNodeCaused by原创 2012-07-09 10:37:44 · 10416 阅读 · 1 评论 -
Hive 简单UDAF开发(extends UDAF)
Hive UDAF(User- Defined Aggregation Funcation)用户自定义聚合函数是一个很好的功能,集成了先进的数据处理。Hive有两种UDAF:简单和通用。顾名思义,简单的UDAF,写的相当简单的,但因为使用Java反射导致性能损失,而且有些特性不能使用,如可变长度参数列表。通用UDAF可以使用所有功能,但是UDAF就写的比较复杂,不直观。1、一下两个包是必须转载 2013-12-08 22:29:45 · 3509 阅读 · 0 评论 -
hive 面试题
有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t';数据:PLATFORM USER_ID转载 2013-10-18 13:59:39 · 10296 阅读 · 0 评论 -
hive udf 与udaf
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格式: Java Integer/St转载 2013-10-18 10:36:54 · 1138 阅读 · 0 评论 -
impala 刷新同步hive表命令
1>impala-shell2.[Not connected]> connect hostIP:210003.[hostIP:21000]>refresh4.[hostIP:21000] >show databases原创 2013-07-12 17:52:10 · 11553 阅读 · 0 评论 -
HIVE RCFile高效存储结构
本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据转载 2013-06-18 16:20:41 · 698 阅读 · 0 评论 -
hadoop中的若干异常的解决办法
异常1hadoop@ubuntu:~$ hadoop/bin/hadoop jar hadoop-0.20.2-examples.jarwordcount input01 output01Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-0.20.2-examples.jar转载 2012-07-31 16:45:28 · 1644 阅读 · 0 评论 -
hadoop eclipse中连接不上hdfs (connection refuse no further information)
eclipse中连接不上hdfs,显示refuse connection。解决:a.取消hdfs的安全模式 hadoop dfsadmin -safemode leave b. 在eclipse的hdfs 对话框“edit hadoop location” 的host 里不要填localhost,改为你namenode的机器名 不行的话再为你的IP地址 应 该就原创 2012-07-30 10:46:15 · 19118 阅读 · 1 评论 -
Hadoop 解除 "Name node is in safe mode"(转)(
运行hadoop程序时,有时候会报以下错误:org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧(至少我运行的时候是这样的)那我们来分析下这个错误,从字面上来理解:Name node is in safe m转载 2012-08-06 10:49:49 · 2123 阅读 · 0 评论 -
FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory
hive> select * from dummy;FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory - check filesystem config (null))java.lang.RuntimeException: Error while m转载 2012-08-06 11:31:47 · 2907 阅读 · 0 评论 -
hadoop namenode format做了什么?
一看到format就和磁盘格式化联想到一起,然后这个format是对hdfs来说的,所以有些人害怕真的是格式化自己的文件系统了,其实大可不必担心。 具体的实现format的功能是在 org.apache.hadoop.hdfs.server.namenode.FSImage 这个类的format(StorageDirectory sd)方法中,我们首先大概看下方法说明:转载 2012-08-04 11:47:47 · 2165 阅读 · 0 评论 -
Hadoop中的fsimage和edits log编辑日志
转载请注明出处: 【http://datasearch.ruc.edu.cn/~boliangfeng/blog】,谢谢。在hadoopor论坛里看到这样的问题,这里做个回答。我有一个疑问,在namenode的内存中记录了fsimsage信息,但是内存中的fsimage元数据是在namemode启动时去合并本地的editlog和fsimage得到的,这样的话就存在以转载 2012-08-04 11:55:08 · 10290 阅读 · 1 评论 -
两个Hive无法启动问题的解决
最近在一台旧linux服务器上部署hadoop+hive的测试环境。Hadoop版本:0.20.2Hive版本:0.6.0 问题一,Bash版本不对Hadoop使用假分布式启动,很容易的就跑起来了。但Hive却总是报如下的异常:#hive/opt/hive/bin/hive: /opt/hive/bin/ext/hiveserver.sh: line 19: con转载 2012-08-04 21:54:29 · 7135 阅读 · 0 评论 -
hadoop datanode启动不起来
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。 无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等转载 2012-08-03 10:02:03 · 2648 阅读 · 0 评论 -
hive jdbc方式 add udf jar
最近用hql 分析 用hive jdbc方式 add udf jar 在同一个hive服务上只能add一个jar 不然会造成冲突。原创 2014-02-20 16:39:03 · 3815 阅读 · 0 评论