yangxiangpao的专栏

hadoop常用命令  启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh   1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wang

本文链接地址: 《Hive几种数据导出方式》（http://www.iteblog.com/archives/955） 在本博客的《Hive几种数据导入方式》文章中，谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出

一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下 Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=... 错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至

转载自：三江小渡  http://blog.pureisle.net/archives/1687.html 新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。 一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下 Incompatible names

转载自  三江小渡 http://blog.pureisle.net/archives/1956.html 由于最近一直忙于项目的开发，所以很多配置大致进行了一下测试，具体的数据并没有统计，所以以下配置还需要根据自身的项目应用和硬件配置进行修改，事后等空闲了进行一下配置优化测试。先给出配置项。配置版本hadoop 1.0.3，版本不同可能配置项的名称会有差异。主要参照官方给出的配置指南进

转载自  三江小渡  http://blog.pureisle.net/archives/1785.html 接上一篇。 十二、如果遇到如下错误： FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:*** 就是URI里

1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的