hadoop
文章平均质量分 77
多多-江北残刀
这个作者很懒,什么都没留下…
展开
-
hadoop-2.7.0 运行中遇到的一些问题
hadoop部署完后,启动的时候提示 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,上网查到一些文章说是本地库版本不兼容的原因,需要重新编译,这个过程我花了很长时间,四处搜别人的文章原创 2016-12-21 11:28:47 · 616 阅读 · 0 评论 -
hiveserver2遇到的问题
对于hiveserver,看教程是直接一个bin/hiveserver指令就启动了,但是我的总是不行,贴下输出:[root@hadoop apache-hive-2.1.1-bin]# bin/hiveserver2which: no hbase in (/usr/share/java:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/原创 2017-03-01 01:59:26 · 8258 阅读 · 6 评论 -
hive 虚拟机下执行 HQL 被killed退出
背景:学习大数据,装了个虚拟机,搭载centos7的迷你,内存分配的512MBhive> select A.name,A.time > from > (select name,time,sum(count) from sale group by name, time) A join > (select name,time,sum(count) from sal原创 2017-02-28 11:38:23 · 3866 阅读 · 2 评论 -
彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题
文章转自贴吧:彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题http://www.aboutyun.com/thread-7078-1-1.html(出处: about云开发)感觉看了收获不少,担心帖子会关闭,特作备份。------------------------------------------------------------------转载 2017-02-17 19:06:57 · 352 阅读 · 0 评论 -
java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found
长时间没学习,重新调试mapreduce程序WordCount的时候,以前写好并调试通过的程序出问题了,报错如下:Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class hadoopProj.wordcount.WordCount$TokenizerMapper not found原创 2017-01-10 17:25:13 · 5736 阅读 · 0 评论 -
关于HADOOP_CLASSPATH
今天执行hadoop URLCat hdfs://locahost...的时候总是提示“找不到或无法加主类URLCat",将class文件打包成jar文件就能正常执行,查找资料得知需要设置classpath,于是添加classpath:1. 打开~/.bash_profile文件,添加一句 “EXPORT HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:.”,当然也可原创 2016-12-29 17:06:54 · 15699 阅读 · 1 评论 -
hadoop 权威指南URLCat 编译调试
hadoop权威指(第三版中文)学到3.5节,范例3-1,这里记录一下编译调试的过程:首先新建一个URLCat.java文件,将代码copy进去或者自己敲一遍,范例是没有给出依赖包的,直接javac编译肯定会出错,把需要的包import进来就好了,具体需要哪些包,只要看编译错误,然后去java文档里找对应的符号所在的包就好,这里直接贴结果,我的java文件最后是这样:package原创 2016-12-29 12:37:35 · 600 阅读 · 0 评论 -
命令行传递通配符参数 *号
实验globStatus的时候遇到问题,先贴代码package HDFS;import java.io.*;import java.net.URI;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;im原创 2017-01-04 18:18:43 · 1661 阅读 · 0 评论 -
hadoop权威指南 ShowFileStatusTest的运行调试
之前学到的实例都是有main函数的,一开始看到范例3-5 ShowFileStatusTest时,我以为这就是段示例代码,不能运行的,后来网上查到才知,这是可以调试的,需要用junit来运行(不知道为什么这些东西书里都不写,那些看这本书的大神们一上来就知道这些范例该怎么运行么?);我主要参考的文章是这篇参考文章:http://blog.csdn.net/norriszhang/articl原创 2017-01-04 13:01:13 · 1108 阅读 · 2 评论 -
hadoop中 java编译器的一点小疑惑
hadoop文档的mapreduce第一章介绍了WordCount实例的编译和运行等,其中编译的时候用的是这样的语句$ bin/hadoop com.sun.tools.javac.Main WordCount.java一直搞不懂com.sun.tools.javac.Main是啥,后来查看文档原来前面还有这样的描述Assuming environment variables ar原创 2016-12-22 10:58:46 · 3250 阅读 · 1 评论 -
Mac下 hadoop-2.7.0 编译过程记录
hadoop安装好后,启动的时候总报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable网上查到有人说是hadoop的本地库不兼容,需要自己重新编译,于是搜索各种文章,一边参考原创 2016-12-21 12:00:23 · 3878 阅读 · 2 评论 -
Eclipse中运行MapReduce程序控制台无调试信息-log4j
转自:Eclipse中运行MapReduce程序控制台无调试信息-log4j------------------------------------------------------------------------------------------------------------------------------在Eclipse中运行MapReduce程序,参数设转载 2017-02-14 16:14:43 · 1241 阅读 · 0 评论