![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
Macanv
脚踏实地,每天进步一点点
展开
-
CentOS 64位编译Hadoop2.6源码
由于官网上的RPM都是32位的,运行在64位的机器上的时候或多或少的会出现问题,对于64位的机器,我们需要自己编译源码,生成可执行的Hadoop 程序。下载编译Hadoop需要有一些其他软件的支持,例如 Maven protoc等,下面让我们一起来实现这个过程。原创 2016-07-12 21:33:18 · 557 阅读 · 0 评论 -
[3].Spark 学习笔记 使用java ---explode
这篇文章将记录如何使用spark DataFrame将列数据展开,这里使用的是explode方法将对List数据和Map分别给出展开的例子原创 2017-10-20 16:47:12 · 10210 阅读 · 1 评论 -
恢复HDFS中删除的文件
刚才不小心操作删除了HDFS中的一个目录文件,百度了一些,发现找回其实挺简单的,笔者提供两种方法:1.通过终端命名;2.使用HDFS的API相关知识在HDFS中删除的文件不会马上直接删除掉,而是将其移动到了一个名为Trash的目录下,这种原理相当于电脑总的回收站机制,现在需要做的就是从回收站中将我们删除的文件还原出来。原创 2017-01-25 19:39:23 · 4747 阅读 · 0 评论 -
在hadoop MapReduce 中写日志消息
在hadoop集群中,在自带的web界面中,可以显示在代码中写入的一些日志消息原创 2017-01-25 19:05:28 · 1036 阅读 · 0 评论 -
Hive 学习笔记(1)---hive的配置
Hive 学习笔记(1)— Hive的配置系统环境原创 2017-02-12 23:27:54 · 826 阅读 · 0 评论 -
HBase MapReduce 解决java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/...
在使用MapReduce 和HBase结合时候,在运行程序的时候,会出现 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/xxx错误,原因是Hadoop的运行环境中缺少HBase支持的jar包,按照如下方法可以解决原创 2017-02-18 21:26:17 · 6442 阅读 · 0 评论 -
HDFS java API 集合
本篇博客记录Java API操作HDFS过程import原创 2017-01-15 13:49:29 · 1771 阅读 · 0 评论 -
IDEA远程调试hadoop
以前都是在idea里面写好了hadoop程序,然后打成jar包,然后在服务器上通过jar 命令进行MR 程序的执行,这样的方式不利于调试,下面给出在idea上进行远程调试hadoop的方法。原创 2017-01-15 01:02:26 · 3100 阅读 · 0 评论 -
hadoop 添加本机文件夹到HDFS目录以及一些简单命令
写完mapreduce程序后,将jar包上传到集群中run,会出现如下异常Exception in thread "main" java.lang.ClassNotFoundException: /input原因是input目录是自己的本地目录,而不是HDFS的目录,会提示你hdfs://node1:9000/input path 是不存在的,解决方法就是将本地的input目录加到HDFS目录中。原创 2016-10-03 21:49:20 · 33957 阅读 · 1 评论 -
CentOS集群部署hadoop-2.5.2
现在在学习hadoop,熬了一两天,看了很多的博客,学到了很多的知识,是前人的无私奉献,让我在hadoop的安装部署上少走了不少弯路,特此感谢。原创 2016-10-03 21:21:26 · 1215 阅读 · 0 评论 -
hadoop2.7编译以及部署时遇到的坑
hadoop2.7编译以及部署时遇到的坑1.编译时,mvn 出错使用如下mvn编译,注意-P后面不要带docsmvn package -Pdist,native -DskipTests -Dtar部署完成后,运行start-dfs.sh出现:unable to load native-hadoop library for you platform解决方法:在etc/hadoop...原创 2018-10-04 22:43:01 · 475 阅读 · 1 评论