hadoop
柘月十七
写博客,记录学习的一种方式!
展开
-
Hadoop集群里执行程序出现异常就要寻找日志文件查看情况
当我们运行Hadoop执行我们的程序时,很多时候因为我们的各种无法猜测得到的原因导致程序执行出现异常情况,当然这时的我们也会很苦恼并大声尖叫“太TM难了,呜呜呜~”,莫着急!出现这样的情况就需要我们冷静下来啦,现在我们就需要去寻找异常的原因了,并不是靠我们去猜测的啦!那么,我该如何去寻找异常情况呢?在Hadoop里执行程序是有日志文件去记录的,就好比如我们微信聊天都有聊天记录咯。以下用一个例子...原创 2019-12-18 14:25:18 · 1798 阅读 · 1 评论 -
搭建Hadoop集群时把DataNode召回来
在搭建完Hadoop集群后,最让人激动的时刻莫过于启动Hadoop了,看到namenode出来了,简直高兴得跳起来啦。但是,在slave机器上jps并没有datanode,此刻又陷入了苦恼了。我们现在先挑出来形象的讲讲,id这个东西就是一个事物的唯一标识了,如人的身份证号,又或者是手机的序列号等等。在这里,master和slave是一个集群,那么它们也有自己的id号的,而且一个集群里的id都是一...原创 2019-12-18 09:38:53 · 354 阅读 · 0 评论 -
Hadoop分布式集群搭建
目录搭建前的准备进入实验安装JDK并配置环境对master克隆两份镜像修改克隆镜像的IP地址修改主机名准备所需要的Hadoop安装包配置master主机的相关文件搭建前的准备一台在虚拟机上完成网络配置且连上网络的CentOS7作为master,如果还没配置好,点击这里查看并完成。进入实验安装JDK并配置环境在这里我们的master是完成网络配置的了,我们可以搜索并下载自己需要的应用。以...原创 2019-12-17 18:01:35 · 388 阅读 · 1 评论 -
关于IP地址与主机名映射的/etc/hosts文件配置
为什么要这样做?首先,在hadoop工作就像是一个社团帮派,master是老大,而slave1、slave2等就是master的小弟。但是,slave并没有像我们那么聪明一眼就能分辨出自己的老大,它们是以ip地址作为辨别的。那么,它们是一个社团就需要把它们集合到一起,这时就需要把它们的ip地址写到一个叫/etc/hosts的文件里,然后还要把主机名也写上进行映射,这样就可以用主机名进行任务分发或...原创 2019-12-17 01:20:37 · 14651 阅读 · 0 评论 -
WordCount大变身做一些简单的数据处理应用案列
目录前言任务描述任务分析MapReduce默认排序规则代码实现任务最终效果前言WordCount算是我们学习hadoop的第一分布式计算程序了,那么把它大致的过程都啃透了将对学习后面的相关知识很有必要。WordCount1.0 代码详解,下面将分析一个2.0版本的“WordCount”的实现任务,相信自己,加油!任务描述主要梗概:对如下的样本数据进行编程实现数据的清洗和排序;Zhangs...原创 2019-11-19 19:24:34 · 275 阅读 · 0 评论 -
hadoop启动DataNode和NameNode的神操作
前言刚搭建好的hadoop或者启用hadoop时,相信大部分小伙伴都遇到过DataNode和NameNode很神奇地消失了,当然也相信大部分小伙伴为之恼怒过,在此我将讲一讲其中的某些原因以及一个神操作。原因当执行“jps”命令查看节点时,少了namenode或者datanode有可能的原因是虚拟机下linux的内存不足以致于namenode或者datanode挂了起不来。神操作呢,就是把...原创 2019-11-15 16:21:36 · 930 阅读 · 0 评论 -
MapReduce打包jar包并运行的步骤操作以及重要的注意事项
目录jkjlfdsfjkjlfdsf原创 2019-11-15 15:43:57 · 4595 阅读 · 0 评论 -
学习Hadoop第一个MapReduce程序WordCount的详解
WordCount官方代码的详解作为小白的我初次在hadoop里接触mapReduce程序,难免会有些费解以及难懂代码所蕴含的意思,经过自己查阅资料以及消化,便得到下面代码的的解释:package homework;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop...原创 2019-11-12 18:06:23 · 345 阅读 · 1 评论 -
hadoop入门习题集
以下是我上hadoop课程时由老师提供的习题集(利用Hadoop提供的shell命令完成任务):**1、**将HDFS中指定文件的内容输出到终端中;**2、**显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;**3、*给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;“ hado...原创 2019-10-18 20:05:37 · 1513 阅读 · 0 评论