hadoop
a280966503
这个作者很懒,什么都没留下…
展开
-
【Hadoop】设置Hadoop的开机自启动
对于一个搭建好的Hadoop平台,每次启动都需要输入start-all.sh,很不方便,而只要编写一个简单的脚本文件就能实现Hadoop的开机自启动。具体实现步骤如下:测试平台:CentOS 6.4(1)进入到/etc/init.d目录下,编辑一个新的脚本文件hadoopcd /etc/init.dvi hadoop(2)编辑脚本文件hadoop#!转载 2017-10-16 18:45:34 · 5022 阅读 · 0 评论 -
Name node is in safe mode.(NameNode处于安全模式)
当我给自己的程序打包,然后放入Hadoop中运行时出现异常[java] view plain copy print?17/03/29 22:38:37 INFO client.RMProxy: Connecting to ResourceManager at master/172.18.63.28:8032 17/03/29 22:38转载 2018-02-07 20:36:08 · 5500 阅读 · 0 评论 -
Sqoop import加载HBase过程中,遇到Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:d
在执行hbase sqoop抽取的时候,遇到了一个错误,如下图: 在执行程序的过程中,遇到权限问题很正常,也容易让人防不胜防,有问题就想办法解决,这个是关键。解决办法如下:第一步:su hdfs,进入hdfs。第二步:hadoop fs -ls ,瞅瞅user的权限。第三步:修改权限hadoop fs -chmod 777 /转载 2018-01-30 13:11:02 · 1631 阅读 · 0 评论 -
如何杀掉当前正在执行的hadoop任务
列出当前hadoop正在执行的jobs:[hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list10 jobs currently runningJobId State StartTime UserName Priority SchedulingInfojob_20转载 2018-01-24 22:43:50 · 2482 阅读 · 0 评论 -
MapReduce框架详解
Mapreduce初析Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。我们要学习的就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段和reduce阶段,转载 2018-01-05 16:56:18 · 963 阅读 · 0 评论 -
hdfs架构原理
1、HDFS 是做什么的 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的转载 2018-01-05 15:26:14 · 654 阅读 · 0 评论 -
hadoop知识点
hdfs有namenode、secondraynamenode、datanode组成。为n+1模式namenode负责管理datanode和记录元数据secondraynamenode负责合并日志datanode负责存储数据原创 2018-01-03 12:43:12 · 514 阅读 · 0 评论 -
hadoop面试
1、一个datanode 宕机,怎么一个流程恢复将datanode数据删除,重新当成新节点加入即可。原创 2018-01-03 18:40:34 · 305 阅读 · 0 评论 -
hadoop命令
hadoop dfsadmin -report -查看hadoop集群每台服务器运行状况原创 2018-01-03 12:51:44 · 170 阅读 · 0 评论 -
Hadoop运维之NameNode重启
1.备份主节点 的current 目录2.在second namenode 上执行./Hadoop-daemon.sh start namenode -checkpoint3.等待30-40分钟,待checkpoint 完成后。到主节点上的current文件check fsimage 的修改时间,看是否已经同步成功。然后执行./hadoop-daemon.sh stop n转载 2018-01-03 12:58:00 · 4928 阅读 · 0 评论 -
Shutting down DataNode at java.net.UnknownHostException: master1ha: master1ha
Shutting down DataNode at java.net.UnknownHostException: master1ha: master1ha//有可能是linux主机名称的问题以根用户登录,或者登录后切换到根用户,然后在提示符下输入hostname命令,可以看出当前系统的主机名为localhost.localdomain。转载 2017-09-18 13:14:34 · 882 阅读 · 0 评论