![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 96
ASN_forever
这个作者很懒,什么都没留下…
展开
-
hive3.1.2安装
下载安装包https://pan.baidu.com/s/17qYstZwDRV5tjkysCfeEZw提取码:ue1l解压到指定目录,如/opt/bigdata/hive-3.1.2配置环境变量export HIVE_HOME=/opt/bigdata/hive-3.1.2export PATH=$PATH:$HIVE_HOME/bin修改配置文件hive-site.xmlHive的默认配置文件是hive-default.xml.template,但里面有些错误。因此这里原创 2020-11-23 18:37:06 · 1129 阅读 · 0 评论 -
could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node
问题描述在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。解决方案网上看到的类似的解决方案有以下两种:但我这里都不是。我这里的原因是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,由于没有空间而报错。默认情况下,hive脚本执行完之后会自动清理掉这些临时文件。这里之所以出现/tmp下大量文件没被清理,是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了,所以有大量临时文件未原创 2020-07-28 15:43:30 · 4666 阅读 · 4 评论 -
伪分布Hadoop2.7.6 hbase2.1.8升级到Hadoop3.1.3 hbase2.1.10
如果Hadoop集群配置了高可用,则可以进行不停服的滚动升级。但现在是伪分布的单节点集群,因此需要停止Hadoop及相关的应用,包括hbase、zookeeper等。Hadoop升级因为目前有跑flink作业,checkpoint是放在hdfs上的,因此先停掉对应的job(只需要停job,不用关flink集群) 停止hbase集群:stop-hbase.sh 停止Hadoop集群:stop-all.sh 备份hdfs元数据:包括namenode元数据、datanode元数据、临时数据,我都备份原创 2020-07-03 16:55:08 · 543 阅读 · 0 评论 -
hbase2.1.6 mr
1.hbase配置mapreduce依赖包编辑Hadoop的hadoop-env.sh文件2.重启hbase和Hadoop上面配置为hadoop-env.sh后,需要重启才能生效。3.在HBASE_HOME下运行命令即可/var/bigdata/hadoop-2.7.6/bin/yarn jar lib/hbase-mapreduce-2.1.8.jar rowcount...原创 2020-02-12 09:47:45 · 379 阅读 · 0 评论 -
hadoop集群基础上安装ZooKeeper和HBase
之前的文章已经介绍了如何搭建hadoop集群,以及在hadoop集群之上搭建spark集群。可以点击如下链接查看:一、centos7+hadoop2.8.0+VMware搭建完全分布式集群二、hadoop完全分布式基础上搭建spark集群本篇文章记录的是在上述hadoop集群上安装HBase和ZooKeeper的过程,以备后续参考!软件版本和系统环境①HBase,1.2.5,下...原创 2018-08-08 00:28:43 · 2929 阅读 · 6 评论 -
hadoop处理excel数据
博文连接:https://blog.csdn.net/py_123456/article/details/79888341原创 2018-08-22 09:49:58 · 2769 阅读 · 0 评论 -
探索MapReduce过程及分组详解
一直对MapReduce的分区和分组理解的比较模糊和不确定。这次又遇到reduce输出结果跟自己预想的不一样的情况,因此决定深入进去操作一下各种情况的结果,争取理清楚分组、分区的关系。以前的认识我一直以来对MapReduce的分区和分组有一个自己的理解。分区:如果不自定义分区类,而使用默认分区时,采取的是对键进行哈希操作,并与reducetask任务数取模,根据得到的值进行分区。由于默...原创 2018-08-17 17:14:23 · 6273 阅读 · 6 评论 -
格式化namenode时报连接错误
************************************************************/18/09/05 21:18:00 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]18/09/05 21:18:00 INFO namenode.NameNode: c...原创 2018-09-06 13:46:08 · 6073 阅读 · 2 评论 -
start-dfs.sh后jps无DataNode
看datanode日志,可以看到下面这句报错原因:java.io.IOException: Incompatible clusterIDs in /root/hadoop/dfs/data: namenode clusterID = CID-822d4bda-222d-48ef-b3e7-82fb9f7ef163; datanode clusterID = CID-9f6937a2-5a7...原创 2018-09-06 15:53:35 · 1193 阅读 · 0 评论 -
格式化namenode时报Failed to start namenode
18/09/06 19:40:19 ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: Unable to construct journal, qjournal://master:8485;master1:8485;lave1:8485;slave2:8485;slave3:...原创 2018-09-07 11:19:19 · 12296 阅读 · 7 评论 -
hadoop HA遇到的问题
hdfs namenode -bootstrapStandby命令作用:将active namenode的 {dfs.namenode.name.dir} 目录的内容复制到 standby namenode的{dfs.namenode.name.dir} 目录下在备namenode上执行hdfs namenode -bootstrapStandby命令同步主namenode的元数据时...原创 2018-09-07 13:34:28 · 525 阅读 · 0 评论 -
hadoop2.7.5+zookeeper3.4.8 HA高可用集群搭建
环境介绍系统:CentOS-7-x86_64-DVD-1611.iso 最小化安装hadoop版本:2.7.5zookeeper版本:3.4.8集群介绍两台namenode三台datanode主机名 ip地址 安装的软件 jps进程 master 192.168.89.128 Jdk/hadoop/zookeeper Na...原创 2018-09-07 14:28:57 · 623 阅读 · 0 评论 -
windows本地Eclipse开发spark程序打包到集群运行
windows环境下基于Eclipse开发spark的配置可以看上一篇博文:https://blog.csdn.net/ASN_forever/article/details/84747317本篇主要记录如何在windows本地用Eclipse开发spark程序以及如何打包到Linux集群去运行。 首先在Eclipse中创建一个maven项目,并配置好pom(具体细节看上一篇配置博文)...原创 2018-12-03 17:01:06 · 1371 阅读 · 0 评论 -
windows配置hadoop 2.x Hadoop-eclipse-plugin插件远程操作hadoop
我的hadoop集群是在centos系统上运行的,之前采用的是在windows本地通过Eclipse开发完MapReduce之后打成jar包再发送到centos集群去运行测试,效率不是很高。因此现在考虑直接在windows本地通过hadoop-eclipse插件的方式进行测试。一、环境搭建首先是复制集群上已经部署好的hadoop安装目录到windows本地,具体放在哪里自己决定。之后配置环...原创 2019-05-03 08:59:24 · 959 阅读 · 1 评论 -
MapReduce使用cleanup()方法实现排序筛选后输出
背景MapReduce的map和reduce方法有一个局限性,就是map()方法每次只处理一行,而reduce()方法每次只处理一组。并且reduce一般都是将处理每一组数据后的结果都写出。但有时候想要只输出一部分结果,比如在Wordcount程序中,想要输出单词数量前三的统计信息,这时就可以用cleanup()方法来实现。cleanup()简介在hadoop的源码中,基类Mapper...原创 2018-08-02 10:54:04 · 6695 阅读 · 3 评论 -
MapReduce中的combiner类详解及自定义combiner类(转)
转自:https://www.cnblogs.com/edisonchou/p/4297786.html一、Combiner的出现背景1.1 回顾Map阶段五大步骤 在第四篇博文《初识MapReduce》中,我们认识了MapReduce的八大步凑,其中在Map阶段总共五个步骤,如下图所示: 其中,step1.5是一个可选步骤,它就是我们今天需要了解的 Map规约 阶段。现在...转载 2018-08-06 11:34:47 · 2421 阅读 · 0 评论 -
hadoop常见问题no datanode to stop
转载http://blog.sina.com.cn/s/blog_6d932f2a0101fsxn.html转载 2018-06-19 12:08:28 · 1380 阅读 · 0 评论 -
hadoop完全分布式基础上搭建spark集群
此部分内容是建立在前面的hadoop集群搭建基础之上的,具体参考:centos7+hadoop2.8.0+VMware搭建完全分布式集群,但是要注意的是因为后面重新搭建了一次hadoop,用的jdk版本改成了jdk1.8.0_171,所以在安装时要注意统一! 步骤 一、在master上安装Spark依赖的Scala并配置环境变量二、在master上下载和解压缩Spark并配置相...原创 2018-07-08 13:03:13 · 2894 阅读 · 0 评论 -
hadoop格式化之后,jps查看DataNode未启动
因为每次格式化之后,namenode节点会更改name/current/VERSION文件中的clusterID,而DataNode保留的仍然是格式化之前的集群ID,因此需要手动修改DataNode中的clusterID,使其与namenode中的一致。只不过要注意的是,namenode和datanode修改clusterID的路径不同,前者的VERSION在/root/hadoop/dfs/na...原创 2018-07-16 11:13:40 · 420 阅读 · 0 评论 -
hadoop2.8的namenode节点用jps发现没有jobtracker 和tasktracker
原因是hadoop2.0以后的版本采用的是YARN作为资源管理器,包含了1.x版本的jobtracker和tasktracker功能。2.0之后的版本,安装成功后namenode节点用jps只会显示以下几个进程:转载:http://www.aboutyun.com/thread-7678-1-1.html问题导读:1、什么是yarn?2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景...原创 2018-07-16 11:27:53 · 2809 阅读 · 0 评论 -
windows下用Eclipse开发Wordcount程序并生成jar包上传到hadoop集群去执行
因为我安装的是centos7 服务器版本而非桌面版本,因此没办法在namenode所在虚拟机上安装Eclipse等开发工具。本来想到可以在本地Eclipse中添加hadoop插件,然后就可以直接在本地开发和测试,但无奈鼓捣了一天最后以失败告终。因此改变思路,想到用在本地开发后生成jar包,然后发送到namenode节点去运行的方式。这种方式与上一种的区别就是没法在本地运行(因为没有配置hadoop...原创 2018-07-17 14:59:15 · 3520 阅读 · 6 评论 -
MapReduce过程详解(转)
一、MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示:整个流程图具体来说:每个Mapper任务是一个java进程,它会读取HDFS中的文件,解析成很多的键值对,经过我们覆盖的map方法处理后,转换为很多的键值对再输出,整个Mapper任务的...转载 2018-07-23 16:47:20 · 482 阅读 · 0 评论 -
MapReduce中的分区方法Partitioner
文章转自:https://www.cnblogs.com/hadoop-dev/p/5903341.html在进行MapReduce计算时,有时候需要把最终的输出数据分到不同的文件中,比如按照省份划分的话,需要把同一省份的数据放到一个文件中;按照性别划分的话,需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么,如果要得到多个文件,意味着有同样数量的Red...转载 2018-07-18 11:29:08 · 360 阅读 · 0 评论 -
hadoop2.8运行自带的Wordcount
环境搭建见上一章:centos7+hadoop2.8.0+VMware搭建完全分布式集群步骤①首先在master虚拟机本地某一个目录下创建一个文件夹file,用来存储将要上传到HDFS的文件我是在/opt/hadoop路径下创建的文件夹file②接着进入file文件夹,然后创建两个文本文件file1.txt和file2.txt,并输入内容③用hadoop dfs命令在HDFS上创建用来接收本地文件...原创 2018-07-06 14:17:13 · 1321 阅读 · 0 评论 -
hadoop二次排序(转)
转自:https://www.cnblogs.com/minkaihui/p/4125672.html二次排序1 原理 二次排序就是首先按照第一字段排序,然后再对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序的结果。 这里主要讲如何使用一个Mapreduce就可以实现二次排序。Hadoop有自带的SecondarySort程序,但这个程序只能对整数进行排序,所...转载 2018-07-24 12:55:58 · 283 阅读 · 0 评论 -
Hadoop之HDFS的FileSystem接口详解(转)
转载:http://blog.51cto.com/jaydenwang/1842908hadoop2.8.0的API:http://hadoop.apache.org/docs/r2.8.0/api/overview-summary.html 基本的文件系统命令操作, 通过hadoop fs-help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop...转载 2018-07-19 22:44:36 · 2194 阅读 · 0 评论 -
spark在windows下的环境搭建(转)
https://blog.csdn.net/u011513853/article/details/52865076转载 2018-07-15 22:57:56 · 241 阅读 · 0 评论 -
MapReduce的shuffle过程详解(分片、分区、合并、归并。。。)
shuffle过程shuffle概念shuffle的本意是洗牌、混洗的意思,把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中,shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据,以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前,具体可以分为map端和reduce端前后两...原创 2018-07-29 20:56:34 · 61980 阅读 · 18 评论 -
组合键的辅助排序和统计以及split数量,map任务数量,reduce任务数量之间的关系
split的数量与map task的数量是相等的,有几个split就有几个map task。但reduce的数量与split和map task之间没有必然联系。reduce的数量与分区的数量有关系。要设置reduce的数量,可以通过定义新的分区类并重写其分区方法getPartition(),同时调用job.setNumReduceTasks(num)来实现。输入一个文件,如果文件很小则只产生一...原创 2018-07-30 18:48:37 · 921 阅读 · 0 评论 -
centos7+hadoop2.8.0+VMware搭建完全分布式集群
相关软件:①CentOS-7-x86_64-DVD-1611.iso②hadoop-2.8.0.tar.gz③jdk-8u161-linux-x64.tar.gz④VMware版本10.0.4 build-2249910 第一步:安装虚拟机假设已安装好VMware(如果未安装,点这里)。接下来在VMware中安装centos系统,基本按照默认选项进行安装,只需要修改一下...原创 2018-06-15 13:24:12 · 2140 阅读 · 2 评论