大数据
拂晓Skyler
Stay hungry,Stay foolish!
展开
-
解决hadoop启动时的dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.错误
今天在搭建玩Hadoop的环境,通过start-all.sh启动完毕后,发现只能打开localhost:8042的管理界面,而当进入localhost:50070对应的HDFS的web管理中心时,浏览器中一直提示无法连接。于是又仔细去翻看了下启动时的信息,发现提示了如下错误:Incorrect configuration: namenode address dfs.namenode.servi原创 2017-08-19 17:40:20 · 33339 阅读 · 22 评论 -
解决Yarn启动过程中InvalidAuxServiceException问题
问题描述Hadoop集群搭建成功后,当使用yarn来启动MapReduce程序时提示以下错误 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist 导致任务无法正常运行。解决方法查阅资料后了解到在ya原创 2017-11-17 11:05:14 · 1397 阅读 · 1 评论 -
开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题
问题描述今天在yarn上跑一个hadoop任务时,通过yarn的web管理后台(serveraddress:8088)想查看该任务的的任务时,发现提示如下错误: Java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn;t belong to t原创 2017-11-26 19:12:17 · 12005 阅读 · 6 评论 -
分布式Zookeeper安装搭建详解
一、下载zookeeper安装包在官网中下载,对于在墙内的用户,并不推荐该方式下载速度可能比较慢推荐方式:在cloudera仓库进行下载,相较于官网下载更加稳定快速,地址http://archive.cloudera.com/cdh5/cdh/5/,选择需要版本下载tar.gz的安装包二、将安装包上传解压到服务器指定目录执行 tar -zxvf zookeeperXXX.tar.gz -C /原创 2017-11-26 19:46:15 · 16941 阅读 · 1 评论 -
Hadoop分块与分片介绍及分片和分块大小相同的原因
概念介绍分块在HDFS系统中,为了便于文件的管理和备份,引入分块概念(block)。这里的 块 是HDFS存储系统当中的最小单位,HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时,若文件大小大于设置的块大小,则该文件会被切分存储为多个块,多个块可以存放在不同的DataNode上,整个过程中 HDFS系统会保证一个块存储在一个datanode上 。但值得注意的是 如果某文件大小没有到原创 2017-12-18 20:44:58 · 7854 阅读 · 5 评论 -
Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)
一、ElasticSearchSink介绍在使用Flink进行数据的处理的时候,一个必要步骤就是需要将计算的结果进行存储或导出,Flink中这个过程称为Sink,官方我们提供了常用的几种Sink Connector,例如:Apache Kafka ElasticsearchElasticsearch 2xHadoop FileSystem…这篇就选取其中一个常用的Elast...原创 2018-07-19 20:12:20 · 40530 阅读 · 15 评论