hadoop
hadoop生态
毛豆有毛没豆
这个作者很懒,什么都没留下…
展开
-
Azkaban2.5.0安装+使用
Azkaban 的架构1) AzkabanWebServer:AzkabanWebServer 是整个 Azkaban 工作流系统的主要管理者,它用户登录认证、负责 project 管理、定时执行工作流、跟踪工作流执行进度等一系列任务。2) AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过 mysql 数据库来协调任务的执行。3) 关系型数据库(My...原创 2020-01-23 11:03:47 · 390 阅读 · 0 评论 -
HDFS数据倾斜:balance解决方案
转载:https://www.aboutyun.com/thread-19959-1-1.html1、数据产生原因2、生产中数据倾斜造成的后果3、解决方案转载 2020-01-13 20:10:31 · 614 阅读 · 0 评论 -
已解决:hadoop namenode无法启动:Call From node1/192.168.152.31 to node2:8485 failed on connection exception
2020-01-12 16:23:02,893 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.152.31:8485, 192.16...原创 2020-01-12 16:42:42 · 8205 阅读 · 1 评论 -
eclipse配置hadoop开发环境
1、解压hadoop工程包和源码包2、配置hadoop环境变量 HADOOP_USER_NAME配置成root HADOOP_HOME path中添加HADOOP_HOME3、整合lib包,下载hadoop2.6.5的jar包解压后,将hadoop-2.6.5\shar...原创 2019-12-13 17:55:22 · 613 阅读 · 0 评论 -
Hadoop2.6.5 完全分布式搭建(hdfs+mapreduce-on-yarn)
环境linux Centos6.8jdk1.8zookeeper集群环境角色预设 NN-1 NN-2 DN ZK ZKFC JNN RS NM node01 ...原创 2019-12-13 17:00:49 · 142 阅读 · 0 评论