Hadoop
余建新-18588497759
这个作者很懒,什么都没留下…
展开
-
Yarn 记录
https://developer.aliyun.com/article/280469原创 2024-03-26 16:01:15 · 190 阅读 · 0 评论 -
HDFS 记录
HDFS DataNode高密度存储机型的探索尝试。原创 2024-01-20 11:12:34 · 405 阅读 · 0 评论 -
HDFS和Yarn管理节点启动的进程
原创 2023-08-24 08:35:16 · 65 阅读 · 0 评论 -
线上 HDFS NameNode 重启的截图
一、乐信融担HDFS集群二、公共HDFS集群原创 2022-05-16 16:48:33 · 232 阅读 · 0 评论 -
切换 Yarn 主备,两个 ResourceManager 都启动失败
一、背景二、操作原创 2022-02-28 18:43:26 · 625 阅读 · 0 评论 -
【现网问题】Flink 在 Zookeeper 路径下注册的任务数据大于 1MB,Yarn 删除此路径异常。导致 Yarn 频繁切换主备,影响大数据整体服务。
1原创 2022-02-21 22:03:25 · 1345 阅读 · 2 评论 -
快速部署 Hadoop-PPVKE.txt
#一、环境说明1.1、安装节点172.16.17.31172.16.17.32172.16.17.331.2、工作路径mkdir -p /data/workDirmkdir -p /data/workDir/softBeforemkdir -p /data/workDir/softAftermkdir -p /data/workDir/dataPath二、环境准备关闭防火墙service iptables statusservice iptables stop2.1、修改原创 2020-08-23 01:00:13 · 114 阅读 · 0 评论 -
Hadoop集群管理命令
[biadmin@3 html]$ hdfs haadmin -DFSHAAdmin -getServiceState n1standby[biadmin@3 html]$ hdfs haadmin -DFSHAAdmin -getServiceState n2active原创 2016-10-08 15:52:14 · 756 阅读 · 0 评论 -
Yarn MapReduce job数与进程数是对应的
是对应的。原创 2016-09-30 13:15:16 · 577 阅读 · 0 评论 -
Hadoop fs命令对应Java进程
下载到本地FsShell -copyLocal原创 2016-10-15 01:05:51 · 714 阅读 · 0 评论 -
Hue安装配置
安装mv desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java.bak原创 2015-11-17 18:50:38 · 2630 阅读 · 0 评论 -
ResourceManager HA
#一、介绍Hadoop 2.2没怎么关注过,太新,bug太多。2.4的更新直接自己带了,Namenode有HA和Federation,RM也有了HA,而且也可以通过ZKFC自动做故障切换。大概从2.4开始,Hadoop就可以往生产环境逐渐切换了。#二、配置 yarn.resourcemanager.ha.enabled true原创 2016-03-25 15:43:45 · 1420 阅读 · 0 评论 -
Hadoop生态系统(全)
原创 2014-06-02 08:41:32 · 1367 阅读 · 0 评论 -
宏观把握Hadoop生态系统
原创 2014-06-08 16:44:38 · 997 阅读 · 0 评论 -
Hadoop集群日常维护-总结
1、问题:dfs.data.dir设置的路径值造成磁盘空间100%解决:移动此路径值到新路径下,建立软链接mv /data1/DfsDataDir /data/hdfs/data1 ln -s /data/hdfs/data1/DfsDataDir ./DfsDataDir原创 2015-03-02 18:09:51 · 2350 阅读 · 0 评论 -
Cloudera CM5.3.1&CDH-5.3.0集群安装
Cloudera Hadoop优点:1、友好的监控展示界面2、集成了Spark-1.2.0、Impala-2.1.0等缺点:可控性较Apache版本弱原创 2015-01-31 21:11:39 · 2922 阅读 · 0 评论 -
Hadoop生态系统总结 全面、详细、简洁、明了
Hadoop生态系统原创 2014-05-24 11:42:40 · 2769 阅读 · 0 评论 -
Hadoop介绍
一、Hadoop特点1.1、扩容能力(Scalable) 能可靠地(reliably)存储和处理千兆字节(PB)数据。1.2、成本低(Economical) 可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。1.3、高效率(Efficient) 通过分发数据,Hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常原创 2015-04-15 16:53:24 · 616 阅读 · 0 评论 -
Hadoop命令总结
hadoop distcp hdfs://bigdata0:9000/HCFHive hdfs://storm1:9000/hadoop fs -ls /hadoop fs -rmr /data原创 2015-04-16 12:46:33 · 580 阅读 · 0 评论 -
hadoop-2.0.6-alpha配置lzo
一、背景最近使用bulkload往HBase中批量加载数据,正在进行优化工作,其中的一个优化点是使用lzo压缩,下面给出配置过程。二、环境2.1、软件环境Red Hat 4.4.7-3hadoop-2.0.6-alpha(此配置文档对hadoop-2.2.0同样适应)hbase-0.94.112.2、硬件环境4台物理机、32G内存、6核CPU、千兆网原创 2014-12-05 22:02:40 · 1082 阅读 · 0 评论 -
Hadoop-1.1.2、HBase-0.94.7完全分布式集群搭建
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。 现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-原创 2014-05-02 11:18:19 · 6141 阅读 · 0 评论 -
Namenode HA
NameNode HA#一、Hadoop2进程QuorumPeerMainJournalNodeNameNodeDFSZKFailoverControllerDataNodeResourceManagerNodeManager#二、集群启动流程社区的NN HA包括两个NN,主(active)与备(standby),ZKFC,ZK,sh原创 2016-03-25 15:42:37 · 539 阅读 · 0 评论 -
Eclipse关联Hadoop源码 详细截图
对源码的深入当从JDK开始的,原创 2014-04-08 11:32:49 · 1360 阅读 · 0 评论