![](https://img-blog.csdnimg.cn/8ceb77420c034c22887de4dd036b9aa1.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 88
bigdata
李指导、
这个作者很懒,什么都没留下…
展开
-
数据仓库、数据中台、大数据平台之间的关系
数据行业经常会出现数据仓库、数据中台、大数据平台等概念,容易产生疑问,它们中间是相等,还是包含的关系?原创 2024-05-20 08:59:54 · 1481 阅读 · 1 评论 -
HIVE报错:ERROR:FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapReduce
执行Hive卡死或报错:INFO : Query ID = hive_20190910180101_f63579a5-ee9a-4ab3-87a7-2c9fb7c1a7abINFO : Total jobs = 5INFO : Starting task [Stage-38:CONDITIONAL] in serial modeINFO : Stage-1 is selecte...原创 2020-05-20 00:58:26 · 2183 阅读 · 0 评论 -
基于阿里云服务器搭建CDH之后Hadoop50070页面访问不了
在CDH5.12搭建完成之后NameNode的Web UI 50070 访问不了。遇到这个其实不难解决!首先一定确保hadoop搭建无误。1.检查防火墙状态systemctl status firewalld 查看状态systemctldisablefirewalld永久关闭查看服务器 /etc/hosts中的 IP和主机名映射--(我是公网.........原创 2019-07-03 22:12:31 · 3053 阅读 · 4 评论 -
superset 详细安装
superset 详细安装(此篇文章为linux安装Superset教程)1:安装Python3以上的版本[root@slave2 ~]# yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel2:下载依赖包[root@slave2 ~]# yum install wget...原创 2021-03-12 21:49:39 · 4369 阅读 · 0 评论 -
ClouderaManager中ZooKeeper Canary挂掉
最奇怪的是ZK报错不写日志:我明明设置的是/data/log/zookeeper/ 但是这个路径下的日志文件不写日志最新的是2月的。首先理清楚思路,怎么找问题1:第一个问题是zk的canary为什么会掉,导致其他的服务也都掉了。2: 为什么不写日志。首先:ZooKeeper Canary我理解用于测试ZK节点是否正常的心跳服务,canary去其他服务的客户端连接失败了所以报错。但是ZK的服务都正常运行。去查看2181端口是否开放[bigdata@...原创 2020-09-18 15:44:22 · 1947 阅读 · 0 评论 -
YARN详解+调度器原理+开启调度器+Yarn 内存分配管理机制及相关参数配置
目录一:什么是Yarn二、Yarn的组件及架构三、Yarn的组件详解3.1 Container3.2 Node Manager3.3 Resource Manager3.4 Application Master四、Yarn request分析4.1 应用提交过程分析4.2 Resource Request和Container五: Yar...原创 2019-08-05 15:05:55 · 1726 阅读 · 0 评论 -
CDH5x离线安装+解决报错教程
CDH 集成了 Apache Hadoop 中各种相关组件,提供的 CM 服务提高了我们对于集群管理与安装的便捷性。温故而知新,在学习与使用的过程中也经常踩坑,所以做一些相关的总结,以下内容皆为个人理解的内容并非标准,如有异议之处,望指出。官方安装指南:CM的四大功能:1.管理:对集群进行管理,如添加、删除节点等操作。2.监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。3.诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。原创 2019-08-20 14:48:53 · 3852 阅读 · 3 评论 -
Hive压缩方案
Hive压缩方案目录 Hive压缩方案一、测试背景二、测试概述三、HIVE的几种文件格式对比3.1、Textfile格式3.2、sequencefile格式3.3、rcfile格式3.4、orcfi...原创 2019-08-07 17:37:04 · 936 阅读 · 0 评论