大数据
文章平均质量分 51
大数据学习过程知识整理
大数据框架搭建
遇到的问题
靠自己生活,灵魂都是安宁的
只要思想不滑坡,点子总比困难多
展开
-
环境搭建脚本记录(待开源等小伙伴补充)
环境搭建脚本记录大数据组件安装顺序JDK安装静态ip配置关闭防火墙配置各主机之间免密登录flume安装配置Zookeeper单机安装配置Zookeeper集群安装配置 大数据组件安装顺序 组件安装顺序: 1.flume zk 2.kafka hadoop 3.flink hbase spark JDK安装 1 上传jdk安装包到主机 2 配置环境变量 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8 export CLASSPATH=$:CLASS原创 2021-08-12 18:53:51 · 323 阅读 · 0 评论 -
大数据开源框架集锦
1 大数据平台 1.1 hadoop 离线数据的分布式存储和计算基础框架 分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN 1.2 CDH 基于稳定版Hadoop及相关项目最成型的发行版本, 成为企业部署最广泛的大数据系统 可视化的UI界面中方便地管理 配置和监控Hadoop以及其它所有相关组件 简单来说将十几个hadoop开源项目集成在一起 1.3 HDP 基于hadoop生态系统开源组件构建的大数据分析平台 2 集群管理与监控 2.1 Cloudera Mana原创 2021-08-12 16:19:55 · 1105 阅读 · 0 评论