自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 spark on hive和hive on spark的区别

spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.*(1)就是通过sparksql,加载hive的配置文件,获取到hive的元数据信息* (2)spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据* (3)接下来就可以通过spark sql来操作hive表中的数据hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要

2020-11-01 20:25:24 3

转载 Hadoop 集群角色和节点数规划建议

Hadoop 集群角色和节点数规划建议2019-04-29 15:0431040转载Hadoop1、 CDH组件角色说明  Hadoop 集群服务器按照节点任务的不同可以分为管理节点和工作节点。管理节点上部署各组件的管理角色,工作节点部署各角色的存储、容器或计算角色。但因为Hadoop 不同组件之间兼容性的问题,所以一般使用Cloudera 套件。 在CDH套件中就有如下角色。2、 CDH 节点数量建议2.1 小规模集群  一般来说,小于20个节点的都属于小规模集群,受限于集群的存储和处理能力

2020-10-26 15:26:42 31

转载 CDH构建大数据平台-HDFS高可用案例实操                        

一.禁用HDFS的HA模式1>.通过CM的主界面进入HDFS集群的管理界面2>.点击HDFS的操作按钮,启用HDFS的高可用3>.自定义HDFS集群的名称4>.选择NameNode节点5>.添加JournalNode的主机6>.指定journalNode数据的存储目录7>.启用 HDFS的高可用模式8>.高可用启用完成9>.HDFS High Availability 启动成功...

2020-10-26 15:17:12 4

原创 linux 常用命令

2020-10-26 15:00:32 2

转载 CDH集群服务器主机节点与角色分配相关思考

默认首先安装的是:zookeeper -- 因为hadoop的ha高可用性需要用到zookeeper(zkfailovercontroller 与hdfs 的先后顺序影响不到) yarn的resource manager等资源管理用到 hbase的region reserver入口管理 响应客户端请求需要用到 kafka的topic等元数据保存用到了zookeeper (Zookeeper Server 进程 奇数个 paxos算法核心--为了保证半数以上投票支持 且节约资源 需要是奇数...

2020-10-26 14:44:43 20

转载 CDH集群的角色划分

本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量,真实要部署的哪些服务,硬件资源,配置,以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时,CM会根据主机的可用资源,自动的分配角色到各台主机,边缘节点除外。你可以在向导中使用”自定义角色分配 - Customize Role Assignments”来更改这些默认划分,当然你也可以以后再使用Cloudera Manager来增加或修改角色分配。在介绍角...

2020-10-26 14:35:20 19 1

转载 Hive,Hive on Spark和SparkSQL区别

Hive on MapreduceHive的原理大家可以参考这篇大数据时代的技术hive:hive介绍,实际的一些操作可以看这篇笔记:新手的Hive指南,至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结Hive on Mapreduce执行流程执行流程详细解析Step 1:UI(user interface) 调用 executeQuery 接口,发送 HQL 查询语句给 Driver Step 2:Driver 为查询语句创建会话句柄,并将查询语

2020-10-26 10:55:25 15

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除