《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门,即可获取!
接下来,就从最基本的准备工作开始吧。
关于CDH与Kylin
- Kylin的运行需要Hadoop、Hive、HBase等服务,因此用CDH来集中部署这些应用更为方便,下图来自Kylin官方,可见是支持CDH的:
- 官方说支持CDH6.0版本,但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题,经尝试发现Kylin2.6+CDH5.16可以正常运行,本次实战就用这样的版本搭配;
部署方式
ansible是常用的运维工具,可大幅度简化整个部署过程,接下来会使用ansible来完成部署工作,如果您对ansible还不够了解,请参考《ansible2.4安装和体验》,部署操作如下图所示,在一台安装了ansible的电脑上运行脚本,由ansible远程连接到一台CentOS7.7的服务器上,完成部署工作:
硬件准备
-
一部能运行ansible的电脑,我用的是MacBook Pro,也用CentOS验证过,都能顺利完成部署;
-
一台CentOS7.7电脑,用于运行HDFS、Hive、HBase、Spark、Kylin等所有服务(后续文中的CDH服务器就是指该电脑),用一台机器部署所有服务仅适用于学习和开发阶段,实测发现,此电脑CPU至少要双核,内存不低于16G,如果您想用多台电脑部署CDH,建议自行修改ansible脚本来分别部署,脚本地址后面会给出;
CDH服务器设置
需要登录CDH服务器做以下设置:
- 检查/etc/hostname文件是否正确,如下图:
- 修改/etc/hosts文件,将自己的IP地址和hostname配置上去,如下图红框所示(事实证明这一步很重要,如果不做可能导致在部署时一直卡在"分配"阶段,看agent日志显示agent下载parcel的进度一直是百分之零):
下载文件(ansible电脑)
本次实战一共要准备13个文件,这里用表格列举如下:
| 编号 | 文件名 | 简介 |
| — | — | — |
| 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安装包 |
| 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驱动 |
| 3 | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cm的server安装包 |
| 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cm的daemon安装包 |
| 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cm的agent安装包 |
| 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDH应用离线安装包 |
| 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDH应用离线安装包sha验证码 |
| 8 | apache-kylin-2.6.4-bin-cdh57.tar.gz | kylin安装包(适配CDH版本) |
| 9 | hosts | ansible用到的远程主机配置,里面记录了CDH6服务器的信息 |
| 10 | ansible.cfg | ansible用到的配置信息 |
| 11 | cm6-cdh5-kylin264-single-install.yml | 部署CDH时用到的ansible脚本 |
| 12 | cdh-single-start.yml | 初次启动CDH时用到的ansible脚本 |
| 13 | var.yml | 脚本中用到的变量都在在此设值,
例如CDH包名、flink文件名等,便于维护 |
下面是每个文件的下载地址:
-
jdk-8u191-linux-x64.tar.gz:Oracle官网可下,另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn,您可以一次性下载,地址:https://download.csdn.net/download/boling_cavalry/12098987
-
mysql-connector-java-5.1.34.jar:maven中央仓库可下,另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn,您可以一次性下载,地址:https://download.csdn.net/download/boling_cavalry/12098987
-
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
-
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-
CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
-
CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 (下载完毕后,将扩展名从.sha1为.sha)
-
apache-kylin-2.6.4-bin-cdh57.tar.gz:https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz
-
hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml :这五个文件都保存在我的GitHub仓库,地址是:https://github.com/zq2599/blog_demos ,这里面有多个文件夹,上述文件在名为ansible-cm6-cdh5-kylin264-single的文件夹中,如下图红框所示:
文件摆放(ansible电脑)
如果您已经下载好了上述13个文件,请按照如下位置摆放,这样才能顺利完成部署:
Spring全套教学资料
Spring是Java程序员的《葵花宝典》,其中提供的各种大招,能简化我们的开发,大大提升开发效率!目前99%的公司使用了Spring,大家可以去各大招聘网站看一下,Spring算是必备技能,所以一定要掌握。
目录:
部分内容:
Spring源码
- 第一部分 Spring 概述
- 第二部分 核心思想
- 第三部分 手写实现 IoC 和 AOP(自定义Spring框架)
- 第四部分 Spring IOC 高级应用
基础特性
高级特性 - 第五部分 Spring IOC源码深度剖析
设计优雅
设计模式
注意:原则、方法和技巧 - 第六部分 Spring AOP 应用
声明事务控制 - 第七部分 Spring AOP源码深度剖析
必要的笔记、必要的图、通俗易懂的语言化解知识难点
脚手框架:SpringBoot技术
它的目标是简化Spring应用和服务的创建、开发与部署,简化了配置文件,使用嵌入式web服务器,含有诸多开箱即用的微服务功能,可以和spring cloud联合部署。
Spring Boot的核心思想是约定大于配置,应用只需要很少的配置即可,简化了应用开发模式。
- SpringBoot入门
- 配置文件
- 日志
- Web开发
- Docker
- SpringBoot与数据访问
- 启动配置原理
- 自定义starter
微服务架构:Spring Cloud Alibaba
同 Spring Cloud 一样,Spring Cloud Alibaba 也是一套微服务解决方案,包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。
- 微服务架构介绍
- Spring Cloud Alibaba介绍
- 微服务环境搭建
- 服务治理
- 服务容错
- 服务网关
- 链路追踪
- ZipKin集成及数据持久化
- 消息驱动
- 短信服务
- Nacos Confifig—服务配置
- Seata—分布式事务
- Dubbo—rpc通信
Spring MVC
目录:
部分内容:
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门,即可获取!
[外链图片转存中…(img-Vw0uau4G-1714469609067)]
部分内容:
[外链图片转存中…(img-5d8GK3yy-1714469609068)]
[外链图片转存中…(img-843lDYpP-1714469609068)]
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门,即可获取!