【每周Java技术】2022.07.11 周一～ 07.17 周日(Maven | Docker | Spark)

打破砂锅问到底007

已于 2022-12-18 11:28:39 修改

阅读量134

点赞数

分类专栏：技术日知录文章标签： docker java maven Spark

于 2022-07-23 11:22:02 首次发布

本文链接：https://blog.csdn.net/xinkuaile/article/details/125728817

版权

技术日知录专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

一、07.11 周一
二、07.12 周二
- 2.1）Spark
- - 2.1.1） Spark 运行架构及流程
  - 2.1.2) Idea来搭建 Spark 应用程序(Scala + Maven)

一、07.11 周一

1.1）Maven

1.1.1) POM文件

教程链接

groupId 是项目组的id, 项目的唯一id
一个 groupId 下面可能有多个项目，用 artificatId 来区分
所有的 POM 文件都需要 project 元素，和三个必需的字段： groupId, artificatId, version

1.1.2) Maven 构建生命周期

Maven有下面三个标准的生命周期：
- clean: 项目的清理
- default(或 build): 项目部署的处理
- site: 项目站点文档的处理

1.1.3) Maven 构建配置文件

构建配置文件的类型：① 项目级 ② 用户级 ③ 全局

1.1.4) Maven 仓库

Maven 仓库有三种：
- 本地(local)
- 中央(central)
- 远程(remote)

运行 Maven 的时候, Maven 所需要的任何构件都是能直接从本地仓库中获取的，如果本地仓库没有，他会首先尝试从远程
仓库下载构件到本地，然后再使用本地构件

1.1.5) Maven 快照(`SNAPSHOT`)

概念：快照是一种特殊的版本，指定了某个当前开发进度的副本。每次发布都会更新快照到仓库中。

1.2) `Docker`

docker地址

1.2.1) Docker 架构

Docker 包含3个基本概念：
- ① 镜像(image): Docker 镜像，就相当于是一个 root文件系统。
- ② 容器(Container): 镜像(image) 和容器(Container) 的关系，就像面向对象中的类和对象的关系，镜像(image) 是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停。
- ③ 仓库(repository): 仓库可以看做是代码控制中心，可以用来保存镜像

在这里插入图片描述

1.2.2） `Docker` 安装

二、07.12 周二

2.1）Spark

教程

2.1.1） Spark 运行架构及流程

在这里插入图片描述

运行基本流程

2.1.2) Idea来搭建 Spark 应用程序(Scala + Maven)

在这里插入图片描述

已经下载了安装spark的安装包，在『下载软件』中，然后，复制到了 /usr/local/spark 中
source ~/.zshrc
echo $SPARK_HOME
命令行中直接执行 spark-shell 就可以运行 spark了，
参考： https://juejin.cn/post/6844904147834109965