Hive调度工具Airflow

最新推荐文章于 2024-11-28 11:16:26 发布

时下握今

最新推荐文章于 2024-11-28 11:16:26 发布

阅读量1.6k

点赞数

分类专栏：开发工具文章标签：大数据

本文链接：https://blog.csdn.net/weixin_37536020/article/details/116663855

版权

开发工具专栏收录该内容

9 篇文章 0 订阅

订阅专栏

搭建CentOS7虚拟环境

Window10、vagrant、virtualbox搭建CentOS7虚拟环境(略)

正常启动： vagrant up

进入刚才创建的centos7： vagrant ssh，默认使用vagrant账户登录

停止/关闭centos7: vagrant halt

查看centos7的状态: vagrant status

优雅关闭：vagrant halt

使用root账户登录

vagrant ssh 进入到虚拟机中
   sudo -i
   vi /etc/ssh/sshd_config
   修改 PasswordAuthentication yes
   passwd修改密码，比如abc123
   systemctl restart sshd
   使用账号root，密码abc123 登录centos7

Docker安装

①卸载之前的docker

sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine

②安装必要的依赖

yum install -y yum-utils \
device-mapper-persistent-data \
lvm2

③设置docker仓库

yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

④安装docker

yum install -y docker-ce docker-ce-cli containerd.io

⑤启动docker

systemctl start docker

⑥查看docker启动成功了吗

docker info

python3安装

安装python3: yum install python3 python3-devel
安装airflow的依赖包(用于python包的编译): yum install gcc

docker-compose工具安装

python -m pip install -U pip
.pip3 install docker-compose --user

--user 表示装在当前用户目录下面，不装在系统目录下。若不加--user表示装在系统目录下，非root用户，需要sudo命令访问系统目录

在/usr/local/airflow目录下，创建docker- comose. yml文件。(目录位置任意)

version: '3.7'
services:
    postgres:
        image: postgres:9.6
        environment:
            - POSTGRES_USER=airflow
            - POSTGRES_PASSWORD=airflow
            - POSTGRES_DB=airflow
        logging:
            options:
                max-size: 10m
                max-file: "3"

    webserver:
        image: puckel/docker-airflow:1.10.9
        restart: always
        depends_on:
            - postgres
        environment:
            - LOAD_EX=n
            - EXECUTOR=Local
            - AIRFLOW__CORE__DEFAULT_TIMEZONE=Asia/Shanghai
            - AIRFLOW__CORE__FERNET_KEY=1yJpaun-_8o-UsueWmfPO1C-1D28DLx2r6patoEv2Gs=
        logging:
            options:
                max-size: 10m
                max-file: "3"
        volumes:
            - ./dags:/usr/local/airflow/dags
            # - ./plugins:/usr/local/airflow/plugins
        ports:
            - "8080:8080"
        command: webserver
        healthcheck:
            test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
            interval: 30s
            timeout: 30s
            retries: 3