CDH6.0.1 安装 airflow

最新推荐文章于 2023-04-20 22:22:32 发布
最新推荐文章于 2023-04-20 22:22:32 发布
阅读量972 收藏 1
点赞数
分类专栏： CDH 文章标签： cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39122545/article/details/108486246
版权

CDH6.0.1 安装 airflow

一、环境要求

1、Centos7.7（自己系统，也可以是别的Ubuntu、debain都行）
2、redis、rabbitDB（分布式需要）
3、Airflow parcel

二、支持的版本

  • Airflow 1.9.0
  • Airflow 1.10.3

三、支持的系统

1、CentOS/RHEL 6 & 7
2、Debian 8
3、Ubuntu 14.04, 16.04, & 18.04

四、安装csd

1、下载jar文件 ，Airflow CSD文件

下载地址 Airflow csd

2、 将AIRFLOW-2.2.0.jar、AIRFLOW-2.2.0.jar.sha 放到 指定目录 /opt/cloudera/csd

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  说书人er
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
CDH6.0.1.txt

				
			

			

				

					04-14
				

			

		

		

			
				
本资源包含el7版本的CM6.0.1和el6和el7版本CDH6.0.1： cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm ...

			
		

	



                

              
                



	

		

			

				
					
CDH6.2.1安装Airflow1.10.3 完整步骤总结

				
			

			

				

					hello_java_lcl的博客
				

				

					04-21
					
					868
					
				

			

		

		

			
				
一、环境：

CentOS 7.10

CDH 6.2.1(python 2.7)



二、前提

第一次接触Airflow，也没有python基础，需要在CDH中集成Airflow环境，准备阶段，查询发现需要redis支持，单独搭建了Redis，结果也没用上。。。

太小白了，好多大拿的文章写的比较省略，翻了好长时间的百度和必应，才搞出来，路漫漫其修远兮，我将继续努力！



三、参考链接

https://blog.csdn.net/qq_40593230/article/details/11484.

			
		

	



                


  
              

                


	

		

			

				
					
CDH大数据平台

				
			

			

				

					.
				

				

					02-01
					
					6112
					
				

			

		

		

			
				
FineBI是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品，它可以通过最终业务用户自主分析企业已有的信息化数据，帮助企业发现并解决存在的问题，协助企业及时调整策略做出更好的决策，增强企业的可持续竞争性。多维度分析：OLAP分析实现，提供各种分析挖掘功能和预警功能，例如任意维度切换，添加，多层钻取，排序，自定义分组，智能关联等等。即时分析：可以选择数据快速创建表格或者图表以使数据可视化、添加过滤条件筛选数据，即时排序，使数据分析更快捷。Canal的安装和使用。

			
		

	





	

		

			

				
					
构建基于docker的airflow并访问有kerberos认证的cdh集群

					
最新发布

				
			

			

				

					tianjun2012的专栏
				

				

					04-20
					
					853
					
				

			

		

		

			
				
你没看错就是这个地方导致的，不能基于root安装，Ubuntu默认非root用户安教程一路起飞，centos一般都是root，一路各种掉坑，不然死活就是unhealthy，一查缺各种celery等各种依赖，但是用。，官网是入门的第一手好资料，虽说是官网，但大家环境各部相同，坑也是五花八门。进入pod查看，依赖都在，各种到头发，别问我是怎么知道的。可能需要用到的几个文件。

			
		

	



		

			
		



	

		

			

				
					
airflow 2.2.3部署（2022年最新版+史上最完整版）

				
			

			

				

					small_fash的博客
				

				

					03-03
					
					1748
					
				

			

		

		

			
				
服务器版本：

CentOS Linux release 7.9.2009 (Core)

部署程序版本：

python 3.9.0

airflow 2.2.3

mysql-8.0.28

一 安装python

为了避免不必要的报错直接全部运行安装以下命令

yum -y install zlib zlib-devel

yum -y install bzip2 bzip2-devel

yum -y install ncurses ncurses-devel

yum -y install rea

			
		

	





	

		

			

				
					
CDH6.3.2 安装 AIRFLOW1.10（亲测可用）

				
			

			

				

					qq_40593230的博客
				

				

					03-15
					
					551
					
				

			

		

		

			
				
CDH6.3.2 安装 airflow1.10

一、环境

1、CENTOS7.6

2、REDIS

3、AIRFLOW PARCEL

二、支持的版本

Airflow 1.9.0
	Airflow 1.10.3
三、支持的系统

1、CENTOS/RHEL 6 & 7

2、DEBIAN 8

3、UBUNTU 14.04, 16.04, & 18.04

四、安装CSD

1、下载JAR文件 ，AIRFLOW CSD文件

下载地址Airflow csd

2、 将AIRFLOW.

			
		

	





	

		

			

				
					
CDH6.0.1安装教程V2.0(亲测).docx

				
			

			

				

					12-13
				

			

		

		

			
				
CDH6.01详细安装教程，亲测安装成功。文档的具体内容包括：软件版本选择、基本环境安装、安装Cloudera Manager 和安装CDH。希望对大家有帮助！

			
		

	





	

		

			

				
					
CDH6.0.1_protobuf-2.5.0.zip

				
			

			

				

					10-08
				

			

		

		

			
				
《CDH6.0.1与Protobuf-2.5.0：构建Hive on Tez的基石》  在大数据处理领域，Cloudera Data Hub（CDH）是一款广泛使用的开源大数据平台，它集成了Hadoop生态系统中的多个组件，如HDFS、MapReduce、HBase等。CDH6.0.1...

			
		

	





	

		

			

				
					
linux下部署CDH6.0.1详细步骤

				
			

			

				

					05-06
				

			

		

		

			
				
CDH6安装步骤主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群； 请务必注意CDH6的安装前置条件包括如下...

			
		

	





	

		

			

				
					
大数据平台CDH6.2.0安装部署

				
			

			

				

					10-27
				

			

		

		

			
				
大数据平台CDH6.2.0安装部署  大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...

			
		

	





	

		

			

				
					
AirFlow安装文档

				
			

			

				

					06-14
				

			

		

		

			
				
airflow安装文档，步骤简单，容易理解，欢迎下载，欢迎下载

			
		

	





	

		

			

				
					
安装airflow

				
			

			

				

					蘑菇丁的专栏
				

				

					07-03
					
					794
					
				

			

		

		

			
				
安装依赖

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc python-devel.x86_64
下载setuptoos并安装
cd /opt/...

			
		

	





	

		

			

				
					
离线安装redis_CDH6.0.1 安装 airflow

				
			

			

				

					weixin_42212792的博客
				

				

					01-30
					
					670
					
				

			

		

		

			
				
一、环境要求Centos7.7(自己系统，也可以是别的Ubuntu、debain都行)redis、rabbitDB(分布式需要)Airflow parcel二、支持的版本Airflow 1.9.0Airflow 1.10.3三、支持的系统CentOS/RHEL 6 & 7Debian 8Ubuntu 14.04, 16.04, & 18.04四、安装csd1、...

			
		

	





	

		

			

				
					
CDH安装Oozie/Hue，以及其基本使用

				
			

			

				

					王某的博客
				

				

					05-11
					
					6813
					
				

			

		

		

			
				



安装Oozie：
关于Oozie
安装Hue
关于Hue
Hue的入门级使用
参考









安装Oozie：

1.登录数据库后：


  
  create database oozie default character set utf8;
  grant all privileges on oozie.* to ‘oozie’@’localhost’ identified b...

			
		

	





	

		

			

				
					
1.airflow的安装

				
			

			

				

					weixin_30681121的博客
				

				

					08-31
					
					311
					
				

			

		

		

			
				
1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele...

			
		

	





	

		

			

				
					
airflow安装实操记录

				
			

			

				

					蚂蚁窝
				

				

					06-29
					
					404
					
				

			

		

		

			
				
1.1 基础安装
1.1.1 默认自带python2环境，自行安装pip
sudo yum -y install python-pip

使用bigdata用户安装，需要加sudo，否则会出现Permission denied
1.1.2 进行pip的更新，否则后续很多安装会报错
 sudo pip install --upgrade pip
 sudo pip install --upgrade...

			
		

	





	

		

			

				
					
从入门到精通 - Fayson带你玩转CDH

				
			

			

				

					Hadoop_SC的博客
				

				

					09-22
					
					3827
					
				

			

		

		

			
				
Fayson保持每天推一篇文章，本文随之每天更新。
以下所有文章均为超链接，可以直接点击文章名跳转。

还没附上超链接的文章是还没上传的，会再后续更新后陆续补上

1.规划设计
1.1.on-premise部署规划
0001-《CDH网络要求(Lenovo参考架构)》
0062-《如何为Hadoop集群选择正确的硬件》
0158-《如何给Hadoop集群划分角色》
1.2.on private c...

			
		

	





	

		

			

				
					
CDH5.8安装说明

					
热门推荐

				
			

			

				

					走过路过
				

				

					09-03
					
					1万+
					
				

			

		

		

			
				
CDH5.8安装说明@(Hadoop)
  使用过Ambari，不知道是因为没有商业运作支撑还是社区活跃度有限，总体管理能力只能算凑合。很多Hadoop组件版本都不高，Spark也才1.3.X，Sqoop还是1.4.6.2.3，相对版本都比较低，而且管理并不算优秀。遂放弃，准备使用CDH做下测试。
  
  CDH在版本跟踪上还是比较密切贴近Hadoop的各个模块版本，基本上在修复版本上差个一两个版

			
		

	





	

		

			

				
					
【入门Airflow】 使用Docker在本地快速搭建Airflow

				
			

			

				

					mkdir700的博客
				

				

					12-16
					
					7100
					
				

			

		

		

			
				
本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。
其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。
不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。
​
官方文档：
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
生产准备
这里Airflow官方建议我们不要使用当前这种“快速入门”的方式用在生产环境。本文的这种方式就供我们

			
		

	





	

		

			

				
					
CDH6.0.1安装教程详解：CentOS 7.6快速部署与步骤

				
			

			

				

					
				

			

		

		

			
				
本教程是一份详尽的CDH6.0.1安装教程，特别针对Centos 7.6环境进行了实测。安装过程中强调了确保所有参与机器具有root权限，以避免安装过程中可能遇到的权限问题。以下步骤将引导您完成整个安装流程：  1. 软件版本...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值