使用Python爬取cloudera资源到本地

一.前言:

据Cloudera官方声明:
2021年1月31日开始，所有Cloudera软件都需要有效的订阅进行访问。
包括：包含Apache Hadoop的 Cloudera 发行版 (CDH)，Hortonworks Data Platform (HDP)，Data Flow (HDF / CDF) 和Cloudera Data Science Workbench (CDSW) 。
具体信息可以查看官网说明:
关于Cloudera软件的访问获取
在这之后,大部分的cdh资源网站都已经404,或者403,博主本人也在找寻cdh资源耗费了大量的时间和精力(当时免费的时候没有在本地存储一份资源,十分后悔…)

幸运的是,最近发现了一个可用的资源网站:

里面包含各个版本的cdh资源,如下图:
为cdh6的部分资源

考虑到该链接迟早也会不可用,准备将其资源全部下载至本地永久保存.
使用Python脚本实现是一个很适合的方案

二.代码实现

2.1 Python代码

注意:
get_file方法调用时传入想要下载资源网站的链接

vim download.py

# -*- coding: UTF-8 -*-
import urllib.request
import requests
import re, os


def get_file(url):
    '''
    递归下载网站的文件
    :param url:
    :return:
    '''
    if isFile(url):
        print(url)
        try:
            download(url)
        except:
            pass
    else:
        urls = get_url(url)
        for u in urls:
            get_file(u)

def isFile(url):
    '''
    判断一个链接是否是文件
    :param url:
    :return:
    '''
    if url.endswith('/'):
        return False
    else:
        return True


def download(url):
    '''
    :param url:文件链接
    :return: 下载文件，自动创建目录
    '''
    full_name = url.split('//')[-1]
    filename = full_name.split('/')[-1]
    dirname = "/".join(full_name.split('/')[:-1])
    if os.path.exists(dirname):
        pass
    else:
        os.makedirs(dirname, exist_ok=True)
    urllib.request.urlretrieve(url, full_name)

def get_url(base_url):
    '''
    :param base_url:给定一个网址
    :return: 获取给定网址中的所有链接
    '''
    text = ''
    try:
        text = requests.get(base_url).text
    except Exception as e:
        print("error - > ",base_url,e)
        pass
    reg = '<a href="(.*)">.*</a>'
    urls = [base_url + url for url in re.findall(reg, text) if url != '../']
    return urls

if __name__ == '__main__':
    get_file('https://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/')

2.2 脚本执行

python download.py 

脚本执行后,会按照网站的目录结构在脚本的同级目录下进行资源下载
资源很多,请确保有足够的磁盘空间

三. 资源使用

资源下载成功后,该如何利用呢?
我们可以构建本地的yum源

3.1 搭建httpd服务

yum install -y httpd >/dev/null 2>&1
# 这里的值local_soft_path需要根据自己的实际情况进行配置
local_soft_path=/opt/modules
sudo sed -i "s#/var/www/html#$local_soft_path#g" /etc/httpd/conf/httpd.conf
service httpd restart >/dev/null 2>&1

chkconfig httpd on

配置结束之后,可通过http://{hostip}的方式访问资源

我这里download.py脚本对应的本地路径为:/opt/modules/cloudera

3.2 配置本地yum源

以cdh6.2.0的资源下载为例

从网站https://ro-bucharest-repo.bigstepcloud.com下载的配置

vim /etc/yum.repos.d/cdh6.repo

[cloudera-cdh6]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 7 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=https://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cdh6/redhat/7/x86_64/cdh/6.2.0
gpgkey = https://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cdh6/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

如果是使用本地资源,该如何配置呢?
如下(以上是我的情况,根据3.1步骤的操作不同,大家的路径可能不一致)

[cloudera-cdh6]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 7 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://{yourlocal_ip}/cloudera/ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cdh6/redhat/7/x86_64/cdh/6.2.0
gpgkey = https://{yourlocal_ip}/cloudera/ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cdh6/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

接下来就可尽情享用啦! 妈妈再也不用担心我找不到cdh资源了