在【华为云-MRS服务】上进行大数据开发

先通过免费的实验找找感觉

实验地址

KooLabs云实验_在线实验_上云实践_云计算实验_AI实验_华为云官方实验平台-华为云

下载文件

https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com/20220927/000000_0

wget https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com/20220927/000000_0

文件内容

即下文使用到的demo_02.txt和check01.txt都是以下内容

7001 大学计算机—计算思维导论 3-5小时每周 0
7002 思想政治 2-4小时每周 0
8001 大学计算机—C语言程序设计 3-5小时每周 7001

安装工具

pip3 install pyhdfs

上传脚本

import pyhdfs

if __name__=="__main__":
    fs=pyhdfs.HdfsClient(hosts="192.168.0.59:9870",user_name="zker")
    print(fs.listdir("/exp2"))
    fs.copy_from_local("/root/000000_0","/exp2/demo_02.txt")
    print(fs.listdir("/exp2"))

上传命令

python3 upload_file.py

查看文件

su - zker

hdfs dfs -ls /exp2

hdfs dfs -cat /exp2/demo_02.txt | tee check01.txt

费用

预估费用

28元一小时

实际费用

接近60块钱一小时

以下是使用两个小时的费用统计，分别创建销毁了2次MSR集群