搭建大数据开发环境【AutoDL容器】

已于 2024-01-14 15:05:37 修改
阅读量1.5k 收藏 5
点赞数 10
文章标签： 大数据
于 2024-01-09 11:01:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lenhart001/article/details/135454250
版权

租用AutoDL容器

  • 注意：结束实验时记得将数据库数据转移存储

使用Docker实现本地IDEA连接AutoDL

  • @后为ssh服务器地址
  • 用户名为@前的
  • 端口号
  • ssh密码为用户密码

安装基础工具

  • 更新apt
apt-get update
  • 更新vim/gedit
apt-get install vim
  • 安装sudo
apt-get install sudo
  • 安装
sudo apt-get install coreutils

创建新用户

  • 不能使用root用户启动Hadoop集群
  • 创建hadoop用户
useradd -m hadoop -s /bin/bash
  • 设置用户密码
sudo passwd hadoop
  • 增加管理员权限
adduser hadoop sudo

安装ssh、配置ssh无密码登录

  • Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server
sudo apt-get install openssh-server

使用命令登陆本机

ssh localhost
  • 如果有提示，按照提示输入yes回车
  • 退出刚才的 ssh，回到原先的终端窗口，利用 ssh-keygen 生成密钥，并将密钥加入到授权中
exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
  • 此时再用 ssh localhost 命令，无需输入密码就可以直接登陆

安装JDK

压缩包安装

这里安装的是1.8完整版（jdk1.8.0_381）

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下
  • 配置环境变量
cd ~
vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_351	# 自己安装java的位置
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc
  • 查看是否生效
java -version

安装Hadoop

Hadoop常见基本操作

sudo tar -zxf ~/下载/hadoop-3.3.4.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.3.4/ ./hadoop            # 将文件夹名改为hadoop
# 修改文件权限
sudo chown -R hadoop ./hadoop    
sudo chmod -R 777 ./hadoop		# 常用这个命令改变权限
  • 检查是否可用
cd /usr/local/hadoop
./bin/hadoop version

hadoop伪装分布式

  • Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中
  • 伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
  • 修改配置文件 core-site.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  • 修改配置文件 hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
  • 配置hadoop环境变量
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  • 在hadoop-env.sh中重新声明JAVA_HOME
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin
  • 配置完成后，执行 NameNode 的格式化
cd /usr/local/hadoop
./bin/hdfs namenode -format
  • 开启 NameNode 和 DataNode 守护进程
cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

安装MySQL

MySQL常见基本操作

安装Spark

Spark常见基本操作

sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-1.6.2-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名
  • 修改~/.bashrc中的配置文件
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
  • 修改Spark的配置文件spark-env.sh
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

# 编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
  • 通过运行Spark自带的示例，验证Spark是否安装成功
cd /usr/local/spark
bin/run-example SparkPi
# 可以通过 grep 命令进行过滤
bin/run-example SparkPi 2>&1 | grep "Pi is"

简单项目开发–物流管理系统

前端设计

后端开发

数据处理

数据清洗
数据来源网上，主要利用爬虫方式进行处理数据，对于这些数据则可能发生，字段丢失，或者重复爬取等情况。需要针对于数据进行处理。
本次项目中选用spark进行数据简单处理
准备工作：

  • 启动hadoop中分布式文件系统
start-dfs.sh
  • 启动spark-shell
spark-shell
  • 上传初始化源文件

Hadoop的基本指令

hadoop fs -mkdir -p /douban/input
hadoop fs -put /soft/movie_info.csv /douban/input/
hadoop fs -put /soft/movie_rating.csv /douban/input/
  • 查看文件
  • 启动spark-shell进行数据处理
scala> val movieInfo=sc.textFile("hdfs://192.168.91.199:9000/douban/input/movie_info.csv")
scala> val movieRating=sc.textFile("hdfs://192.168.91.199:9000/douban/input/movie_rating.csv")
  • 数据的去重工作：
scala> val rdd1 = movieInfo.distinct()
scala> val rdd2 = movieRating.distinct()
  • 保存到文件中：
scala> rdd1.repartition(1).saveAsTextFile("hdfs://192.168.91.199:9000/douban/output/out1")

scala> rdd2.repartition(1).saveAsTextFile("hdfs://192.168.91.199:9000/douban/output/out2")
  • 数据清洗：去除无效数据------每个数据文件中标头
scala> val rdd3 = movieInfo.filter(!_.contains("电影"))
rdd3: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[23] at filter at <console>:26

scala> val rdd4 = movieRating.filter(!_.contains("电影"))
rdd4: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[24] at filter at <console>:26
  • 保存本地文件
scala> rdd3.repartition(1).saveAsTextFile("hdfs://192.168.91.199:9000/douban/output/out3")
scala> rdd4.repartition(1).saveAsTextFile("hdfs://192.168.91.199:9000/douban/output/out4")

虚拟机常见错误

  • 基础指令无法使用
# 暂时恢复正常
export PATH=/usr/bin:/usr/sbin:/bin:/sbin

补充操作

本地Python通过paramiko对云服务器操作

  • 列出hadoop上的文件
import paramiko

# 云服务器的SSH连接信息
host = 'connect.bjb1.seetacloud.com'
port = 40180
username = 'hadoop'
password = '123'

# 创建SSH客户端
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

# 连接到云服务器
client.connect(host, port, username, password)

# 执行HDFS命令（例如，列出根目录）
hdfs_command = 'hdfs dfs -ls /'
stdin, stdout, stderr = client.exec_command(hdfs_command)

# 输出命令执行结果
print(stdout.read().decode())

# 关闭SSH连接
client.close()
  • 文件传输
import paramiko
from scp import SCPClient

# 云服务器的SSH连接信息
host = 'your_server_ip'
port = 22
username = 'your_ssh_username'
password = 'your_ssh_password'

# 创建SSH客户端
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

# 连接到云服务器
client.connect(host, port, username, password)

# 通过SCP传输本地文件到云服务器上的HDFS
local_file_path = 'path/to/local/file.txt'
remote_hdfs_path = '/path/in/hdfs/'

# 使用SCPClient传输文件
with SCPClient(client.get_transport()) as scp:
    scp.put(local_file_path, remote_hdfs_path)

# 关闭SSH连接
client.close()
小手の冰凉
关注
  • 10
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker安装教程（超详细）
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
08-06 2991
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口 老铁们，大师将手把手教大家如何安装Docker，废话不多说，直接开整Docker安装教程！1、Linux服务器安装的centos的系统内核不能低于3.10，否则安装不成功。可以通过一下命令查看系统内核2、之前安装过docker的需要清除原安装残余3、创建阿里云镜像，目的是优先从阿里云获取镜
Ubuntu 20.04 安装Docker指南
记录与分享
11-25 752
删除旧版本Docker 执行以下命令删除旧版本docker sudo apt remove docker sudo apt remove docker-engine sudo apt remove docker.io sudo apt remove containerd sudo apt remove runc 如果您得到系统的反馈 这是正常的，意味着您的操作系统中并没有烦人的旧docker，请继续。 设置docker仓库 更新 apt 包索引 sudo apt update 安装
阿里云Linux安装docker
01-20
阿里云Linux安装docker 首先查看有没有安装docker yun list installed | grep docker 没有的话直接安装 #-y表示不询问安装，直到安装成功 yun -y install docker 安装完后再次查看安装列表 启动docker systemctl start docker 查看docker进程状态 systemctl status docker 这里说明docker安装成功 接着安装docker-compose 安装docker-compose docker的三个组件之一 因为其他两个组件的使用率比较小 所以只用装这个就行了 cur
给自己看的Docker文章
ShunClannad的博客
03-01 163
@ *** CentOS上Docker详细基础 *** 什么是容器 容器技术已经成为应用程序封装和交付的核心技术 容器技术的核心有以下几个内核技术组成 ----Cgroups (Control Groups) 资源管理 ----NameSpace 进程管理 ----SELinux 安全 由于是在物理机上实施隔离，启动一个容器，可以像启动一个进程一样快 什么是Docker Docker是完整的一套容器管理系统 Docker提供了一组命令，让用户更加方便
一、安装docker
dears-app的博客
12-28 215
Centos安装docker
Ubuntu18.04下docker+NVIDIA-docker2指定版本安装
风轻时听花落的博客
04-21 905
1 . $ sudo apt update（安装docker时报错找不到docker, 使用sudo apt-get update) 2 .$ sudo apt install apt-transport-https ca-certificates curl software-properties-common 3 .在/etc/apt/sources.list.d/docker.list文件中添加如下文本 deb [arch=amd64] https://download.docker.com/l..
使用Autodl云服务器或其他远程机实现在本地部署知识图谱数据库Neo4j
weixin_72914660的博客
02-17 2247
魔法打败魔法——远程机在本地部署Neo4j最全解！
AutoDL 云/内网部署 百川2、GLM2
Debroon
11-02 2781
我比较喜欢4090，因为这个算力和A100一样，在大模型推理上速度比A100快。百川2-13B 光是模型加载就需要26GB的显存，加上推理需要的消耗，没28GB以上的显存是搞不了。底部的【立即创建】点不了，可以点【余额不足充值】，充值 3 块钱即可，先不要充很多，低成本测试。选择【社区镜像】，输入：THUDM/ChatGLM2-6B/ChatGLM2-6B。如果之前的GPU上有下载文件，可以克隆实例，开新GPU。不用了，就回到这个界面，点击关机即可，不会扣费。注册后，找到签到得2个金币，刚好换这个。
阿里云服务 安装 Docker
最新发布
zhangxuanchen的博客
03-11 767
Alibaba Cloud Linux是阿里巴巴云专属的操作系统，它与CentOS有一定的相似性。容器运行的欢迎消息，这意味着Docker已成功安装在您的Alibaba Cloud Linux服务器上。如果你想安装特定版本的Docker，你可以先列出在仓库中可用的版本，然后选择一个特定版本来安装。： 运行一个测试容器来确认Docker是否正确安装和运行。： 如果您希望Docker在系统启动时自动运行，可以使用。替换为您的用户名，然后注销并重新登录，以使这些改变生效。： 首先，更新您的系统软件包到最新版本。
ubuntu docker离线安装docker（.deb包方式）（成功）（附卸载方法）
Dontla的博客
07-24 8380
是Docker社区版（Community Edition）的非root用户额外组件的软件包。是Docker的扫描插件的软件包。Docker Compose是一个用于定义和运行多容器应用的工具，它使用一个YAML文件来配置应用的服务、网络和卷等。Buildx是一个用于构建多平台镜像的工具，它可以同时构建多个平台的镜像，并支持交叉编译。这是Docker容器运行时（containerd）的软件包。这是Docker社区版的命令行界面（CLI）的软件包。这两个软件包是Docker的附加组件，可以根据需要选择安装。
pycharm连接autodl服务器（yolov8训练自己的数据集）
02-16
#### 三、AutoDL 端 Python 环境初始化 **3.1 初始化 Conda 环境** - 打开 PyCharm 终端，并初始化 Conda 环境： ```bash conda init ``` 完成后重新打开一个终端。 **3.2 查找 Python 解释器路径** - 使用 ...
本地打开autodl的stable-diffusion-webui,自动SSH连接
10-20
这通常用于数据科学或机器学习环境，其中用户可能需要在一个安全的、远程的计算资源上执行任务，如训练模型或处理大数据。 首先，让我们了解一些关键术语： 1. **autodl**：AutoDL（自动化深度学习）通常是一个...
autodl-trackers：autodl-irssi的autodl-community分支的跟踪器文件
02-02
总的来说，autodl-trackers是一个用于BitTorrent下载自动化的工具，它在autodl-irssi的基础上增加了社区开发的功能，尤其是与追踪器的交互，以优化P2P文件下载体验。通过这个工具，用户可以设置规则，自动监控和启动...
autodl-irssi：由社区驱动的autodl-irssi分支
02-04
标题中的"autodl-irssi：由社区驱动的autodl-irssi分支"指的是一个基于社区贡献和发展的autodl-irssi项目分支。这个工具是为那些使用IRSSI（一个流行的文本终端IRC客户端）的用户设计的，旨在自动化下载通过IRC频道...
2022大数据计算架构实践资料合集-共47份.zip
04-28
百度AutoDL：自动化可解释的深度学习 OpenMLDB：开源实时特征计算全栈解决方案 Alluxio 加速云上深度学习训练 基于大数据的复杂场景的语音识别的探索与实践 阿里万卡 GPU PAI 集群的资源效率优化：数据剖析和工程...
Docker构建QWen大模型
weixin_41870249的博客
02-27 1384
序：采用AutoDL容器，快速搭建千帆大模型GPU服务器，Ubuntu20+操作系统安装并配置docker和nvidia-container-toolkit# 配置docker# 测试docker是否安装正确# 配置nvidia-container-toolkit# 测试nvidia-container-toolkit是否安装正确核心分为以下3步：一、docker镜像拉取二、下载模型这一步是最核心的内容，需要通过ModelScope下载模型和源代码。
远程服务器配强化学习环境遇到的坑
UncleCrayon的博客
01-11 2891
遇到这些问题是因为租的服务器本质上是一个Docker容器的实例.没有显示器,也不能装Docker.那么Gym的env.render()和mujoco的画面显示都会出现问题.
李沐+AutoDL深度学习环境配置
Supremelv的博客
01-14 8588
李沐老师课程，在AutoDL服务器配置深度学习环境。
automation - 使用docker搭建基于artifactory的library仓库
原小明
03-22 3266
1.唠叨如上上文章所说，直接在本地就可以进行搭建，但总在终端运行者总感觉特别不爽，又不想在电脑上安装这些东西，就看见了使用docker来安装：Installing+with+Docker这样就解决了矛盾与痛苦，在docker上进行安装，即方便了迁移，也方便了使用； 本文基于 macOS , window或linux 也可以照搬 2. mac 下安装 docker我使用的是 社区版 ： mac 下
sudo 与sudo -
08-31
sudo 是一种在 Linux 和 Unix 操作系统中使用的命令，它允许普通用户以超级用户（也称为管理员或 root 用户）的身份执行特权操作。通过使用 sudo 命令，普通用户可以临时获取更高的权限来执行需要特权的命令或访问受限资源。 sudo - 命令是 sudo 的一种使用方式，它用于模拟以 root 用户登录系统后执行命令的情况。通过使用 sudo - 命令，可以创建一个新的子 shell 并切换到 root 用户身份，这样可以在 root 用户环境下执行多个命令而无需重复输入 sudo。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值