大数据环境部署 Vagrant/ Git/ Xshell/ Docker/ Hive/ Spark

最新推荐文章于 2024-04-29 03:42:10 发布

时光入海流Zz

最新推荐文章于 2024-04-29 03:42:10 发布

阅读量420

点赞数 1

分类专栏：数据开发

本文链接：https://blog.csdn.net/qq_42019366/article/details/107755767

版权

数据开发专栏收录该内容

6 篇文章 1 订阅

订阅专栏

环境部署

1.虚拟机Ubuntu测试：

1.1 查看IP地址：ip addr
1.2 虚拟机内部Ping www.baidu.com，观察丢包率
在这里插入图片描述
1.2 Windows环境下，Ping 虚拟机系统网络，观察掉包率

1.3 虚拟机环境中，选择下载源 aliyun

“软件和更新”-“下载自”-“更多方式”-“aliyun”

2. Vagrant官网-FindBoxes-Search Boxes-Vagrantfile/New

2.1 安装Git-打开GitBash-导入New-开始下载-当目录生成下载文件下载过慢，使用VPN，或使用清华镜像：

vagrant box add \
https://mirrors.tuna.tsinghua.edu.cn/ubuntu-cloud-images/bionic/current/bionic-server-cloudimg-amd64-vagrant.box\
--name ubuntu/trusty64

2.2 Vagrant up中SSL 443问题在这里插入图片描述
执行：env GIT_SSL_NO_VERIFY=true vagrant up

3. 配置虚拟机与大数据环境

3.1 Xshell登录
https://www.linuxidc.com/Linux/2016-08/134086.html
更新虚拟机并安装ssh

https://www.linuxidc.com/Linux/2016-08/134087.html
Xshell链接虚拟机，在Xshell中操作虚拟机

记住：用户名是虚拟机中的用户名。

3.2 将主机Host文件夹与虚拟机Guest文件夹，进行映射
3.3 下载并安装docker和docker-comppse
Sudo apt-get docker.io
新建docker group来免去”sudo”，然后sudo gpasswd -a Username docker
sudo service docker restart重启docker和虚拟机，最后docker ps检测是否成功；

速度太慢，则选择daocloud:
sudo curl -L
https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-uname -s-uname -m -o /usr/local/bin/docker-compose

3.4 Failed to connect to raw.githubusercontent.com port 443拒绝连接问题

首先，查询真实IP：在https://www.ipaddress.com/ 查询raw.githubusercontent.com的真实IP；然后，sudo gedit etc/hosts，打开并修改hosts（https://blog.csdn.net/qq_36487585/article/details/84404946 ）；最后把“IP raw.githubusercontent”,加到末尾。
在这里插入图片描述
~~敏感被禁~~ 。
3.5 Xshell修改文件并保存
https://jingyan.baidu.com/article/5552ef47c360eb518ffbc9da.html
3.6 打开共享文件权限问题
https://www.cnblogs.com/zhuguanhao/p/6192777.html
3.7 Get https://registry-1.docker.io/v2/: net/http:TLS handshake timeout（Docker镜像拉取错误）
https://blog.csdn.net/yyj108317/article/details/105875582/

3.8 启动dcker项目
Docker-compose up启动项目(dcup)；Docker-compose down关闭项目(dcdn) .当关闭项目后，容器将同样被关闭；
3.9 启动大数据环境
在这里插入图片描述
Xshell运行 ./run.sh 一键部署大数据开发环境。此时根据对应配置文件，执行compose命令，自动下载相应的包，并完成运行部署。

3.10 运行时报错network “xxx” is declared as external, but could not be found.
意思是，需要在运行时，事先手动docker创建一个XXX网络。
https://blog.csdn.net/weixx3/article/details/103963238
需要到docker-compose文件中设置网络。如果在docker-compose文件中设置external为true，那么使用docker-compose up 来启动服务时，首先docker引擎会查找external声明的网络，找到后进行连接。否则会提示如上错误。当其值为false时，会自动创建一个XXX的网络，如果没有networks字段时，会创建一个testProject_default的网络。

3.11 环境验证与测试
进入虚拟机，输入localhost:50070
Active。
在这里插入图片描述
输入Localhost:8080

3.12 容器与虚拟机对应目录的挂载关系

启动项目后，输入docker-compose exec’XXX’ bash登录到容器中，再找到in_use.lock文件，并进行cat输出文本内容。

同样，进入到项目文件夹中，找到对应容器的文件夹，发现文本相同，这便是挂载关系。
在这里插入图片描述
3.13 hive启动问题

内存太低
3.14 Spark-shell启动完成