从零开始Angel编译
文章目录
1. 下载VMware
网上教程很多,我参考了这个教程,挺详细的VMware安装教程
- 需要密钥 ,要么自己购买,要么自己去找免费的(可能会花费一点时间去找,很多事失效的)
2. 下载Ubuntu系统
参考教程:Ubuntu系统安装
注意一下几点:
1. 用户名、计算机名、文件夹名 全部英文
2. 尽量不要装输入法,就用纯英文环境
3. 尽量不要装汉化包 (不要问为什么,因为以后在你意想不到的地方会发生意想不到的错误)
4.
编译warning记录
很不幸,编译失败了!
分析一下报错原因:maven中有jar包没有下载下来
思路一: 把maven下载到的本地库中的plugin文件全删了,然后用maven reimport 一下
思路二:你的maven版本和项目依赖不匹配,降低一下你的maven版本
去下载低版本的maven,然后在idea 的setting里面重新导入低版本的maven,同时删掉本地库中的plugin文件,重新下载
思路三:你的idea版本和maven版本不匹配
首先,你的idea会自带集成的maven,和idea是匹配的,但是这个集成的maven是某个时候坑死你,自带的seeting.xml是隐藏文件,不容易找到,对新手很不友好,所以自己去下载一个对应的maven吧!
3. 配置Ubuntu系统
- 更换镜像源
参考教程:更换阿里镜像源 - 小问题
通过虚拟机安装可能会出现和Windows之间不能通过复制粘贴传输文字或文件,并且Ubuntu显示的界面不能铺满显示窗口的现象,可以通过下面两个命令解决上述问题:
sudo apt-get autoremove open-vm-tools
sudo apt-get install open-vm-tools-desktop
下面是新安装ubuntu系统的一些常见配置:
docker安装
常规安装教程
- 参考安装教程
小白傻瓜教程
- 我的ubuntu安装的是20.04哦 ,教程里面是16.04 把版本号改成20.04,就行了!
好的,必须安装的东西,就差不多了,还有一些开发工具什么的,自行安装就好了,下面就开始配置Angel啦!
git安装与拉取
报错
- ./ configure 报错 : 未安装gcc编译器 安装gcc教程
docker脚本编译
把angel项目下载到本地
进入angel项目目录
执行 sh ./docker-build.sh
…等待就行了 , 我等了1h58mins
编译成功截图
- 输出压缩包!
- 解压发布包
cd ./dist
unzip angel-3.2.0-bin.zip
解压完成后:
大佬详解
idea 下载
我下载的是idea2021版本的,注意后面的包的配置和idea版本对应
- 使用 idea 打开angel项目后 ,idea会自动加载依赖 ,等它自动加载完哈…慢慢等待
依赖下载报错
- 参考链接里面提供了三种解决方案,各取所需
ubuntu卡死
- 运行example的时候会卡死
分配内存空间
内存不够,那就分配多一点内存给虚拟机
教程中三个输入框解释:
- 第一个框从当前硬盘空间中索取的空间
- 第二个框当前硬盘的新空间
- 第三个框留取的剩余空间(自动计算,不用动)
maven配置-问题解决
maven版本与idea不匹配
下面是总结的几个可能报错的原因和步骤:
1、IntelliJ IDEA 和maven版本不兼容导致
更换到匹配版本
2021版本最多支持到maven3.8.1
2、删除之前的插件依赖
cd C:\Users\你的账户名\.m2\repository\org\apache\maven\plugins
rm -r *
删除该路径下的文件(里面可能是高版本下载的插件,还是会冲突)
如下图:刷新会重新下载
- 问题解决!
编译报错
观察一下报错,发现又是maven包没有下载下来,仔细看报错信息,数据包请求超时,下载不下来,所以问题的根源是网络问题
- 你挂了vpn,取消掉vpn重新下载
- 你的网络情况不容乐观,建议换一个快一点的网络
- 关掉vpn,换一个快一点的WIFI , SUCCESS!
编译倒是表面上成功了,哈哈哈哈哈哈哈哈不怀好意的笑了
运行example报错
- 包没有下载下来
-
maven插件没下载下来
-
idea自带的maven找不到setting.xml文件
- 尝试解决1:
唉,没解决…
尝试解决2:查看路径
都是idea默认的路径
- 尝试解决3:自己配置maven3.8.6
重新加载依赖,然后编译,重新生成发布包,然后再运行example,还是报错。。。。
缺失spark包,编译有问题,回去重新编译吧!
之前不是编译过了么,还要重新编译?
对,因为idea2021版本和maven版本不匹配 ,怎么解决这个问题,降低maven版本,我配了个maven3.6.3,重新下载依赖,然后编译,成功了…
编译成功了,不代表demo运行成功,报错找不到类。。。
- 可能思路
运行成功的奥秘
- 为什么找不到类的原因,因为压根没加入路径
- 运行成功
- CCExample报错退出
解决方法
重写start函数
- 运行成功
总结
首先,我在windows环境下折腾了几天,心态崩了,因为windows环境下有太多的意想不到的惊喜,最后放弃舒适的Windows,来使用Linux环境,配置Ubuntu系统。这是一个过程吧,Linux学了很久了也没用,正好复习回忆命令了,熟悉未来的开发环境。
非常感谢Rachel导师对我遇到的问题的耐心解答和指导,受益良多
这个过程太过于艰难,但走完这个过程,来回的琢磨环境问题,maven,idea,scala,spark,hadoop,docker 这些东西本来我不熟悉,但是经过数天的磨练,底层环境配置问题摸了个门儿清,下次配置部署项目肯定轻车熟路了!
希望以上我遇到的报错,能够帮助到大家,让大家少走弯路,节省时间精力!