yarn 系统找不到指定的路径

最近换了台新电脑,重新装下环境,本来很简单很快的事:

下载nodejs --> 安装nodejs -->  npm i -g yarn安装yarn --> 搞定,结果愣是搞了一天都没搞好,老是报错,每次执行yarn start都会提示【系统找不到指定的路径 】x

百度,谷歌,必应啥都翻遍了,重装系统都试了,还是解决不了,

最后没办法了,把旧电脑上的环境版本挪过来,【nodejs: 12.16.3, npm: 6.14.4, yarn: 1.22.4】,完美解决,可以运行yarn start了

nodejs版本链接: node-v12.16.3-x64.msi node-v12.16.3-x86.msi

然后我又试着更新yarn到最新版本1.22.11, 也没问题

接着我不死心,继续试,将node版本更新到最新,【nodejs: 16.8.0, npm: 7.21.0, yarn: 1.22.11】(先前报错的版本),

继续yarn start, 发现这下又可以运行了,奇怪,

最后想到只有一个可能的原因了,那就是我先前将node装在D盘一个中文目录下,导致其环境变量里面带有中文,致使yarn识别不了node库的位置,导致报错,后面重新安装时全部选的默认路径,就正常了

得,系统白装了,几天功夫照着旧电脑安装的软件都白装了

突然又想起来之前公司新来的同事也遇到过这个问题,那次还是我给解决的,白天怎么就没记起来呢?

奉劝大家以后装软件没事别装中文文件夹里,起项目名也别起中文名,巨坑啊!!!

### 解决方案 在YARN模式下启动Spark Shell时,如果遇到无法访问Spark UI的情况,通常是因为网络配置或环境变量设置不当所致。为了确保能够正常访问Spark UI,在启动命令中应特别注意以下几个方面: #### 1. 设置正确的Master URL 当通过`spark-shell`连接至YARN集群时,需指定master参数为`yarn-client`或`yarn-cluster`模式之一。对于希望保持与驱动程序在同一进程中并能直接查看UI界面的情形而言,推荐采用`yarn-client`模式。 ```bash ./bin/spark-shell --master yarn-client ``` 此操作允许客户端机器作为Driver所在位置,并使得本地浏览器可以直接打开Spark应用程序的Web接口[^1]。 #### 2. 配置必要的环境变量 确保设置了合适的环境变量来支持跨节点通信以及资源管理器之间的交互。特别是要确认已正确指定了HADOOP_CONF_DIR路径以便加载来自ResourceManager的相关配置文件。 ```bash export HADOOP_CONF_DIR=/path/to/hadoop/conf ``` 此外,还需保证PYTHONHASHSEED已被设为固定值以避免Python版本差异带来的不确定性影响[^2]。 #### 3. 访问Spark Application Master Web UI 一旦成功提交了应用,则可通过Application Master提供的HTTP服务端口(默认情况下为4040)浏览正在运行的任务状态和其他诊断信息。由于是在分布式环境中部署的应用实例,因此实际地址取决于当前分配给该进程的具体主机名/IP及其开放的服务端口号。 可以通过以下方式获取确切链接: - 登录到提交作业所在的节点; - 查看日志输出中的URL提示信息; 或者, - 查询YARN ResourceManager页面下的Applications列表项关联详情页内的跟踪链接。 请注意,默认情况下每次重启都会改变监听端口编号,所以建议查阅最新记录获得最准确的结果[^3]。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值