- 博客(8)
- 收藏
- 关注
原创 ./gradlew build installDist各种报错之后的处理方法之一
在azkaban-4.0.0/azkaban-web-server中执行npm install之后显示成功,但是,在azkaban-4.0.0目录下执行./gradlew build installDist一直显示npm权限不够,具体再看发现执行./gradlew build installDist后又重新在azkaban-4.0.0/azkaban-web-server中执行了npm install命令,提示权限一直不够,总是报错。: 这句话的意思是,尽管缓存被禁用,但没有启用缓存。
2024-06-12 20:24:18
187
原创 maven的setting.xml配置
阿里云spring插件仓库</name><name>阿里云spring仓库</name><name>阿里云central仓库</name><name>阿里云阿帕奇仓库</name><name>阿里云公共仓库</name><name>maven仓库</name><name>阿里云谷歌仓库
2024-06-09 13:32:17
1006
1
原创 Python下Spark开发环境搭建
如果需要在python中或者在类似于IDEA IntelliJ或者PyCharm(笔者用的就是PyCharm)等IDE中使用PySpark的话,需要在系统变量中新建一个PYTHONPATH的系统变量,然后设置好下面变量值就可以了。1、将spark目录下的pyspark文件夹(C:\Spark\python\pyspark)复制到python安装目录C:\Python\Python35\Lib\site-packages里。将pyspark拷贝至Python的安装的packages目录下。
2024-06-09 13:28:39
202
原创 PYCHARM Error-- java.io.IOException: Cannot run program “python3“: CreateProcess error=2, The system
然后 spark = SparkSession.builder.appName('有人application name ***').getOrCreate()
2024-04-14 12:25:52
367
原创 关于在linux系统中pycharm配置pyspark开发环境
4 设置configurition---Environment--- Environment variables ---点击“...”,出现框框,点击+,输入两个name,一个是SPARK_HOME,另外一个是PYTHONPATH,设置它们的values,都是一些狗屁不同东西(也是国内这几年IT互联网瞎搞的后果之一)。于是google了一下,看了一些阿三的文章和技术视频,然后配合一些文章,搞定了。其中,SPARK_HOME的value是安装文件夹spark-3.5.1-bin-hadoop3的绝对路径;
2024-04-12 15:45:40
387
原创 关于flink 1.17.2编译时遇到io.confluent的问题
遇到flink-kafka-avro模块总是报错,遇到io.confluent的问题,请在maven的配置文件中添加下面仓库,可以放在阿里云镜像mirror仓库的后面 ,具体添加如下:<mirror></mirror>
2024-03-11 19:15:40
410
原创 关于博客
之前在CSDN开通过账号,估计有一些年了,具体时间这段忘了,后面不知道是不是账号被泄露了,搞的我的邮箱天天一堆乱七八糟邮件,所以,不用那个账号了(这会也忘了账号了),所以新开通了一个账号。 本人对写文章这事比较懒,所以,偶尔更新一篇。
2016-10-04 21:57:30
395
原创 关于linux多系统硬安装时遇到grub rescure错误与error:invalid arch independent ELF magic问题的解决方案
这两天,在win7系统中安装ubuntu双系统时,遇到一个grub rescure问题,其实以前遇到过这个问题,怎么都进不了Ubuntu登陆页面,不过之前自己把它解决了,问题出在linux系统启动时引导分区的问题,这几天反反复复试了几次,终于成功修复系统,出现了Ubuntu启动界面,花了昨天一个晚上!! 其实grub rescure(Linux救援模式)下可用的命令本来就不多(在救援模式下
2015-09-08 21:04:58
5358
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人