自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 spring找不到application.yml文件

程序启动后报错:找不到某个配置项,但这个配置实际是写在application.yml中的。1.打开运行配置的对话框,选择edit configuration。2.将工作目录改为application.yml所在的config目录的上一层。或者也可以选择默认配置的目录。...

2022-08-08 14:42:01 2563

原创 HDFS空间不足解决方法

1、执行sudo -u hdfs hadoop fs -du -h /查询hdfs中各目录的占用的空间,进入占用最多的目录中(一般是日志或临时文件)2、找到目录 /user/root/.sparkStaging 占用了大量空间,此目录下存放的是各spark历史任务依赖文件3、执行hdfs dfs -rm -r /user/root/.sparkStaging/*删除此目录下的文件夹4、删除的文件会被保存到/user/root/.Trash,清空垃圾桶即可...

2021-06-04 18:30:29 3967 1

原创 Airflow提交spark任务报unknow queue: root.default的问题

报错信息如下:解决方法:在airflow操作界面中修改connections下spark用户的配置将Extra中的root.default改为default即可

2021-01-19 11:03:21 591

原创 java spark deataset 关于pivot的一点用法

//pivot用的列名,只查询d=1,2的情况Object[] pagetype = new Object[]{"1", "2"};List<Object> columns = Arrays.asList(pagetype);Dataset<Row> DF2 = DF.groupBy(col("a"),col("b"),col("c")) .pivot("d", ...

2020-04-30 17:52:00 296

原创 pip install 报连接问题安装失败的解决方法

问题:pip3 install jupyterCollecting jupyter Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.con...

2020-03-03 11:35:09 4873

原创 利用java api读取hbase数据遇到的一些坑及解决方法

报错信息: can not resolve hostname解决方法:去C:\Windows\System32\drivers\etc\hosts 里配置一下这个hostname和对应的IPjava.lang.RuntimeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at...

2020-02-17 11:22:36 2633

原创 SparkContext初始化失败,java空指针异常

求助!!! SparkContext初始化失败,java空指针异常在windows上运行spark,已经按照网上步骤安装了hadoop-common-bin,配置了host和环境变量,pycharm跑起来就报下面的错误,困扰多时,希望有大佬解答。代码如下:from pyspark import SparkConffrom pyspark.sql import SparkSession#s...

2019-02-12 17:00:21 4477 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除