自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(31)
  • 收藏
  • 关注

原创 整理一下win7系统java、python等各个可安装版本

最近使用win7系统,遇到了很多版本不兼容的问题,把我现在安装好的可使用的分享给大家

2024-05-30 16:50:45 312 1

原创 win11家庭中文版安装docker,报错 Docker Engine stopped

我到前五步(跳出页面重启)和博主都是一样的,但是第六步我并没有报错,直接跳出docker界面。记录一下我的解决办法,首先按照上面博主的第6和8.1步创建勾选了Hyper-Vr。先引一下这位博主的链接。

2024-05-15 21:54:10 416

原创 mongodb筛选后求和

筛选字符串大于小于某个区间并且名字是’alice‘,的,年龄求和。

2024-05-09 20:44:43 131

原创 vscode添加快捷代码片段 “if __name__ == ‘__main__‘:“

vscode添加快捷代码片段 "if __name__ == '__main__':"

2024-03-19 16:25:01 351

原创 sql 开窗函数

开窗函数

2024-01-19 11:16:15 402

原创 pyspark 接收pulsar发送的数据

需要下载一个连接pulsar和spark的jar包。我发送的是一个模拟数据流,读取csv文件实时发送。

2023-12-29 16:34:40 433

原创 pyspark Pandas UDF多种写法python

pyspark Pandas UDF多种写法

2023-12-29 15:00:03 842

原创 pyspark structure streaming 两个流join操作Interval Joins

pyspark.sql.utils.AnalysisException: Stream-stream LeftOuter join between two streaming DataFrame/Datasets is not supported without a watermark in the join keys, or a watermark on the nullable side and an appropriate range condition;

2023-12-28 17:04:03 394

原创 MongoDB语法,含sql对比

MongoDB语法,含sql对比

2023-12-28 15:46:12 624

原创 python 解决pyspark连接mongo数据库问题Failed to find data source: com.mongodb.spark.sql. Please find packages

python 解决pyspark连接mongo数据库问题Failed to find data source: com.mongodb.spark.sql. Please find packages

2023-12-21 17:01:47 538

原创 pyspark常用语法(含pandas对比)

2.遇到的错误初步解决办法是关闭spark重启或将自定义udf放到函数里面去,我也不太理解这个问题pandas、pyspark、spark相互转换,语法对比(超详细)python spark 求dataframe一列的max,min,medianpython spark 纵向合并多个Datafame。

2023-12-11 15:01:38 1162

原创 git合并分支起冲突:CONFLICT (add/add): Merge conflict in projects/xxxx/xxxx

【代码】git合并分支起冲突:CONFLICT (add/add): Merge conflict in projects/xxxx/xxxx。

2023-10-08 14:09:19 379 1

原创 虚拟环境venv离线安装Python第三方库,不使用pip install安装kafka-pyhton

比如我这里要安装的是kafka-python,找到他的官网下载whl文件。

2023-09-14 13:55:20 647 1

原创 linux安装kafka

我安装是是 http://archive.apache.org/dist/kafka/3.3.2/kafka_2.12-3.3.2.tgz,复制链接直接下载就行。

2023-09-13 16:21:53 84 1

原创 linux安装zookeeper(超详细),解决Error: JAVA_HOME is not set and java could not be found in PATH找不到java路径

官网链接:Apache DownloadsHome page of The Apache Software Foundationhttps://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz1.新建终端1,将下载的压缩包放在/usr/local/目录下,解压后如图:2.检查文件目录新建终端2,在/tmp下新建目录,data和log目录分别用来保存zookeeper数据和日

2023-09-13 14:12:38 1183 1

原创 python csv、jpg、mp4等文件上传至s3,提交数据集

python csv、jpg、mp4等文件上传至s3,提交数据集

2023-07-17 11:37:11 419 1

原创 Vscode连接远程服务器遇到的诸多问题

大功告成,连着报错,终于可以了。

2023-07-13 13:30:42 1318 1

原创 JSON和Python之间的转换

JSON和Python之间的转换

2023-04-06 13:29:12 231

原创 .\venv\Scripts\activate : 无法加载文件 venv\Scripts\activate.ps1,因为在此系统上禁止运行脚本。 win10启动venv报错

.\venv\Scripts\activate : 无法加载文件 venv\Scripts\activate.ps1,因为在此系统上禁止运行脚本。 win10启动venv报错

2023-04-04 08:39:05 2153 1

原创 ubuntu 开机进入GUN GRUB界面,无法进入桌面

直接上图解决办法:直接点进第一条ubuntu直接在命令行输入fsck -y /dev/sda1/dev/sda1根据自己的更改一下如果没问题应该是以下界面然后就可以进入了,或者重启一下虚拟机。

2023-03-21 09:53:20 3728

原创 pandas、pyspark、spark相互转换,语法对比(超详细)

pandas、pyspark、spark相互转换,语法对比(超详细)

2023-03-16 16:16:43 1229

原创 python spark 求dataframe一列的max,min,median

python spark 求dataframe一列的max,min,median中值

2023-03-16 13:22:09 420

原创 python spark 纵向合并多个Datafame

最近在学习spark 哎,但是发现很多功能都没有pandas好用,很多功能都不具备(也可能是我还没学到那),记录一个纵向合并的问题。spark:(我写的很笨的办法)可能有更简单的方法我没有找到。

2023-03-10 14:03:54 1049

原创 python创建虚拟环境两种方法

创建虚拟机

2023-02-24 10:39:00 493

原创 安装spark local(单机版)详细

安装spark local(单机版)详细

2023-01-18 17:08:28 360

原创 pytest运行后Empty suite的问题

pytest运行 Ran 0 tests in 0.000 OK Empty suite的问题

2022-10-24 13:27:23 2625

原创 解决 ubuntu图形界面无法打开,全屏都是【ok】,linux磁盘空间不足,pycharm添加桌面快捷方式,pip无法安装python库,火狐无法联网

解决 ubuntu图形界面无法打开,全屏都是【ok】,linux磁盘空间不足,pycharm添加桌面快捷方式,pip无法安装python库,火狐无法联网问题

2022-10-21 10:54:54 2754

原创 解决ubuntu火狐无法上网问题

解决火狐无法上网问题

2022-10-20 11:26:30 2377 2

原创 ubundu pip时报错:Could not get lock /var/lib/dpkg/lock

ubundu pip时报错:Could not get lock /var/lib/dpkg/lock

2022-08-25 10:36:28 193

原创 在虚拟机上安装Ubuntu系统(详细附图)

在虚拟机上安装Ubuntu系统

2022-08-24 15:09:17 6285 1

原创 python:osmnx包下载城市路网数据

python osmnx包

2022-06-16 15:58:01 2544 3

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除