![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
服务器
文章平均质量分 57
samoyan
分享技术成长的日常
展开
-
spark任务,使用 repartition 对数据进行了重新分区,但任务输入数据大小仍存在不均衡
如果数据存在显著的倾斜,可以使用自定义分区器来更好地平衡数据。例如,可以使用hash# 添加一个分区键# 按分区键进行重新分区。原创 2024-07-08 15:11:38 · 447 阅读 · 0 评论 -
在mac时配置vscode运行c++ 代码,解决一些报错信息
这表明,你正在试图将你的C++代码编译的输出写入一个目录(文件夹),而不是一个文件。同时,你的代码中出现了“non-aggregate type 'vector' cannot be initialized with an initializer list”错误,这是因为你的编译器可能不支持C++11或更高版本的特性,即使用初始化列表初始化vector。你需要更改你的任务配置,以便编译器能够将输出写入一个文件,而不是一个目录。文件中,找到你的编译任务,然后在。原创 2024-05-15 11:33:33 · 581 阅读 · 0 评论 -
pyspark 使用udf 进行预测,发现只起了一个计算节点
应用范围专门针对Spark SQL中的shuffle操作;而适用于所有RDD的默认分区数。默认值: 两者的默认值不同,且取决于不同的条件。调整时机: 对的调整通常是为了优化特定的Spark SQL查询性能;而调整则是为了影响整个Spark应用中的并行度。影响范围只影响SQL查询中的shuffle阶段;则影响所有RDD的默认分区和并行任务。在实际应用中,这两个参数可以根据需要分别调整,以达到最佳的资源利用率和性能。通常,对于Spark SQL任务,优先考虑调整;而对于基于RDD的操作,则关注。原创 2024-01-11 16:58:28 · 879 阅读 · 0 评论 -
新版docker 不需要再安装nvidia-docker使用GPU,新教程
1、几个重要的网址下载对应的cudaCUDA Toolkit 11.6 Downloads | NVIDIA DeveloperInstall Docker Engine on Ubuntu | Docker Documentation跟着上面网址一步一步操作,先卸载之前的docker 内容sudo apt-get remove docker docker-engine docker.io containerd runc然后照着操作Install Docker Engine这个原创 2022-01-19 17:43:07 · 2442 阅读 · 0 评论 -
Docker 复现 MaskTextSpotterV3 的过程以及问题解决
首先感谢大佬们的开源~GitHub - MhLiao/MaskTextSpotterV3: The code of "Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting"Docker 复现 MaskTextSpotterV3 的过程以及问题解决:主要还是follow大佬的步骤,这里使用docker复现。1、首先是选择docker环境,之前选择pytorch1.4版本,发现安装i原创 2021-11-29 10:50:29 · 822 阅读 · 3 评论 -
docker 里中文显示为乱码或者问号 ? ? ? ?.txt
在进入docker里面时,加一个环境语言的配置docker exec -it contain_name env LANG=C.UTF-8 bash原创 2021-11-11 16:05:36 · 1572 阅读 · 0 评论 -
docker部署,启动失败 OCI runtime create failed: container_linux.go:348:
docker run hello-world出现一下问题,docker: Error response from daemon: OCI runtime create failed: container_linux.go:348:starting container process caused "process_linux.go:297:copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown.原创 2021-08-30 14:19:21 · 3574 阅读 · 0 评论 -
Python 处理postman构造的http服务的各种请求
方式一:1、postman构造的形式如下:2、解析方法 defpost(self):reqp=reqparse.RequestParser()reqp.add_argument('file_id')agr=reqp.parse_args()file_id=agr.get('file_id')key_dict=agr.get('key_dict')...原创 2021-06-24 17:39:26 · 392 阅读 · 1 评论 -
Docker 部署flask封装的服务以及解决访问不通的问题
1、先写好代码,本地测试ok,然后放到这个目录/datadrive/docker/application准备好功能代码app=create_app()if__name__=="__main__":app.run(host='127.0.0.1',port='8603',debug=True)2、找一台可以安装docker的环境,如果没有自行百度docker安装步骤如果公司内部有yum源,可以先看看yum list docker --showduplicates |...原创 2021-06-23 11:16:41 · 1761 阅读 · 0 评论 -
线程中的各种锁(悲观锁,乐观锁,互斥锁,条件锁,自旋锁、共享锁等)
锁:来自 <https://www.cnblogs.com/caicz/p/11009474.html>一种保护机制,在多线程的情况下,保证操作数据的一致性和正确性1.乐观锁(多读场景:版本号控制)、悲观锁(多写场景:具有强烈的独占和排他特性。)悲观锁:总是假设会遇到最坏的情况,每次进行数据的读取时候都默认其他线程会对数据修改,所以需要进行加锁操作,当其他线程想要访问数据时,都需要阻塞挂起。独占锁和共享锁都是悲观锁。会产生死锁。2、乐观锁:乐观锁假设数据一般情况下不会造成冲突原创 2021-03-09 11:11:28 · 1697 阅读 · 0 评论 -
新来个GPU服务器,环境中啥也没有,自己动手,丰衣足食
1、安装docker菜鸟教程就okCentoshttps://www.runoob.com/docker/centos-docker-install.htmlUbutuhttps://www.runoob.com/docker/ubuntu-docker-install.html2、安装nvidia-dockerhttps://www.cnblogs.com/wuchangsoft/p/9767074.html3、更改docker的安装目录使用docke...原创 2020-12-01 17:36:48 · 143 阅读 · 0 评论