![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
骑单车的王小二
切勿眼高于顶,谨记脚踏实地。
展开
-
python 多进程 ,多次调用,多个输出结果合并输出
需要注意的是,在使用多进程和队列的方式来实现任务合并输出结果时,由于多个进程需要共享数据,因此需要使用 multiprocessing.Manager() 创建一个进程共享队列,并将队列作为参数传递给要执行的函数。在 for 循环中,我们为进程池中的每个进程异步调用 worker 函数,并将回调函数 result_queue.put 传入 callback 参数,以便在进程执行完毕时将结果放入共享队列中。在上面的例子中,我们调用 5 次 worker 函数,并将每次调用的结果放入一个共享队列中。原创 2023-08-28 16:25:33 · 1329 阅读 · 0 评论 -
python多进程
【代码】python多进程。原创 2023-05-25 21:43:49 · 60 阅读 · 0 评论 -
jupyterlab 终端显示全路径
jupyterlab 终端显示全路径原创 2022-12-12 14:55:08 · 384 阅读 · 1 评论 -
常用linux命令总结
常用linux命令总结转载 2022-09-01 10:55:38 · 120 阅读 · 0 评论 -
域名映射配置(nginx+jupyterlab)
域名映射配置(nginx+jupyterlab)原创 2022-08-15 23:03:34 · 1244 阅读 · 0 评论 -
flask 静态文件服务搭建
flask 静态文件服务搭建原创 2022-07-25 21:52:14 · 593 阅读 · 0 评论 -
conda安装包速度太慢(以torch为例)
conda安装包太慢原创 2022-07-13 17:30:42 · 2647 阅读 · 0 评论 -
MMR重排(相似度通过编辑距离和重复度计算)
MMR重排(相似度通过编辑距离和重复度计算)原创 2022-06-27 14:30:54 · 307 阅读 · 0 评论 -
linux: It seems that scikit-learn has not been built correctly.
linux :It seems that scikit-learn has not been built correctly. 问题解决原创 2022-06-17 11:18:26 · 789 阅读 · 1 评论 -
python txt数据导入hive表示例
load data local inpath 'txt文件路径.txt' overwrite into table 数据库名字 partition ( day = '2020-05-27',hour = '08' );原创 2022-04-18 19:50:42 · 2056 阅读 · 0 评论 -
ModuleNotFoundError: No module named xxx 快速解决方法
原因1:没有对应的安装包解决方案:pip install 安装包名安装速度慢的话,切换源:pip切换源原因2:找不到对应的自定义文件路径解决方案:在py文件中指定自定义文件的路径import syssys.path.append('..') #这条命令是用来添加上层目录的如果不只是多层目录的调用,可以根据sys.path[0],添加自定义文件的绝对路径添加方式:print(sys.path[0])sys.path.append(sys.path[0]+文件剩余的路径) 举例:如果你原创 2022-04-12 10:45:13 · 12180 阅读 · 0 评论 -
pytorch 向量相似度计算
#!/usr/bin/env pythonimport torchimport torch.nn as nnimport mathclass CosineSimilarity(nn.Module): def forward(self,tensor_1,tensor_2): norm_tensor_1=tensor_1.norm(dim=-1, keepdim=True)#将维度缩减为1维 norm_tensor_2=tensor_2.norm(dim=-1,原创 2022-03-25 15:30:42 · 2625 阅读 · 0 评论 -
数据高效读取 pickle
# 将数据写入到文件中def writeToFile(data, path): with open(path, 'wb') as fw: pickle.dump(data, fw)# 从文件中读取数据def readFromFile(path): with open(path, 'rb') as fr: data = pickle.load(fr) return data#数据排序index=readFromFile(path+'index_name.pkl')sort_lis原创 2022-03-15 15:01:42 · 650 阅读 · 0 评论 -
linux 查看指定文件夹大小
du -h folder_path #查看指定文件夹下文件大小du -h --max-depth=0 folder_path #查看指定文件夹总大小df -lh #查看各文件夹大小原创 2022-03-08 11:33:55 · 560 阅读 · 0 评论 -
linux 查看cuda版本
nvcc -V原创 2021-12-22 10:19:02 · 1812 阅读 · 0 评论 -
linux 指定文件操作 - 查找、查看、重命名、移动、删除
find -name filename原创 2021-12-08 20:26:17 · 423 阅读 · 0 评论 -
使用python执行curl命令
https://www.cnblogs.com/skzxc/p/12688423.html原创 2021-11-30 10:56:18 · 3020 阅读 · 0 评论 -
linux 查看磁盘使用情况或清空回收站命令
linux 查看磁盘使用情况或清空回收站命令查看磁盘内存使用情况清空回收站命令查看磁盘内存使用情况统计磁盘整体情况,包括磁盘大小,已使用,可用命令df命令df -lh使用这个命令会更清楚磁盘使用情况命令df -a是全部的文件系统的使用情况查看当前目录df -h,统计每个目录下磁盘的整体情况清空回收站命令linux 回收站的具体位置是:~/.local/share/Trash/清空回收站所有文件:sudo rm -fr ~/.local/share/Trash/files/...原创 2021-10-08 11:17:20 · 5126 阅读 · 0 评论 -
python txt转Excel
import openpyxlf=open("your.txt","r",encoding="utf8")con=f.readlines()w_path="your.xlsx"wb=openpyxl.Workbook()ws = wb.worksheets[0]//第一个工作表flag=0for data in con: flag+=1 print(flag) datas=data.split("\t") ws.append(datas)//逐行写入wb.sa原创 2021-09-15 16:31:56 · 749 阅读 · 0 评论 -
cmake_blade对比学习
cmake_blade对比学习cmake常用字段及编译流程常用字段编译流程blade常用字段及编译流程示例常用字段编译流程cmake常用字段及编译流程常用字段cmake_minimum_required ///检查cmake的版本project(lac) //工程名为lacoption //脚本定义宏:编译脚本传递参数 -> CMake脚本接收option -> 源代码宏set(定义变量a 路径b) //用变量代替值,定义a代替后面的bmessage //为用户显示一条信息ma原创 2021-09-14 17:39:16 · 932 阅读 · 0 评论 -
linux 一秒钟清理buff/cache缓存占用
sudo sh -c "echo 1 > /proc/sys/vm/drop_caches"sudo sh -c "echo 2 > /proc/sys/vm/drop_caches"sudo sh -c "echo 3 > /proc/sys/vm/drop_caches"查看是否有效:free -hm原创 2021-09-14 10:14:42 · 820 阅读 · 0 评论 -
1分钟解决cmake编译时git慢或clone不了
试了很多方法,效果一般最简单的方式是:进入cmake文件夹下,找到要clone项目的.cmake文件,将里面GIT_REPOSITORY字段的“https"改成“git”原创 2021-09-10 10:36:05 · 3361 阅读 · 0 评论 -
git下载速度慢(设置代理或镜像)
设置代理#设置http代理git config --global http.proxy http://127.0.0.1:8080#设置https代理git config --global https.proxy http://127.0.0.1:8080查看代理git config --global -l全局配置提交文件大小git config http.postBuffer 5242880000取消代理git config --global --unset http.proxy原创 2021-09-10 10:23:35 · 1573 阅读 · 0 评论 -
error: RPC failed; result=35, HTTP code = 0
远程便捷HTTP传输请求数据时最大的缓存字节数,默认时1M字节,默认能满足大多数请求。而当git clone的是大文件,就需要调大git缓存值,例如(怼到5G!):sudo git config --global http.postBuffer 5242880000...原创 2021-09-09 17:25:17 · 1784 阅读 · 0 评论 -
git新建远程分支,并将远程分支合并到远程master
git新建远程分支,并将远程分支合并到远程mastergit新建远程分支,并将远程分支合并到远程mastergit提交到远程分支,并提出合并请求(没有的话会新建)git新建远程分支,并将远程分支合并到远程master【整体相当于先在本地将分支合并到master,再push到远程master】1.git clone 远程仓库2.cd 本地仓库3.git branch 本地分支4.git checkout 本地分支5.coding 本地分支6.git add . ,然后 git commit -原创 2021-09-06 15:36:39 · 4287 阅读 · 7 评论 -
HDFS相关命令
创建一个文件夹 hdfs dfs -mkdir /myTask创建多个文件夹 hdfs dfs -mkdir -p /myTask1/input1上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input查看总目录下的文件和文件夹 hdfs dfs -ls /查看myTask下的文件和文件夹 hdfs dfs -ls /myTask查看myTask下的wordcount.txt的内容 hdfs dfs -cat /myTask/wordcou原创 2021-08-17 16:22:43 · 559 阅读 · 0 评论 -
git使用指南(新手入门即可学习)
git使用指南-新手入门即可学习参考安装创建仓库此时工作流状态添加和提交推送改动分支更新与合并标签【如果是自己编程玩耍,这个可以忽略】替换本地改动其他常用git操作将本地源码或一个git仓库源码提交到另一个git仓库使用git本地修改项目并同步修改到GitHub远程仓git删除远程分支本地关联/取消关联远程分支拉取远程指定分支、推送到远程指定分支参考https://www.runoob.com/manual/git-guide/简介Git 是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或原创 2021-08-14 16:17:37 · 843 阅读 · 0 评论 -
linux cd常用方法
linux cd常用方法cd 目录名 (进入目录)cd … (后退一个目录层)cd - (退回上次访问的目录)cd ~(回到根目录)原创 2021-07-29 21:24:23 · 553 阅读 · 0 评论 -
linux 查看目录下文件、查看文件具体内容、查看文件夹大小
linux 查看目录下文件、查看文件具体内容查看目录下文件查看文件具体内容查看目录下文件ls 查看目录下所有文件(不包含隐藏文件)ls -a 查看目录下所有文件(包含隐藏文件)查看文件具体内容cat filename 逐行查看文件more filename 逐页查看文件...原创 2021-08-12 10:07:44 · 9691 阅读 · 0 评论 -
linux 查看(统计)文件字数、行数;查看文件具体内容
@[TOC](linux 查看(统计)文件字数、行数)常规命令wcwc -c或–bytes或–chars 只显示Bytes数。wc -l或–lines 显示行数。wc -w或–words 只显示字数。wc -help 在线帮助。wc --version 显示版本信息。原创 2021-08-12 10:02:42 · 2433 阅读 · 0 评论 -
Vim设置换行缩进
vi ~/.vimrcset ts=4set expandtabset autoindent原创 2021-08-11 15:46:45 · 2365 阅读 · 0 评论 -
最全的Vim操作快捷键
最全VIM快捷键指令 索 1. 关于Vim vim是我最喜欢的编辑器,也是linux下第二强大的编辑器。 虽然emacs是公认的世界第一,我认为使用emacs并没有使用vi进行编辑来得高效。 如果是初学vi,运行一下vimtutor是个聪明的决定。 (如果你的系统环境不是中文,而你想使用中文的vimtutor,就运行vimtutor zh) 1.1 Vim的几种模式 正常...转载 2021-08-10 19:48:15 · 5571 阅读 · 0 评论 -
linux创建文件或文件夹
创建文件touch file_name创建文件夹mkdir folder_name原创 2021-08-10 19:33:53 · 629 阅读 · 0 评论