fan15945028042的博客

原创 torch docker超简单制作

torch docker超简单制作

原创 对list中的dict对象去重

对list中的dict对象去重

转载 python旋转图片任意角度的三种方法

https://zhuanlan.zhihu.com/p/431530466

原创 python list列表去重后保持原来顺序

mailto = ['cc', 'bbbb', 'afa', 'sss', 'bbbb', 'cc', 'shafa']addr_to = list(set(mailto))addr_to.sort(key = mailto.index)

原创 解决PyTorch程序占用较高CPU

在使用服务器运行PyTorch程序时，使用TOP命令查看CPU状态，发现CPU占用率竟然达到2000%，已经影响到其他人正常使用服务器。解决办法：在main程序中加以下代码：torch.set_num_threads(1)设置最多使用1个CPU核。问题解决~...

原创 conda 指定详细版本号

有时我们要安装特定版本特定编译的包，比如用conda search caffe搜索出以下内容：caffe 1.0.0rc3 np111py27_0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free1.0.0rc3 np111py27_nomkl_0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

原创 python 随机生成不相等的整数

random.sample(range(0, 10), 10)输出：[5, 4, 8, 1, 2, 6, 7, 0, 3, 9]

原创 anaconda conda 国内源

# 中科大镜像源conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/conda confi

原创 nlp论文网站

斯坦福大学《语音与语言处理》之QA:https://web.stanford.edu/~jurafsky/slp3/《语音与语言处理》: https://web.stanford.edu/~jurafsky/前沿论文：https://paperswithcode.com/最新论文：https://deeplearn.org/NLP各任务表现最好的算法论文以及代码：http://nlpprogress.com/机器阅读理解：https://www.zhihu.com/search?type=cont

原创 pip快捷换源、删除源

快捷换源pip install pip -U # 升级pip到最新版本pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple常用源1. 清华：[https://pypi.tuna.tsinghua.edu.cn/simple](https://pypi.tuna.tsinghua.edu.cn/simple)2. 阿里云：[http://mirrors.aliyun.com/pypi/simple

转载 HMM详解

什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。一滴墨水滴在清水中，部成了一杯淡蓝色溶液 热水晾在空气中，热

原创 precision、recall、F1的计算方法和物理意义

类别 1. 猫 2. 狗 3. 猪计算方法和物理意义precision猫precision_猫precision猫​=识别为猫类正确的数量识别为猫类总数量{识别为猫类正确的数量} \over {识别为猫类总数量}识别为猫类总数量识别为猫类正确的数量​precision为50%物理意义：该模型识别出猫的可参考价值（准确率）为50%recall猫recall_猫recall猫​=标签为猫类识别正确的数量标签为猫类的总数量{标签为猫类识别正确的数量} \over {标签为猫类的总数量}标签为猫

原创 最易理解的DB算法(Differentiable Binarization)

2.2.2 DB算法(Differentiable Binarization)2.2.2.1概述近年，由于基于分割的方法对各种形状（弯曲、竖直、多方向）的场景文本检测更加精确，因此，基于分割的方法在场景文本检测领域很流行。DB（Differentiable Binarization）算法全称可微分二值化处理，基于分割的场景文本检测即把分割方法产生的概率图（热力图）转化为边界框和文字区域，其中会包含二值化的后处理过程。二值化的过程非常关键，常规二值化操作通过设定固定的阈值，然而固定的阈值难以适应复杂多变

转载 re.split()切割功能非常强大

re.split()切割功能非常强大import reline = ‘aaa bbb ccc;ddd eee,fff’line‘aaa bbb ccc;ddd eee,fff’单字符切割re.split(r’;’,line)[‘aaa bbb ccc’, ‘ddd\teee,fff’]两个字符以上切割需要放在 [ ] 中re.split(r’[;,]’,line)[‘aaa bbb ccc’, ‘ddd\teee’, ‘fff’]所有空白字符切割

原创 flask部署keras模型的加载预测问题

flask部署keras模型的加载预测问题启动服务，加载keras模型，调用模型的预测函数(model.predict)时报错如下，但不通过服务，单独调用预测函数没有错误。ValueError: Tensor Tensor(“...”, shape=(?, 6), dtype=float32) is not an element of this graph.在model.predict()之前加上with 语句，将动态图固定:import tensorflow as tf graph = tf

原创 什么是 Map、Filter 和 Reduce？

1.所谓函数式编程，是指代码中每一块都是不可变的，都由纯函数的形式组成。这里的纯函数，是指函数本身相互独立、互不影响，对于相同的输入，总会有相同的输出。例如：复制代码def multiply_2(list):for index in range(0, len(list)):list[index] *= 2return listlistDemo = [1, 2, 3, 4, 5]print(multiply_2(listDemo))复制代码运行结果：[2, 4, 6, 8, 10]mu

原创 sql 中的IFNULL和NULLIF很容易混淆，在此记录一下

sql 中的IFNULL和NULLIF很容易混淆，在此记录一下。IFNULLIFNULL(expression1, expression2)1如果expression1为null, 在函数返回expression2，否则将返回expression1。例如mysql> select IFNULL(0,“a”);±--------------+| IFNULL(0,“a”) |±--------------+| 0 |±--------------+1 ro

原创 一条sql查寻结果数量和分页查询（子查询方法实现）

SELECT *,(SELECT count(*) FROM analysis_talent_policy WHERE policy_level='深圳') AS totel FROM analysis_talent_policy WHERE policy_level='深圳' ORDER BY id LIMIT 6,6

原创 pandas apply传参和返回方式

#估计也就自己能看懂#只传入一个整数迭代不了不知道为什么？？def fliter_label(input,a,b) a= b= context=(只有context为dataframe格式) return context （只返回dataframe格式本身的数据）（只返回context就可以）（ab外界传入可以直接在外界调）#若返回两列 data_axxc['context',...

原创 tensorflow-gpu 1.13 错误：Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 显卡：1660ti-6G

tensorflow-gpu 1.13 错误：Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR显卡：1660ti-6G解决方法：如下'''@description: 防止cudnn报错@param {type} @return: '''import tensorflow as tffrom keras.backe...

原创 manjaro19.01两行代码配置TensorFlow-gpu，cuda，cudnn（超简单，亲测！！！！）

#配置#×系统：manjaro19.01××CPU：i7-9750h××GPU：gtx1660ti××无核显×#1.安装最新版的cuda和cudnnsudo pacman -S cuda cudnn上述命令为最新版本cuda和cudnn若不想要最新版本可用 yay命令安装#2.安装TensorFlow-gpupip install tensorflow-gpu==1.15...

原创 将TensorFlow 1.x升级代码到TensorFlow 2.x版本的方法汇总

下面将升级代码到TensorFlow 2.x版本的方法汇总起来，有如下几点。1.最快速转化的方法在代码中没有使用contrib模块的情况下，可以在代码最前端加上如下两句，直接可以实现的代码升级。import tensorflow.compat.v1 as tftf.disable_v2_behavior()这种方法只是保证代码在TensorFlow 2.x版本上能够运行，并不能发挥Te...

原创 两种python类传参方式

'''@Author: Fan LR@email: [email protected]@csdn: https://i.csdn.net/#/uc/profile@Date: 2019-12-18 14:17:09@Description: 两种python类传参方式'''class A(object): def __init__(self,people1,people...

原创 Python pandas库 ->groupby分组操作 首先 在SQL中 分组操作group by是对行记录的拆分

Python pandas库 ->groupby分组操作 首先 在SQL中 分组操作group by是对行记录的拆分

原创 pandas drop_duplicates按特定列去重

方法DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False)1参数这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。subset : column label or sequence of labels, optional用来指定特...

原创 pandas查找后返回索引列表

pandas查找后返回索引列表df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]}, index=[10,20,30,40,50])print(df)a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()print(a)...

原创 python 按二维数组的某行或列排序 (numpy lexsort)

python 按二维数组的某行或列排序 (numpy lexsort)lexsort支持对数组按指定行或列的顺序排序；是间接排序，lexsort不修改原数组，返回索引。（对应lexsort 一维数组的是argsort a.argsort()这么使用就可以；argsort也不修改原数组， 返回索引）默认按最后一行元素有小到大排序, 返回最后一行元素排序后索引所在位置。设数组a, 返回的索引i...

原创 正则提取字符串中所有数字

import restring="A1.45，b5，6.45，8.82"print re.findall(r"\d+\.?\d*",string)# ['1.45', '5', '6.45', '8.82']

原创 短文本相似度一种思想

原创 jupyter notebook远程连接服务器（windows浏览器访问）

1.服务器上安装anacondaAnaconda安装包中会自带。安装好以后直接输入jupyter notebook便可以在浏览器中使用。但是它默认只能在本地访问，如果想把它安装在服务器上，然后在本地远程访问，则需要进行如下配置：2.登陆远程服务器3.生成配置文件$jupyter notebook --generate-config4.生成密码终端进入ipythonIn [1]: f...

原创 最简单lrzsz安装（Linux服务器和window互传文件工具）

安装sudo apt-get install lrzszsz：将选定的文件发送（send）到本地机器rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive)

原创 windows安装CUDA 10.1自定义安装出现错误组件未安装解决方案

从官网下载的CUDA10.1，我当时安装时出现的错误，如下图所示：在这里插入图片描述解决方法：我们只用选择CUDA下面(visual studio integration)这一项别勾选是因为可能我们电脑并没有使用VS环境.(visual studio integration)这一项别勾选(visual studio integration)这一项别勾选(visual studio i...

原创 二重列表和数组有序去重

raw_list = [["百度", "CPY"], ["京东", "CPY"], ["黄轩", "PN"], ["百度", "CPY"]]new_list = [list(t) for t in set(tuple(_) for _ in raw_list)]有序方法new_list.sort(key=raw_list.index)

原创 jupyter换主题后缺功能栏和代码补全故障（解决办法及推荐设置）

pip install jupyter_contrib_nbextensionsjupyter contrib nbextension install --user --skip-running-check不应该是：jt -t 主题名而是：jt -t 主题名 -T记住 命令的问题加 -T...

原创 爬虫调用百度地图APi（含代码调试）

小例子：先申请地图ak ：http://lbsyun.baidu.com/import requests,json,timedef getjson(unit): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029...

原创 es的匹配方式汇总

match最简单的一个match例子：查询和"我的宝马多少马力"这个查询语句匹配的文档。{“query”: {“match”: {“content” : {“query” : “我的宝马多少马力”}}}}上面的查询匹配就会进行分词，比如"宝马多少马力"会被分词为"宝马 多少 马力", 所有有关"宝马 多少 马力", 那么所有包含这三个词中的一个或多个的文档就会被搜索出来。...

原创 Word2vec的gensim的训练和读取

# -*- coding: utf-8 -*- from gensim.models import word2vecimport logging ##训练word2vec模型 # 获取日志信息logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s', level=logging.INFO) # 加载...

原创 jupyter cell误删

for line in locals()['In']: print(line)#或者， 直接的history

转载 （转发）python_sklearn机器学习算法系列之RandomForest(随机森林算法)

本文主要目的是通过一段及其简单的小程序来快速学习python 中sklearn的RandomForest这一函数的基本操作和使用，注意不是用python纯粹从头到尾自己构建RandomForest，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，下面最简单介绍： 集成学习是将多个模型进行组合来解决单一的预测问题。它的原理是生成多个分类器模型，各自独立地学习并作出预测。...

原创 Win10下用Anaconda安装TensorFlow