- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 alexnet pytorch模型和onnx模型速度对比
torch onnx1 1.17 0.882 2.46 1.154 2.84 1.668 3.67 2.716 6.0 4.7132 9.51 8.864 17.13 17.21128 32.72 34.1
2022-09-21 17:20:02
959
1
原创 xavier_normal_ 初始化测试
xavier_normal_ 初始化，在假设输入x的均值为0的情况下，可以保持输出y与输入x的方差不变，用代码测试一下
2022-07-22 13:12:13
2508
原创 classification_report指标详解
sklearn的classification_report详解precision、recall 、f1-score这三个基本就不介绍了，主要介绍平均的一些指标micro avg、macro avg、weighted avg、samples avg、accuracy单分类accuracy：正确率，分类正确样本数/总样本数macro avg：用每一个类别对应的precision、recall、f1-score直接平均weighted avg：用每一类别个数的权重乘对应类别指标例子from skle
2022-05-18 08:58:10
3058
原创 kmeans算法python实现（iris数据集）
首先从sklearn里面载入iris数据集如下所示Sepal_Length Sepal_Width Petal_Length Petal_Width Species0 5.1 3.5 1.4 0.2 01 4.9 3.0 1.4 0.2 02 4.7 3.2...
2022-03-21 14:09:04
4609
原创 预训练模型mlm阅读理解任务
bert、roberta、ernie在中文mlm任务上效果查看# -*- coding: utf-8 -*-import torchfrom transformers import BertTokenizer, BertForMaskedLMdef get_mlm_model(list_): ret = [] for path in list_: tokenizer = BertTokenizer.from_pretrained(path) m
2022-03-17 14:56:48
1322
原创 大学知识图谱问答
大学知识图谱问答，目前非常简单, 以后可能会更新数据来源于百度百科及一些其他网页搜索内容复制，scrapy爬虫目录在scripts/univer/目录下然后将数据存储到neo4j中 对问题进行解析通过actree得到实体，关键字得到问题类型，给出答案目前neo4j结构1.1 知识图谱实体关系类型实体类型实体数量举例大学2735清华大学，北京大学大学简称3128北大，兰大城市481河北省，北京市主管单位84陕西省教育厅层次3211
2022-03-10 16:48:34
4565
原创 flink python rest接口实现上传、运行、取消功能
flink没有python的rest接口，只能通过脚本调用，通过flask调脚本实现rest接口形式from flask import Flask, make_response,requestimport uuidimport osfrom werkzeug.utils import secure_filenameapp = Flask(__name__)app.config['UPLOAD_FOLDER'] = '/opt/work/flink-1.12.2/my_examples/.
2021-03-24 17:28:32
714
5
原创 深入理解csrf（flask实例）
看了好多csrf的介绍，大概意思是 在A网站登录了，存储了cookie，在此期间访问了B网站，B站里面使用可以跨域的标签比如src，来直接调用A站重要接口（例如转账）直接完成转账之前一直不理解，为什么访问网站B的时候 会带着A的登录信息（cookie）后来想通了，<img src='http://www.baidu.com'> 其实就相当于 直接发送http://www.baidu.com的请求 ，cookie是与当前发送请求对应的，比如在一个页面下，F5刷新后 有很多请求，比如下图，1
2021-01-05 15:44:53
229
原创 pyinstaller 打包 含静态文件例子
https://pyinstaller.readthedocs.io/en/stable/spec-files.html先上官网官网写了两种打包静态文件的方法，一种是通过spec文件，一种是直接命令行打包官网只写了这部分，没有python调用的部分，实践中一直找不到静态文件后来发现，打包后调用的路径不能用当前路径了例子：完整程序如下，调用一个a.txt# a.pyimport osimport sysif getattr(sys, 'frozen', ..
2020-11-30 15:34:55
3269
原创 通过百度api接口，获取经纬度
import jsonimport randomfrom urllib import requestimport osimport urllib.parse as urpos.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'# conn = cx_Oracle.connect('sguser/sg_or_ad_2019@192.168.10.125:1521/helowin')# cur = conn.cursor()# cur..
2020-09-25 13:48:08
1606
1
原创 base64 python实现
理论 在上面链接，自己通过python实现了一下https://baijiahao.baidu.com/s?id=1644892102150918183&wfr=spider&for=pcimport base64def pre_dict(): # 得到base64字典,类似于ascii字典 dict_ = {} q = 0 for i in range(65, 91): dict_[q] = chr(i) q +.
2020-07-27 17:32:47
699
原创 python装饰器
def dec(f): # 不带参数的装饰器 里面包一层就可以 这里的 参数 都是固定的，没有可以给装饰器传参数的地方 def inner(*args, **kwargs): print('dec') return f(*args, **kwargs) return innerdef dec_2(t): # 带参数的装饰器 里面包两层 t为装饰器参数 def inner(f): # f为传进来的函数，不能变 def .
2020-07-22 08:47:55
380
原创 python构建二叉树，遍历
class TreeNode(): # 创建树节点类 def __init__(self, val): self.val = val self.left = None self.right = Nonedef get_tree_from_list(queue): # 通过一个list构件树 返回树根节点 node_queu...
2020-03-19 07:31:57
309
原创 python爬虫框架scrapy流程
1 创建项目 scrapy startproject project12 cd project13 创建爬虫 scrapy genspider spider1yao.xywy.com4 改spiders里的spider15 setting robot协议 设置为false使用管道 items 里写想要存储的字段在spider里面导入 存完 自动到管道里，在set...
2020-03-19 07:26:41
132
原创 datetime使用技巧
import datetimenow = datetime.datetime.now() # 得到当前时间print(now)now2 =now.strftime("%y/%m/%d %H:%M:%S") # datetime转字符串, 格式化字符串print(now2)yesterday = datetime.datetime.now() - datetime.timedel...
2020-02-06 21:24:32
369
原创 pandas使用
python数据类型转换为pandasimport pandas as pdfrom sqlalchemy import create_enginea = [[1, 2, 3], [4, 5, 6]] # list嵌套list，每一个内部的list都是一行数据print(pd.DataFrame(a, columns=['a', 'b', 'c']))b = {'a': [...
2020-02-06 21:08:00
241
原创 3. 无重复字符的最长子串
https://leetcode-cn.com/problems/longest-substring-without-repeating-characters/滑动窗口python解法class Solution: def lengthOfLongestSubstring(self, s: str) -> int: dict_ = {} ...
2020-01-15 15:39:02
118
原创 python连接impala
需要的依赖包为requirements.txtpure_sasl==0.5.1 # 不能装sasl 否则TTransportException(type=1, message="Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available: Unable to find ...
2020-01-07 09:55:21
690
原创 python 魔法方法
class Foo(object): def __new__(cls, *args, **kwargs): # 创建一个对象时调用 print("__new__") return object.__new__(cls) # 不return这个话 是没法创建对象的 def __init__(self): # 创建一个对象后调用 ...
2019-12-02 14:54:47
135
原创 scrapy 爬取图片并重命名
一、不需要重命名的版本 ，只要匹配到图片地址，写到item里面，yield出来，并在settings.py中加入ITEM_PIPELINES = { 'scrapy.pipelines.images.ImagesPipeline': 1,}IMAGES_STORE = 'images' #保存的文件夹名字IMAGES_URLS_FIELD = 'pic_src' #it...
2019-11-20 16:05:45
1948
原创 模块化编程思想
django 中间件 设计思想通过修改配置文件来添加修改功能，以flask为例，假如要实现两种消息发送方式，email和msg先放文件目录message里面的每一个py文件都对应一种消息发送方式，在__init__中 写一个通用的send方式，通过读取setting里面列表，循环导入message文件夹的每一个类，然后执行类的send方法，都继承base类是为了限制必须实现send...
2019-11-11 22:02:00
1738
原创 python 文件读写
模式 可做操作 若文件不存在 是否覆盖 r 只能读 报错 - r+ 可读可写 报错 是 w 只能写 创建 是 w+ 可读可写 创建 是 a 只能写 创建 否，追加写 a+ 可读可写 创建 否，追加写 w+和r+的区别是 文件不存在时 报...
2019-10-23 14:05:08
80
原创 sklearn TF-IDF 源码解析
corpus = [ 'This is the first document.', 'This is the second second document.', 'And the third one.', 'Is this the first document?',]from sklearn.feature_extraction.text import Cou...
2019-08-26 11:20:59
1017
3
原创 python 按日期进行排序
import datetimea = [4,3,2,6]b = ['a','b','c','d']c = ['z','x','c','v']d = ['2017-09-21', '2017-09-15', '2017-09-18', '不详']def fun(x): c = x[3] c = x[3].replace('不详', '1990-2-2') retu...
2019-08-20 09:27:35
21852
原创 sublime安装package control
官网有两种方式安装1 是通过控制台，通过代码安装2 是手动下载文件放到文件夹中由于 官网上不去 ，通过第二种方式 百度云下载好放到文件夹中先放下百度云地址 其中有两个文件channel_v3.json 和Package Control.sublime-package链接：https://pan.baidu.com/s/17uCUifY6C7xsI4xerUvN1A提取码：r...
2019-06-05 12:55:42
2449
原创 flex布局实战
flex布局，是div包含div，外层div称为容器，内层div称为项目当不设置外层属性为flex布局时，默认时一行一行排列<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title></title> <s...
2019-05-12 22:44:30
591
原创 html 表格
<!DOCTYPE HTML><html> <head> <meta charset="utf-8"> <title>可编辑表格</title> <style> table{ margin:0 auto; /* 表格居...
2019-05-10 17:10:42
116
原创 python 多进程，多线程
代码在没执行时叫做程序。执行中称为进程多进程实现方式： 1 fork() windows不行，仅支持linux fork会有个返回值 ，等于0为子进程，大于0为父进程，可以分别去执行下面代码。import osimport timeret = os.fork()if ret==0: while True: print("---...
2019-04-21 10:55:46
168
原创 retinanet
图片说明 fpn拿的是 restnet的哪几层， conv1、conv2_x不要，conv3_x,con4_x,conv5_x拿来做FPN后面出来的结果直接接分类和回归，结合anchor ，focal loss就OK了
2019-03-28 09:08:24
324
原创 softnms过程 代码
nms为直接将iou>阈值的框全部移除，而softnms 对iou>阈值的框 降低它的权重，遍历完所有预测框之后，再通过一个阈值选择留下还是移除这个框。import numpy as npimport cv2def py_cpu_softnms(dets, sc, Nt=0.3, sigma=0.5, thresh=0.001, method=2): """ ...
2019-03-27 17:38:07
1934
3
原创 nms
python 实现nms用keep来保存留下的索引，按score进行排序，依次计算当前box和余下box iou，留下iou小于阈值的，遍历到没有框了为止import numpy as npimport cv2def nms(scores, bboxes, thresh): order= np.argsort(scores)[::-1] keep = [] ...
2019-03-27 16:05:02
188
原创 focal loss
retinanet loss 不同于普通的多分类交叉熵损失，它的分类模型之后接的是sigmoid激活函数class ClassificationModel(nn.Module): def __init__(self, num_features_in, num_anchors=9, num_classes=80, prior=0.01, feature_size=256): ...
2019-03-20 11:48:43
712
2
原创 faster-rcnn anchor生成
def generate_anchor_base(base_size=16, ratios=[0.5, 1, 2], anchor_scales=[8, 16, 32]): py = base_size / 2. px = base_size / 2. anchor_base = np.zeros((len(ratios...
2019-03-15 15:40:31
1605
原创 n & n-1 作用（leetcode）
n & n-1 会把数字中最后等于1 的数字抹掉1100 & 1011 == 1000 把第二位上的1 给去掉了1011 & 1010 == 1010 最后一位的0抹掉了 利用这点我们可以做题了1 是否是2的幂思路：就是在2进制中 1的个数为1就好了 1, 10, 100,前面全补零到32位 class Solution: def isP...
2019-02-26 09:27:53
332
原创 FPN 特征金字塔网络
如图 直接上代码 def _upsample_add(self, x, y): _,_,H,W = y.size() # 使用 双线性插值bilinear对x进行上采样，之后与y逐元素相加 return F.upsample(x, size=(H,W), mode='bilinear') + y def forward...
2019-02-19 11:17:44
595
原创 理解反卷积
先看看卷积，数字只是说明位置方便，不是具体数值，这里是valid卷积 ，stride=1 由CNN基础我们知道 17 这个点是由前面1 2 5 6 和卷积核运算得到的，那么反卷积就是要从17 反推1,2,5,6 ，这是一个无穷解问题，反卷积目的就是找到一个合适的卷积核使5这个点尽可能映射回去 。 看下图，我们给这个结果补上一圈0 ，做卷积运算，可以发现计算等号右边1,2,5,6 这个4个...
2019-01-14 14:13:44
987
原创 二叉树（leetcode)
预备知识：二叉树 深度优先遍历void dfs(TreeNode *root, vector<vector<int>>& result, int &path_sum, vector<int> &path, int sum){ if(!root){ return; } //此时访问，前序 ...
2019-01-13 21:34:44
445
原创 递归回溯整理（leetcode）
1 求子集 78题目：给定nums求所有子集（数组中不含重复元素），以[1,2,3]为例， 8个子集思路：每个数字都有选和不选两种情况一步步考虑先考虑生成[1], [1,2] , [1, 2, 3] 的代码vector<int> nums = {1, 2, 3};vector<int> item;vector<vector<int&g...
2019-01-10 20:58:16
422
原创 贪心算法（leetcode）
1 分糖果 455用最小的糖果大小满足需求最小的孩子class Solution {public: int findContentChildren(vector<int>& g, vector<int>& s) { sort(g.begin(), g.end()); sort(s.begin(), s.en...
2019-01-06 21:28:45
326
2
Symmetric Cryptography Example.ktr
2019-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人