自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

高颜值的杀生丸(此博客转载自我的博客园)

多思考也是一种努力(人工智能算法请看https://www.cnblogs.com/LiuXinyu12378/)

  • 博客(181)

原创 PID算法通俗理解,平衡车,倒立摆,适合不理解PID算法的人来看!

先插句广告,本人QQ522414928,不熟悉PID算法的可以一起交流学习,随时在线(PID资料再我的另一篇博客里)倒立摆资料连接↓https://www.cnblogs.com/LiuXinyu12378/p/11222614.htmlPID视频资料连接↓https://www.cnblogs.com/LiuXinyu12378/p/11214174.html我的其他博客里...

2018-04-18 23:46:00 399 1

原创 flask通过线程池实现异步

from flask import Flaskfrom time import sleepfrom concurrent.futures import ThreadPoolExecutor# DOCS https://docs.python.org/3/library/concurrent.futures.html#concurrent.futures.ThreadPoolExe...

2020-09-24 16:38:00 7

原创 asyncio和aiohttp携程并发

import asynciofrom aiohttp import webimport timeasync def process(): for i in range(10): print("process data !!") # time.sleep(1) await asyncio.sleep(1)async ...

2020-09-24 16:29:00 5

原创 python pickle模块,打包创建的对象,做持久化

pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。pickle.dump(obj, file[, protocol])序列化对象,并将结果数据流写入到文件对象中。参数protocol是序列化模式,默认值为0,表示以文本的形式序列化。protocol的值还可以是1或2,表示以二进制的形式序列化。pickle.load(file)反序列化对象。将文件中的数...

2020-09-15 14:04:00 17

原创 python websocket 参数

websocket中就有建立连接connect、发送消息send等函数可供使用,但是websocket.WebSocketApp将这些都封装好了,只用在实例化的时候传入自定义函数即可,更方便。因此这里选择使用websocket.WebSocketApp来模拟客户行为。WebSocketApp也是websocket中的一个类。要使用WebSocketApp中的回调函数需要传入一系列的可调...

2020-09-15 10:55:00 13

原创 tensorflow的variable、variable_scope和get_variable的用法和区别

在tensorflow中,可以使用tf.Variable来创建一个变量,也可以使用tf.get_variable来创建一个变量,但是在一个模型需要使用其他模型的变量时,tf.get_variable就派上大用场了。先分别介绍两个函数的用法:import tensorflow as tfvar1 = tf.Variable(1.0,name='firstvar')print('v...

2020-09-14 14:25:00 16

原创 pypinyin 获取拼音,作为智能设备的唤醒比对结果

from pypinyin import lazy_pinyin,TONE,TONE2,TONE3,NORMALa = "小七同学"b = "小琦同学"c = "小雅同学"d = "小娅同学"print(lazy_pinyin(a,style=NORMAL))print(lazy_pinyin(b,style=NORMAL))print(lazy_pinyin(c...

2020-09-10 16:39:00 19

原创 python实现快排算法,传统快排算法,数据结构

def quick_sort(lists,i,j): if i >= j: return list pivot = lists[i] low = i high = j while i < j: while i < j and lists[j] >= pivot: ...

2020-09-10 15:27:00 17

原创 pyaudio音频录制python

python3.7不支持pyaudio pip在线安装whl下载地址:https://github.com/intxcc/pyaudio_portaudio/releases下载后使用pip离线安装pip install PyAudio-0.2.11-cp37-cp37m-win_amd64.whl  # pyrec.py 文件内容import pyaudioi...

2020-09-09 19:08:00 21

原创 python性能测试,请求QPS测试

QPS = (1000ms/平均响应时间ms)*服务并行数量#!/user/bin/env python#coding=utf-8import requestsimport datetimeimport timeimport threadingimport jsonclass url_request(): times = [] error = []...

2020-09-09 13:05:00 49

原创 tensorflow如何切换CPU和GPU

import osif Bert_Use_GPU: os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' #使用GPU0,1else: os.environ['CUDA_VISIBLE_DEVICES'] = '-1' #使用CPU  

2020-09-07 14:16:00 34

原创 warmup预热学习率

学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种(一)、什么是Warmup?Warmup是在ResNet论文中提到的一种学习率预热的方法,它在训练开始的时候先选择使用一个较小的学习率,训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。(二)、为什么使用Warmup?...

2020-09-04 18:57:00 34

原创 pytorch两种模型保存方式

只保存模型参数# 保存torch.save(model.state_dict(), '\parameter.pkl')# 加载model = TheModelClass(...)model.load_state_dict(torch.load('\parameter.pkl'))  保存完整模型# 保存torch.save(model, '\mo...

2020-09-03 11:02:00 10

原创 一个简单docker服务镜像的制作,手把手教你制作一个flask的docker容器服务镜像。...

OK,docker的安装就不多说了。(自己去搜吧)下面开始讲如何制作镜像:1.pull拉取一个centos镜像,随意拉取,可以是ubuntusudo docker pull centos:7 2.在容器中运行它 -it代表交互模式并进入命令行 --name给容器起个名字 centos:7 是镜像的名称 /bin/bash是进入运行镜像要执行的命令sudo d...

2020-09-01 16:24:00 39

原创 threading的定时器模块,python,每间隔一段时间执行一次任务

工作中常有一些定时任务要处理,比如使用百度的接口,它的access_token是一个更新一次的,每次使用时总是请求会很慢,所以我们把它保存起来,用定时器模块,定时在过期之前请求一次,或者定时数据同步,这样比较方便。from datetime import datetimefrom threading import Timer#定时函数def Time_threading(...

2020-08-27 15:25:00 53

原创 SVM简单分类的使用 sklearn机器学习

# sklearn 库中导入 svm 模块from sklearn import svm# 定义三个点和标签X = [[2, 0], [1, 1], [2,3]]y = [0, 0, 1]# 定义分类器,clf 意为 classifier,是分类器的传统命名clf = svm.SVC(kernel = 'linear') # .SVC()就是 SVM 的方程,参数 ...

2020-08-27 14:36:00 30

原创 gRPC repeated数组的使用 python

reco.protosyntax = "proto3";package rpc_package;service HelloWorldService { rpc SayHello (HelloRequest) returns (HelloReply) {}}message HelloRequest { repeated Student student...

2020-08-26 14:25:00 203

原创 百度技能问答模型

import requests# client_id 为官网获取的AK, client_secret 为官网获取的SKhost = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=hIkC0fSxfQX17dGsbVcUGYzx&client_sec...

2020-08-25 16:06:00 38

原创 百度AIPNLP 文本相似度 文本审核

效果不如有监督的bert文本相似度好from aip import AipNlpAPP_ID = "22216281"APT_KEY = "foEeYauuvnqWGv4hp5T2ZZyD"SECRET_KEY = "67vK4QymaLTou7LMSDYyqS0ralhAi3u2"client = AipNlp(APP_ID,APT_KEY,SECRET_KEY)...

2020-08-24 16:51:00 51

原创 json文件读取并转换成为字典python

# JSON到字典转化f2 = open('info.json', 'r')info_data = json.load(f2)print(info_data)# 显示数据类型print(type(info_data))  

2020-08-24 13:43:00 52

原创 同义词查找,关键词扩展,使用腾讯Tencent AILAB的800万词向量,gensim,annoy

最近在做一个关键词匹配系统,为了更好的效果,添加一个关键词扩展的功能。使用Tencent AIlab的800万词向量文件。腾讯AILAB的800万词向量下载地址:https://ai.tencent.com/ailab/nlp/zh/embedding.html 这个是最新的有效地址是用gensim模块读取词向量,并找到相似词,占用内存比较大,速度也慢,最好是16g...

2020-08-24 13:30:00 118

原创 Tencent 闲聊对话机器人接口调用,画像:设计员小白

from datetime import datetimeimport timeimport requestsfrom hashlib import md5from urllib import parsefrom random import randintappkey = "D7uzDYesASNmj0So"appid = 2155912333def getr...

2020-08-24 10:43:00 57

原创 logging模块简介python

1 logging模块简介logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等;相比print,具备如下优点:可以通过设置不同的日志等级,在release版本中只输出重要信息,而不必显示大量的调试信息;print将所有信息都输出到标准输出中,严重影响开发者从标准输出中查看其它数据;logging则可以由开发者决...

2020-08-14 15:09:00 28

原创 jieba分词的几种形式

1、精确模式:试图将句子最精确地分开,适合文本分析 seg_list = jieba.cut(test_text, cut_all=False) seg_list = " ".join(seg_list) print("cut_all=False:", seg_list)  输出:cut_all=False: 我 今天下午 打篮球  2、全模式:把句...

2020-08-13 17:27:00 23

原创 h5py这个坑-PyCharm Process finished with exit code -1073741819 (0xC0000005)

在用pytorch和tensorflow做语音合成时,碰到了个很无解的bug,PyCharm 报错 Process finished with exit code -1073741819 (0xC0000005)百度搜了结果是显存不足,但是我在debug模式下,根本还没有加载模型啊,怎么会显存不足,反复更换了cuda,tensorflow和pytorch的版本,问题还是没有解...

2020-08-11 15:35:00 90

原创 python之six模块的用法six.py2 six.py3

import six,sys print(six.PY2) #python2结果为Trueprint(six.PY3) #python3结果为True  

2020-07-28 15:54:00 73

原创 python hasattr()函数

描述hasattr()函数用于判断对象是否包含对应的属性。语法hasattr 语法:hasattr(object, name)  参数object -- 对象。name -- 字符串,属性名。返回值如果对象有该属性返回 True,否则返回 False。实例以下实例展示了 hasattr 的使用方法:#!/usr/bin/python# -*...

2020-07-23 11:05:00 47

原创 pycharm更换主题,pycharm更换皮肤,pycharm更换不同颜色

1.首先 点击File→进入setting2. 在settings里面找到appearance3.选择 Theme,下拉即可修改4.选择不同的主题,darcula是黑色,其他两个是白色...

2020-07-23 10:40:00 140

原创 argparse命令行参数的使用

import argparsedef main():#设置一些参数 parser = argparse.ArgumentParser() parser.add_argument('--device', default='0,1,2,3', type=str, required=False, help='设置使用哪些显卡') parser.add_argu...

2020-07-17 10:23:00 80

原创 gensim的word2vec的简单使用

from gensim.models import Word2Vec as wtvimport jiebas1 = "刘新宇是一个自然语言处理算法工程师"s2 = "他从事算法方面的工作很多年"s3 = "刘新宇是一名非常资深的算法工程师"sentences = [jieba.lcut(s1),jieba.lcut(s2),jieba.lcut(s3)]print(se...

2020-07-16 13:21:00 54

原创 图像验证码识别,字母数字汉子均可cnn+lstm+ctc

图形验证码如下:训练两轮时的准确率:上边显示的是未识别的config_demo.yamlSystem: GpuMemoryFraction: 0.7 TrainSetPath: 'train/' TestSetPath: 'test/' ValSetPath: 'dev/' LabelRegex: '([\u4E00-\u9FA5]{4,8})...

2020-06-17 10:51:00 114

原创 百度unit闲聊机器人

import jsonimport randomimport requests# client_id 为官网获取的AK, client_secret 为官网获取的SKclient_id = "hIkC0fSxfQX17dGsbVcUGYzx"client_secret = "wluN6dVLGjUlnyvxtiSzQzchrHnv4O2K"def unit_c...

2020-06-16 16:11:00 105

原创 python读取xlsx文件

示例import xlrdfrom tqdm import tqdmreadbook= xlrd.open_workbook("./情感分析.xlsx")reviews = open("3分类情感分析.txt","a",encoding="utf-8")#通过表的索引号读取表格sheet = readbook.sheet_by_index(0)#行数nrow...

2020-05-09 10:04:00 50

原创 图片验证码识别,标签中onehot编码对应多个1怎么做?

一张验证码图片直接做整体识别也就是图片的最后输出节点有4*26=104个,经过一个softmax,使用交叉熵损失,与真实值4*26=104个标签做计算,然后反向传播104个onehot编码真实值当中,每26个编码里会有一个正例1其余25个为零,4个26个编码里有4个值为1,其余和图片分类一样意思就是真实值中有多个1,其实和1个1没什么区别,正常计算就ok了...

2020-04-29 00:01:00 99

原创 实体识别中,或序列标注任务中的维特比Viterbi解码

看懂这个算法,首先要了解序列标注任务 QQ522414928 可以在线交流大体做一个解释,首先需要4个矩阵,当然这些矩阵是取完np.log后的结果,分别是:初始strat→第一个字符状态的概率矩阵,转移概率矩阵,发射概率矩阵,最后一个字符状态→end结束的概率矩阵,这些概率矩阵可以是通过统计得到,或者是LSTM+crf这种训练迭代得到。 zero_log 指的是在统...

2020-04-26 17:43:00 111

原创 tensorflow1.0 队列FIFOQueue管理实现异步读取训练

import tensorflow as tf#模拟异步子线程 存入样本, 主线程 读取样本# 1. 定义一个队列,1000Q = tf.FIFOQueue(1000,tf.float32)#2.定义要做的事情 循环 值,+1 放入队列当中var = tf.Variable(0.0)#实现一个自增 tf.assign_adddata = tf.assign_add...

2020-03-28 22:43:00 52

原创 tensorflow1.0 数据队列FIFOQueue的使用

import tensorflow as tf#模拟一下同步先处理数据,然后才能取数据训练#tensorflow当中,运行操作有依赖性#1.首先定义队列Q = tf.FIFOQueue(3,tf.float32)#放入一些数据enq_many = Q.enqueue_many([[0.1,0.2,0.3],])#2.定义取数据的过程out_q= Q.dequeu...

2020-03-28 20:06:00 54

原创 python 携程asyncio 实现高并发示例2

https://www.bilibili.com/video/BV1g7411k7MD?from=search&seid=13649975876676293013import asyncioimport random#需求:有一个crontab调度器,每隔1秒,拉起1个job,要求这些job可以并发爬取网页async def cron_scheduler(): ...

2020-03-24 11:26:00 99

原创 python 携程asyncio实现高并发示例1

import asyncio#携程(携程不是函数)async def print_hello(): while True: print("hello world") await asyncio.sleep(1) #暂停1sasync def print_goodbye(): while True: print(...

2020-03-24 11:16:00 52

原创 python face_recognition模块实现人脸识别

import face_recognition #人脸识别库 pip cmake dlibimport cv2#读取图像face_image1 = face_recognition.load_image_file("1.jpg")face_image2 = face_recognition.load_image_file("2.jpg")# print(face_ima...

2020-03-20 14:21:00 77

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除