python编程
SinGaln
这个作者很懒,什么都没留下…
展开
-
华为NEZHA预训练模型中的Relative Position与self_attention详解
文章目录前言前言最近读了一下华为NAZHA预训练模型,该模型的主要创新之处在于在Transformer阶段加入了Relative Position Embedding(相对位置编码),具体的是在Q*V计算得到的attention_scores后加入了Key的Relative Position,在计算得到的context 也加入了Value的Relative Position,详情请看代码。。小编已经对这部分代码进行了注释,主要注释了各个阶段的维度变化,这样对于小白来说代码读起来比较轻松。直接上代.原创 2021-04-25 14:57:07 · 1197 阅读 · 0 评论 -
利用GPT2训练中文闲聊模型
利用GPT2模型来做一个小说生成器最近看了一下GPT2模型,看到很多博主都用来写诗歌,做问答等,小编突然萌生一个想法,利用GPT2来训练一个小说写作器。各位,敬请期待,等小编的小说上架了,欢迎来看!!文章目录利用GPT2模型来做一个小说生成器前言一、小说数据的构建二、模型搭建总结前言本来想用清源CPM预训练模型来进行的,可惜硬件条件不够,只能用中GPT模型来训练一个专门写小说的模型了。硬件条件好的小伙伴,推荐你们使用CPM来做,看别人做的效果还是不错的,清源CPM的模型有4.47G,小伙伴们量原创 2021-04-12 17:10:15 · 3113 阅读 · 2 评论 -
transformer的pytorch实现(可以根据自己的需求进行一些小trick)
根据自己对transformer的理解写的一个代码,使用时只需实例化Positional_Encoding类与Encoder类,使用多层Encoder时,可以设置Encoder循环的次数。# coding = utf-8import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as F# Scaled dot-product attentionclass Scaled_Dot_Product_原创 2020-12-21 10:04:05 · 634 阅读 · 0 评论 -
SyntaxError: encoding problem:gbk(UTF-8)错误梳理
如题,今天在完成一个项目后部署到服务器时出现了以上错误,首先报的错误:SyntaxError: Non-UTF-8 code starting with '\xbb' in file: manage.py出现这个错误时,我按照惯例在manage.py文件头加上了#coding=utf-8,之后又报错了,说是utf-8不能编码,接着安装国际惯例把utf-8改为了gbk,还是报错,说gbk不能编码。这样就感觉头大了,这么经典的方法都不能有效?接着重新对代码进行调试,上传到服务器后还是相同的错误!!利用p原创 2020-09-28 15:32:21 · 15472 阅读 · 2 评论 -
mxnet实现线性回归(linear regression)
采用mxnet实现线性回归算法'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import autogradimport random#数据的生成1000*2num_inputs = 2num_examples = 1000ture_w = [2,-3.4]ture_b = 4.2x = nd.random_no...原创 2018-09-14 16:41:37 · 721 阅读 · 0 评论 -
mxnet深度学习框架的求导
mxnet深度学习框架是一个很优秀的框架,其中包括了很多的模型。'coding = utf-8'import mxnet.ndarray as ndimport mxnet.autograd as ag#对f = 2 * (x ** 2)求关于x的导数,我们先创建变量x,并赋初值x = nd.array([[1,2],[3,4]])#创建一个矩阵xx.attach_grad()#...原创 2018-09-14 15:52:05 · 438 阅读 · 0 评论 -
线性回归的小代码(传统计算和梯度下降的计算)
数据集:dataset 密码:fl02 梯度下降的方法对于大数据量的处理十分重要。#coding = 'utf-8'import numpy as npfrom numpy.linalg import inv#求矩阵的逆from numpy import dot#矩阵点乘from numpy import mat#引入矩阵import pandas as pddataset =...原创 2018-09-14 14:27:54 · 221 阅读 · 0 评论 -
numpy 的简单学习(矩阵的创建,乘法运算,转置,随机生成矩阵的方法)
numpy的一些简单小常识#coding = 'utf-8'import numpy as npa = np.array([2,1,4,6,3])#创建一个数组aprint(a)print('=================================')b = np.zeros((3,4))#创建一个3*4的0元素矩阵print(b)print('==========...原创 2018-09-14 14:15:54 · 2990 阅读 · 0 评论 -
mxnet实现softmax regression(多层感知机)
'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import gluonimport matplotlib.pyplot as pltfrom mxnet import ndimport sysfrom mxnet import autograddef transform(data,label): return da...原创 2018-09-15 10:34:19 · 693 阅读 · 0 评论 -
sklearn决策树算法实现
数据:data.csv 密码:eorj代码:from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import preprocessingfrom sklearn import treeimport numpy#读入数据allElectronicsDate = open("D...原创 2019-03-19 17:42:39 · 1092 阅读 · 0 评论 -
Pytorch 初学---神经网络线性回归以及模型保存
import torchimport torch.nn as nnimport torch.optim as opfrom torch.autograd import Variablex = Variable(torch.Tensor([[1,2],[3,4],[4,2]]),requires_grad = False)y = Variable(torch.Tensor([[3],[...原创 2019-04-30 12:45:37 · 906 阅读 · 0 评论 -
AutoEncoder(自编码:以Mnist数据集为例)
本例以pytorch框架进行实验:#coding = utf-8import torchimport torch.nn as nnimport torch.utils.data as Dataimport torchvisionimport torch.optim as optimimport matplotlib.pyplot as pltfrom mpl_toolkits.mp...原创 2019-07-10 11:26:59 · 3046 阅读 · 1 评论 -
基于pytorch的Mnist数据集进行分类(CNN,LSTM)
本项目是以pytorch为框架进行mnist图像分类任务:CNN:#coding = utf-8import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvisionimport matplotlib.pyplot as...原创 2019-07-10 11:31:40 · 9057 阅读 · 1 评论 -
强化学习(DQN)Pytorch实现
直接上代码:#coding = utf-8import torchimport torch.optim as optimfrom torch.autograd import Variableimport torch.nn.functional as Fimport torch.nn as nnimport numpy as npimport gym#parametersBa...原创 2019-07-10 14:35:30 · 3914 阅读 · 1 评论 -
Scrapy初探,爬取猫眼网排行100的电影
1.创建scrapy项目scrapy startproject maoyanspider2.写items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/en/latest/topics...原创 2019-08-25 11:57:39 · 730 阅读 · 0 评论 -
turtle模块的简单运用
turtle()简单运用:画一个平行四边形并重复偏移import turtle as tdef drawdemo(tom): for i in range(2): tom.forward(100) tom.right(45) tom.forward(100) tom.right(135)def drawflower...原创 2018-09-23 22:14:54 · 2985 阅读 · 0 评论 -
ValueError: setting an array element with a sequence.错误处理。。。
对于这个错误,看了很多的博客资料。都说数组元素没有对齐,找到相应的列补充元素就行,看了之后心累啊。。。。 小编做自然语言处理,几个G的文本啊,怎么找啊!!!!! 所以,经过我的一番努力,终于找到了解决办法。。。。 就几行代码的事:主要是补全元素import numpy as npvec = []f = open('a.txt', encoding='utf-8')while Tr...原创 2018-08-31 12:43:27 · 36144 阅读 · 5 评论 -
python实现最简单的机器学习算法之一-----K-近邻算法
今天在刘峤的《知识图谱构建技术综述》看到了K-近邻算法: 就进行了简单的了解; 首先,我们来了解一下什么是K-近邻算法。概念:所谓K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例(也就是上面所说的K个邻居), 这K个实例的多数属于某个类,就把该输入实例分类到这个类中。来个简单的案例介绍: 有两类不同的样本数据,分别用蓝色的小正方形和红色的小三角形表原创 2017-10-29 14:27:56 · 572 阅读 · 0 评论 -
python 的FileNotFoundError处理和例子
FileNotFoundError的处理代码:filename = 'tom.txt'#tom这个文件是不存在的try: with open(filename) as file: content = file.read()except FileNotFoundError:#文件不能找到的异常处理 print("Sorry!The file "+filename+"原创 2017-11-21 19:56:45 · 36290 阅读 · 0 评论 -
python的ZeroDivisionError异常处理代码
try: print(5/0)except ZeroDivisionError:#'ZeroDivisionError'除数等于0的报错方式 print("You can't divide by zero!" )运用了异常处理,就不会出现traceback原创 2017-11-21 19:52:07 · 20556 阅读 · 0 评论 -
python使用异常处理编写的小程序
直接上代码1:while True: f_number = input("Please input first number :") if f_number == 'q': break s_number = input("Please input second number :") if s_number == 'q': break原创 2017-11-21 20:00:14 · 661 阅读 · 0 评论 -
python文件的replace替换
filename = 'like.txt'with open(filename) as fileobject: lines = fileobject.readlines()message_string = ''for line in lines: message_string +=lineprint(message_string.title())message = message原创 2017-11-21 20:01:49 · 5170 阅读 · 0 评论 -
python文件的打开
with open('pi_digtal.txt') as file_object: contents = file_object.read() print(contents.rstrip())#rstrip()删除字符串末尾的空格注:打开的文件实际存在原创 2017-11-21 20:03:35 · 1185 阅读 · 0 评论 -
python文件的使用
filename = 'pi_digtal.txt'with open(filename) as fileobject: lines = fileobject.readlines()#readlines从每一行读取pi_string = ''for line in lines: pi_string +=line.rstrip()print(pi_string)print(len原创 2017-11-21 20:05:54 · 219 阅读 · 0 评论 -
python的文件的实际使用小程序
直接上代码:filename = 'pi_th_digtal.txt'with open(filename) as fileobject: lines = fileobject.readlines()pi_string =''for line in lines: pi_string += line.strip()birthday = input('Please enter your原创 2017-11-21 20:09:24 · 319 阅读 · 0 评论 -
python文件的写入write()
filename = 'pragramming.txt'with open(filename,'w') as fileobject: #使用‘w’来提醒python用写入的方式打开 fileobject.write('I love your name!' '\nI love your cloth!' '\nI原创 2017-11-21 20:12:06 · 50926 阅读 · 0 评论 -
鲍捷 | 知识图谱从 0 级到 10 级简化版
0级:掌握正则表达式、SQL、JSON和一门支持if-then-else的高级语言 —— 是的,这些不是知识图谱技术,但是这些可以解决问题。我们要的是解决问题,不是吗?1级:学会ER建模(对,就是数据库里的ER建模),理解实体(Entity)和关系(Relation)的概念。这个可能比你想象得难很多。学会更复杂的SQL,能熟练掌握至少一种主流的关系数据库,至少学会一种语言的数据库操作。2级:学会两转载 2017-12-03 15:44:36 · 449 阅读 · 0 评论 -
python入门学习,从 Zero 到 Hero
第一个问题,什么是 Python ?根据 Python 之父 Guido van Rossum 的话,Python 是:一种高级程序语言,其核心设计哲学是代码可读性和语法,能够让程序员用很少的代码来表达自己的想法。对于我来说,学习 Python 的首要原因是,Python 是一种可以优雅编程的语言。它能够简单自然地写出代码和实现我的想法。另一个原因是我们可以将 Python 用在很多地方:数据科学、原创 2017-12-03 15:53:54 · 538 阅读 · 0 评论 -
python编写一个延时小程序!!!!!每隔一秒输出一次
不多说,直接上代码:import timeclass Car(): def __init__(self,make,model,year): self.make = make self.model =model self.year = year self.odometer_read = 230#指定一个默认属性值...原创 2018-06-12 15:24:59 · 9628 阅读 · 0 评论 -
python编程从入门到实践(课本学习代码(2-6章))
本次上传的代码为2-6章的。用‘.’的标号是课本内的代码,用‘-’的标号是课后习题 2.2message = 'hello python world!'print(message.title())#每个单词首字母大写message = 'hello python crash course world!'print(message.title())mesage = 'hello p...原创 2018-05-31 10:41:03 · 734 阅读 · 0 评论 -
中文繁体字转简体
首先,复制以下代码并命名为langconv.py#!/usr/bin/env python# -*- coding: utf-8 -*-from copy import deepcopyimport retry: import psyco psyco.full()except: passtry: from zh_wiki import zh...原创 2018-08-26 16:58:25 · 26689 阅读 · 0 评论 -
jieba分词,去除停用词并存入txt文本
代码如下,停用词获取点击这里。 密码:cef8# -*- coding: utf-8 -*-import jiebaimport jieba.analyseimport jieba.posseg as psegimport refrom pyltp import NamedEntityRecognizer# jieba.load_userdict('userdict.txt')...原创 2018-08-26 17:04:29 · 15951 阅读 · 4 评论 -
python经典的递归问题----汉诺塔
汉诺塔的移动可以用递归函数非常简单地实现。# -*- coding: utf-8 -*-def move(n, a, b, c): if n == 1: print(a, '-->', c)#只有一个盘子时,直接从a移动到c else: move(n - 1, a, c, b)#大于一个盘子时,开始递归,首先将n-1个盘子从a移到辅助区b原创 2017-10-28 10:42:19 · 330 阅读 · 0 评论