SinGaln的博客

中文字、词Bert向量生成利用Bert预训练模型生成中文的字、词向量，字向量是直接截取Bert的输出结果；词向量则是把词语中的每个字向量进行累计求平均（毕竟原生Bert是基于字符训练的），Bert预训练模型采用的是科大讯飞的chinese_wwm_ext_pytorch，网盘下载地址，密码：ngps，希望对各位有帮助！！！#coding = utf-8import jiebaimport numpy as npfrom transformers import BertModel, BertToke

根据自己对transformer的理解写的一个代码，使用时只需实例化Positional_Encoding类与Encoder类，使用多层Encoder时，可以设置Encoder循环的次数。# coding = utf-8import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as F# Scaled dot-product attentionclass Scaled_Dot_Product_

主要是Dataset, DataLoader的使用（1）数据处理，生成Batch和向量化词表import torchimport numpy as npfrom tqdm import tqdmfrom torch.utils.data import Dataset, DataLoadertokenizer = lambda x: [y for y in x]UNK, PAD = '<UNK>', '<PAD>' # 未知字，padding符号def buil

如题，今天在完成一个项目后部署到服务器时出现了以上错误，首先报的错误:SyntaxError: Non-UTF-8 code starting with '\xbb' in file: manage.py出现这个错误时，我按照惯例在manage.py文件头加上了#coding=utf-8，之后又报错了，说是utf-8不能编码，接着安装国际惯例把utf-8改为了gbk，还是报错，说gbk不能编码。这样就感觉头大了，这么经典的方法都不能有效？接着重新对代码进行调试，上传到服务器后还是相同的错误！！利用p

Kashgari:一个方便快捷的命名实体识别、文本分类工具包最近小编做一个项目时发现的一个很好用的工具包（很适合小白直接上手）Kashgari安装（1）利用pip直接安装，这里为了方便小伙伴更加快捷的安装，使用了清华镜像源。pip install kashgari -i https://pypi.tuna.tsinghua.edu.cn/simple/（2）如果装了Anaconda环境就用conda安装（用pip也行），安装速度慢的话也可以先配置为清华镜像源。conda install kas

1.创建scrapy项目scrapy startproject maoyanspider2.写items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/en/latest/topics...

直接上代码：#coding = utf-8import torchimport torch.optim as optimfrom torch.autograd import Variableimport torch.nn.functional as Fimport torch.nn as nnimport numpy as npimport gym#parametersBa...

本项目是以pytorch为框架进行mnist图像分类任务：CNN：#coding = utf-8import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvisionimport matplotlib.pyplot as...

本例以pytorch框架进行实验：#coding = utf-8import torchimport torch.nn as nnimport torch.utils.data as Dataimport torchvisionimport torch.optim as optimimport matplotlib.pyplot as pltfrom mpl_toolkits.mp...

import torchimport torch.nn as nnimport torch.optim as opfrom torch.autograd import Variablex = Variable(torch.Tensor([[1,2],[3,4],[4,2]]),requires_grad = False)y = Variable(torch.Tensor([[3],[...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_dataimport matplotlib.pyplot as pltmnist = input_data.read_data_sets('MNIST_data/',one_hot=True)bat...

数据：data.csv 密码：eorj代码：from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import preprocessingfrom sklearn import treeimport numpy#读入数据allElectronicsDate = open("D...

import java.util.Scanner;public class DiGui { public static void main(String[] args) { //使用递归算法计算n的阶乘 Scanner intput = new Scanner(System.in); System.out.println("请输入n的值：...

package Colection;import java.util.HashMap;import java.util.Map;import java.util.Map.Entry;import java.util.Scanner;import java.util.Set;public class MapTest { //承装学生类型的属性 public Map&lt;...

package Colection;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.Scanner;public class SetTest { public List&lt;Course&gt; coursesToSelect; publi...

package Colection;import java.util.ArrayList;import java.util.Arrays;import java.util.Iterator;import java.util.List;//备选课程类public class ListTest { //用于存放备选课程的List public List&lt;Object&gt; co...

package basepackageclass;public class MathClass { public static void main(String[] args) { // TODO Auto-generated method stub //math类的基本操作 double a = 12.53; int b = (int)a;//强制类型转化 Syste...

package basepackageclass;import java.util.Calendar;import java.util.Date;import java.text.SimpleDateFormat;public class CalendarClass { public static void main(String[] args) { // TODO Auto-ge...

package basepackageclass;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;public class DateAndSimpleDateFormat { public static void main(String[] args) {...

package basepackageclass;//装箱：把基本类型转换成包装类，使其具有对象的性质，又可分为手动装箱和自动装箱//拆箱：和装箱相反，把包装类对象转换成基本类型的值，又可分为手动拆箱和自动拆箱public class BaseAndPackageTransfer { public static void main(String[] args) { // 定义doub...

1.普通内部类package learn2;//外部类HelloWorldpublic class NeiBuClass { // 内部类Inner，类Inner在类HelloWorld的内部 public class Inner { //创建一个内部类方法 public void show() { System.out.println("welcome to C...

1.无参无返回值package learn;/*如何定义 Java 中的方法所谓方法，就是用来解决一类问题的代码的有序组合，是一个功能模块。一般情况下，定义一个方法的语法是：访问修饰符 返回值类型 方法名(参数列表){方法体}其中：1、 访问修饰符：方法允许被访问的权限范围， 可以是 public、protected、private 甚至可以省略 ，其中 public...

package learn;public class ConditionalStatement { public static void main(String[] args){ //if...else...语句 int one = 30; if(one % 2 == 0){ System.out.println("one是偶数"); }else{ System....

java使用for和foreach对数组进行遍历操作package learn;import java.util.Arrays;//foreach的语法：for(元素类型 元素变量：遍历对象){执行代码}public class ForeachOperationArray { public static void main(String[] args) { String [] ...

turtle()简单运用：画一个平行四边形并重复偏移import turtle as tdef drawdemo(tom): for i in range(2): tom.forward(100) tom.right(45) tom.forward(100) tom.right(135)def drawflower...

'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import gluonimport matplotlib.pyplot as pltfrom mxnet import ndimport sysfrom mxnet import autograddef transform(data,label): return da...

采用mxnet实现线性回归算法'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import autogradimport random#数据的生成1000*2num_inputs = 2num_examples = 1000ture_w = [2,-3.4]ture_b = 4.2x = nd.random_no...

mxnet深度学习框架是一个很优秀的框架，其中包括了很多的模型。'coding = utf-8'import mxnet.ndarray as ndimport mxnet.autograd as ag#对f = 2 * (x ** 2)求关于x的导数，我们先创建变量x，并赋初值x = nd.array([[1,2],[3,4]])#创建一个矩阵xx.attach_grad()#...

数据集：dataset 密码：fl02 梯度下降的方法对于大数据量的处理十分重要。#coding = 'utf-8'import numpy as npfrom numpy.linalg import inv#求矩阵的逆from numpy import dot#矩阵点乘from numpy import mat#引入矩阵import pandas as pddataset =...

numpy的一些简单小常识#coding = 'utf-8'import numpy as npa = np.array([2,1,4,6,3])#创建一个数组aprint(a)print('=================================')b = np.zeros((3,4))#创建一个3*4的0元素矩阵print(b)print('==========...

对于这个错误，看了很多的博客资料。都说数组元素没有对齐，找到相应的列补充元素就行，看了之后心累啊。。。。 小编做自然语言处理，几个G的文本啊，怎么找啊！！！！！ 所以，经过我的一番努力，终于找到了解决办法。。。。 就几行代码的事：主要是补全元素import numpy as npvec = []f = open('a.txt', encoding='utf-8')while Tr...

搜狗新闻语料 密码：7grc 百度百科数据 密码：gshk SougouR语料 密码：phwd freebase_mid2name 密码：cafv freebase-FB5M 密码：0imt 69万大词库 密码：fmqf 汉语词库 密码：witn 哈工大LTP models ...

代码如下，停用词获取点击这里。 密码：cef8# -*- coding: utf-8 -*-import jiebaimport jieba.analyseimport jieba.posseg as psegimport refrom pyltp import NamedEntityRecognizer# jieba.load_userdict('userdict.txt')...

首先，复制以下代码并命名为langconv.py#!/usr/bin/env python# -*- coding: utf-8 -*-from copy import deepcopyimport retry: import psyco psyco.full()except: passtry: from zh_wiki import zh...

不多说，直接上代码：import timeclass Car(): def __init__(self,make,model,year): self.make = make self.model =model self.year = year self.odometer_read = 230#指定一个默认属性值...

本次上传的代码为2-6章的。用‘.’的标号是课本内的代码，用‘-’的标号是课后习题 2.2message = 'hello python world!'print(message.title())#每个单词首字母大写message = 'hello python crash course world!'print(message.title())mesage = 'hello p...

秒懂百科视频下载相信很多小伙伴都有想要下载秒懂百科的视频，可是百度就是不让下载，怎么办呢，这里有一个小方法提供给大家。。。。1.首先，要下载M3U8_Downloader下载器，地址：https://pan.baidu.com/s/1kVK8FQ32.在百度百科里输入你要下载视频的词条，如图所示： 3.按键盘上的f12，打开网页的源码界面，选择network选项后，点击f5刷新后再点击你需要播放的

第一个问题，什么是 Python ？根据 Python 之父 Guido van Rossum 的话，Python 是：一种高级程序语言，其核心设计哲学是代码可读性和语法，能够让程序员用很少的代码来表达自己的想法。对于我来说，学习 Python 的首要原因是，Python 是一种可以优雅编程的语言。它能够简单自然地写出代码和实现我的想法。另一个原因是我们可以将 Python 用在很多地方：数据科学、

0级：掌握正则表达式、SQL、JSON和一门支持if-then-else的高级语言 —— 是的，这些不是知识图谱技术，但是这些可以解决问题。我们要的是解决问题，不是吗？1级：学会ER建模（对，就是数据库里的ER建模），理解实体（Entity）和关系（Relation）的概念。这个可能比你想象得难很多。学会更复杂的SQL，能熟练掌握至少一种主流的关系数据库，至少学会一种语言的数据库操作。2级：学会两

本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。什么是NLP？简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。这并不

导入文件时，必须在database中新建一个import文件夹，实体文件和关系文件先复制到该文件夹中，才能导入。安装neo4j时会安装一个database。导入实体： LOAD CSV WITH HEADERS FROM “file:///person_Format.csv” AS line MERGE (p:person{id:line.id,name:line.name,age:line.

filename = 'pragramming.txt'with open(filename,'w') as fileobject: #使用‘w’来提醒python用写入的方式打开 fileobject.write('I love your name!' '
I love your cloth!' '
I

直接上代码：filename = 'pi_th_digtal.txt'with open(filename) as fileobject: lines = fileobject.readlines()pi_string =''for line in lines: pi_string += line.strip()birthday = input('Please enter your

filename = 'pi_digtal.txt'with open(filename) as fileobject: lines = fileobject.readlines()#readlines从每一行读取pi_string = ''for line in lines: pi_string +=line.rstrip()print(pi_string)print(len

with open('pi_digtal.txt') as file_object: contents = file_object.read() print(contents.rstrip())#rstrip()删除字符串末尾的空格注：打开的文件实际存在

filename = 'like.txt'with open(filename) as fileobject: lines = fileobject.readlines()message_string = ''for line in lines: message_string +=lineprint(message_string.title())message = message

直接上代码1：while True: f_number = input("Please input first number :") if f_number == 'q': break s_number = input("Please input second number :") if s_number == 'q': break

FileNotFoundError的处理代码：filename = 'tom.txt'#tom这个文件是不存在的try: with open(filename) as file: content = file.read()except FileNotFoundError:#文件不能找到的异常处理 print("Sorry!The file "+filename+"

try: print(5/0)except ZeroDivisionError:#'ZeroDivisionError'除数等于0的报错方式 print("You can't divide by zero!" )运用了异常处理，就不会出现traceback

闲话不多说，直接上代码：import requestsfrom bs4 import BeautifulSoupimport reimport urllibdef cbk(a,b,c): '''''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100:

删除节点及关系 MATCH (n)-[r]-() DELETE n,r删除所有节点： match (n) delete nn为节点的名称

/* 输入字符串，判断是否满足要求，如果有就输出 String s = sc.nextLine(); if语句针对boolean类型的，针对我一个范围，几个常量的判断*/import java.util.Scanner;class SwitchTest2{ public static void main(String[]args){ Scanner

/* 模拟单项选择题*/import java.util.Scanner;class SwitchTest1{ public static void main(String[]args){ Scanner sc = new Scanner(System.in); //由于我们现在没有办法得到‘A’‘B’等，我们使用ASCLL码代替

/* 注意事项： A:case后面只能是常量，不能是变量，多个case后面的值不能相同 B:default可以省略，但是不建议，因为他的作用是对不正常的值进行提示 C:break可以省略，但会出现case穿透，建议不要省略 D：default可以在任意位置，建议在最后 E：switch语句的结束条件

/* switch语句格式： switch（表达式）{ case 值1; 语句体1; break; case 值2; 语句体2; break; ... d

/* 选择结构： if语句： 格式1： if(比较表达式) { 语句体； } 先计算表达式，如果是true，执行语句体；如果是false，则不执行语句体。 注意事项：

/* 录入两个数据，比较这两个数是否相等*/import java.util.Scanner;class ScannerTest2{ public static void main(String[]args){ Scanner sc = new Scanner(System.in); System.out.println("请输入第一个数据：");

/* 录入三个数据，获取三个数中的最大值*/import java.util.Scanner;class ScannerTest1{ public static void main(String[]args){ Scanner sc = new Scanner(System.in); System.out.println("请输入第一个数据：")

/* 为了让程序更加灵活，使用键盘录入。 步骤： A：导包 格式： import java.util.Scanner; 位置： 在class上面。 B：创建键盘录入对象 格式： Scanner

今天在刘峤的《知识图谱构建技术综述》看到了K-近邻算法： 就进行了简单的了解； 首先，我们来了解一下什么是K-近邻算法。概念：所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。来个简单的案例介绍： 有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表

这里主要运用到了正则表达式进行抓取；import jsonfrom multiprocessing import Poolimport requestsfrom requests.exceptions import RequestExceptionimport redef get_one_page(url): try: response = requests.get(

/* 练习： 获取两个数中的最大值 获取三个数中的最大值 比较两个整数是否相同*/class OperatorText{ public static void main(String[] args){ //获取两个数中的最大值 int x = 100; int y = 200;

/* 运算符： 对常量和变量进行操作的 分类：算术运算符，赋值运算符，比较运算符，逻辑运算符，位运算符，三目运算符 算术运算符： +,-,*,/,%,++,-- 注意事项： 整数相除只能得到整数，只需要吧操作数中的一个数变为浮点数*/class OperatorDemo{ public static void ma

/* 看程序写结果 字符串数据和其他数据做+，结果是字符串。 +字符串是连接符*/class DataType8{ public static void main(String[] args){ System.out.println("hello"+'a'+1);//helloa1 System.out

/* 看程序写结果 使用字符的ASCLL码相加 ‘A’ 65 ‘a’ 97 '0' 48*/class DataType7{ public static void main(String[] args){ //直接输出一个字符 System.out.println('a');//a /

/* byte b = 130;有没有问题？如果我想让赋值正确，可以怎么做？结果是多少？ 练习： byte b = 300;*/class DataType6{ public static void main(String[] args){ //因为byte的范围是：-128到127. //130不在此范围内，所以报错。

/* 面试题： byte b1 = 3,b2 = 4,b; b = b1 + b2; b = 3 + 4; 那句是编译失败的？为什么？ b = b1 +b2;有问题，变量相加，首先考虑类型问题 byte b = 130;有没有问题？如果我想让赋值正确，可以怎么做？结果是多少？ 练习：

/* 强制转换： 从大的数据类型到小的数据类型。 格式： 目标数据类型 变量 = （目标数据类型）（被转换的数据）;*/class DataType3{ public static void main(String[] args){ byte a = 3; int b = 4; /

/* +是一个运算符，做加法运算的。 一般来说，要求参与运算的数据类型必须一致 注意： boolean类型不能转换为其他数据类型 默认转换（从小到大的转换） A:byte，short，char-int-long-float-double B:byte，short, char相互之间不转换，他们参与运算首先转换为int类型*

/* 使用变量的注意事项： A:作用域 变量定义在那个大括号内，它就在这个大括号内有效。 并且，在同一个大括号内不能同时定义同名的变量。 B：初始化值 没有初始化值得变量不能直接使用。 只要在使用前给值就行，不一定要在定义是给值。 定义变量的格式

/* 不同进制的数据表现： 二进制：有0，1组成。以0b开头。 八进制：由0，1，....，7.以0开头 十进制：由0，1......,9.默认整数 十六进制：由0，1，......9，a,b,c,d,e,f(大小写均可)组成*/class JinZhi{ public static

/* 关键字：被Java语言赋予特定含义的单词 特点：组成关键字的单词的字母全部小写 注意： A：goto和const是保留字 B：关键字会被标记颜色 常见的命名规则：见民知意 举例：定义一个学生类 class Student{} class S{} 包：其实就是文件夹，用于吧相同

/* 常量： 在程序执行过程中，其值不发生改变的量。 分类： A:字面值常量 B：自定义常量 字面值常量 A：字符串常量 用双引号括起来的内容 举例：”hello”，“world“，”helloworld“ B:整数常量 所有的整数 举例:1

/* 数据类型：Java是一种强类型的语言，针对每一种数据类型都定义了明确的数据类型。 数据类型的分类： A：基本数据类型 B：引用数据类型（类，接口，数值） 基本数据类型： A：整数 byte 1 short 2 int 4

/* 需求：准备写一个Java程序，在控制台把‘HelloWorld’输出 分析： A：要写一个Java程序，必须定义类 B:把数据能够输出，说明我们的程序是可以独立运行的，而程序要独立运行，必须定义main方法 C:把数据输出在控制台，必须使用输出语句 实现： A:Java语言提供一个关键字：class用来定义类

这里注意运用了BeautifulSoup，requests和urllib的下载模块：具体代码如下：import requestsimport urllibfrom bs4 import BeautifulSoupurl = 'http://www.ivsky.com/tupian/meili_caihong_v42964/'headers = {'User-Agent':'Mozilla/5.

汉诺塔的移动可以用递归函数非常简单地实现。# -*- coding: utf-8 -*-def move(n, a, b, c): if n == 1: print(a, '-->', c)#只有一个盘子时，直接从a移动到c else: move(n - 1, a, c, b)#大于一个盘子时，开始递归，首先将n-1个盘子从a移到辅助区b

下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。1>>> help(urllib.urlretrieve)2Help on function urlretrieve in module urllib:

**小编在此爬取的是360看看中的悬疑类电影，喜欢的小伙伴可以收藏。。。。。当然，也可以给小编提一些改进的意见。。。**直接上代码：#coding=utf-8import requestsfrom bs4 import BeautifulSoupurl = 'http://www.360kan.com/dianying/list.php?cat=115'headers = {'User-

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间,下面我们就看看他是如何使用：直接看例子：复制代码代码如下:#!/usr/bin/python# -*- co

直接上代码：import requestsfrom bs4 import BeautifulSoupheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.

小编看了不少的爬虫代码，有使用urllib的，也有使用scrap框架的，今天，我使用requests和BeautifulSoup来写了一个爬段子的爬虫小程序：