- 博客(19)
- 收藏
- 关注
RSS订阅原创 BERT各个超参数含义
"attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率"directionality": "bidi", "hidden_act": "gelu", # 激活函数 高斯误差线性单元"hidden_dropout_prob": 0.1, # 隐藏层dropout概率"hidd
2022-06-21 16:30:55
2515
原创 使用spacy进行文本相似度处理
import spacydef check_zh_doc_similarity(): nlp = spacy.load('zh_core_web_lg') doc1 = nlp('你好吗?') doc2 = nlp('你还好吗?') doc3 = nlp('今天你还好吗?') doc4 = nlp('你的身体今天还好吗?') print(doc1.similarity(doc2)) # 0.7544851165307768 print(doc2.
2022-04-28 10:45:49
815
原创 pymysql进行mysql操作
import pandas as pdimport pymysql# 内部数据库配置, 这是由数仓工程师提供的sql_config = { 'host': "x.x.x.x", # IP地址 'port': xxxx, # 端口 'user': "xxx", # 用户名 'password': "xxx", # 密码 'database': "xxx", # 数据库 .
2022-04-22 09:35:09
1093
原创 互联网大厂研发流程
其实对于几十人或者上百人一起开发一个项目的话，一个规范的研发流程是很重要的。有的人可能想，哪有这么多流程啊，就是写完代码，跑一下，没问题，然后就上线了。其实在大厂里研发流程是很重要的。一个项目从开发到上线到后面的维护，从流程上就保证大家少出错，也方便后面人继续维护。那么接下来给大家介绍一下详细的流程。#1.需求文档看需求文档，我们要根据需求文档来确定我们究竟要做什么。一些同学可能感觉 为什么还要用一个需求文档呢，你就告诉我做啥我就做啥不就完事了。其实需求文档一方面是倒逼产品经
2022-04-19 20:17:04
536
原创 DataFrame操作
获取某几列# 将xls数据用pandas打开data = pd.read_excel('./data/xxx.xls')# 提取表格中某几列# 例提取id和brand_service_items列data = data.loc[:, ['id', 'brand_service_items']]# 将新的data写入excel，也可不写入data.to_excel('./data/com_tra_deal.xls')删除指定列的空值行DataFrame.dropna(axis=0
2022-04-08 11:16:03
274
原创 CPU密集型计算、IO密集型计算，多线程、多进程、多协程
CPU密集型（CPU-bound）：CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高eg：压缩解压缩，加密解密，正则表达式搜索IO密集型（I/O bound）：IO密集型指的是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读写操作，CPU占用率比较低...
2022-03-03 11:27:56
394
原创 bert预训练中文文本
import torchimport torch.nn as nnimport sslssl._create_default_https_context = ssl._create_unverified_context# 通过torch.hub(pytorch中专注于迁移学习的工具)获得已经训练好的bert-base-chinese模型model = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-ch.
2022-02-09 09:27:23
423
1
原创 注意力机制代码
import torchimport torch.nn as nnimport torch.nn.functional as Fclass Attn(nn.Module): def __init__(self, query_size, key_size, value_size1, value_size2, output_size): """初始化函数中的参数有5个，query_size代表query的最后一维大小 key_size代表key的最后一维大.
2022-01-14 11:56:40
2614
原创 RNN各个参数含义
import torchimport torch.nn as nn# RNN模型'''第一个参数：input_size(输入张量x的维度)第二个参数：hidden_size（隐藏层维度，隐藏层的神经元个数）第三个参数：num_layer(隐藏层的数量)'''rnn = nn.RNN(5, 6, 1)'''第一个参数：sequence_length(输入序列长度)其中sequence_length代表时间步，代表了RNN内部的细胞数量第二个参数：batch_size(批次的样本数量.
2022-01-13 17:24:25
4350
4
原创 接收post请求，并多线程跑
warnings.filterwarnings('ignore') # 警告扰人，手动封存from multiprocessing import cpu_count, Poolimport sysimport time# 设定项目的root路径, 方便后续相关代码文件的导入root_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(root_path)# 服务框架使用Fl.
2022-01-12 11:27:22
890
原创 清华镜像源安装py2neo
pip install --user -i https://pypi.tuna.tsinghua.edu.cn/simple py2neo
2022-01-07 09:45:54
1472
原创 redis导入列表文件，写入列表文件
# -*- coding:utf-8 -*-import redisimport jsonimport osimport sysimport jiebaimport time# 设定项目的root路径, 方便后续相关代码文件的导入root_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(root_path)pool = redis.ConnectionPool(hos.
2021-12-30 15:51:10
357
原创 使用 pip freeze 获取安装的 Python 包
使用 pip freeze 获取安装的 Python 包有时，我们为了代码稳定、代码迁移等，需要获取当前 Python 工程依赖包的安装列表。这个列表要包括需要安装什么包、以及包的版本。这便是：requirements.txt。pip 使用 requirements.txt 安装输入命令：pip install -r requirements.txt1即可安装 requirements.txt 中的所有包（指定版本）。pip freeze使用 pip freeze 会输出所有在本地已.
2021-12-28 18:02:44
672
原创 如何用多核并行处理数据
from multiprocessing import cpu_count, Pool# 计算当前服务器CPU数量cores = cpu_count()# 将分块个数设置为CPU的数量partitions = coresdef parallelize(df, func): # 数据切分 data_split = np.array_split(df, partitions) # 初始化线程池 pool = Pool(cores) # 数据分发，处理，再合.
2021-12-28 15:41:18
1423
原创 AttributeError: module ‘jieba‘ has no attribute ‘lcut_all‘
原因查找刚开始的时候直接查找原因已经pip安装了jiaba。也导入了但依然存在上述报错。网上查找是说我的代码文件名是jieba.py，但我的代码文件名是其他的。只能自己整了。错误解决需要将lcut前面加俩下划线。可能是因为版本的问题。如果想精确模式分词可以而且后面不能有cut_all参数。如果想全模式分词可以如有错误请指出，谢谢！...
2021-11-17 17:30:33
2256
2
原创 ImportError: Missing optional dependency ‘xlrd‘. Install xlrd ＞= 1.0.0 for Excel support Use pip or
ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.解决方法：报错的内容就是缺少可依赖的‘xlrd’包，只需要安装即可pip安装pip install xlrd
2021-10-27 15:59:17
1235
原创 pycharm只显示左侧project，不显示详细目录
file--->settings--->project stucture--->add content root 标记成sources。
2021-10-27 15:19:19
1861
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人