- 博客(26)
- 收藏
- 关注
RSS订阅原创 python关键字
python3.5增加了内置的async和wait关键字。让我们用几个例子来展示这两个关键词如何使用。如果你不明白什么是“异步编程”，你可以简单的理解他为“在单个进程中同时处理多个任务的一种方法”。我们通常使用的是进程经常花费大量的实践的等待IO操作的完成。这种IO操作包括客户端请求网络、读取数据、查询数据库等等…同步程序一般是等待IO操作完成后再进行下一个任务，而异步程序则可以在IO操作期间去处理下一个任务。下面看简单例子，这里我们用asyncio.sleep模拟耗时的IO操作，并用asyncio.w
2022-05-13 11:17:55
166
原创 transformer
首先，self-attention的输入就是词向量，即整个模型的最初的输入是词向量的形式。那自注意力机制呢，顾名思义就是自己和自己计算一遍注意力，即对每一个输入的词向量，我们需要构建self-attention的输入。在这里，transformer首先将词向量乘上三个矩阵，得到三个新的向量，之所以乘上三个矩阵参数而不是直接用原来的词向量是因为这样增加更多的参数，提高模型的效果。对于输入X1，乘上三个矩阵后分别得到Q1、K1、V1，同样的，对于输入X2，也乘上三个不同的矩阵得到Q2、K2、V2。2.那接.
2022-05-10 19:18:17
179
原创 rasa框架nlu源码解析
nlu模块的主要功能是解析用户输入数据，识别出用户输入的实体、意图等关键信息，同时也可以添加诸如情感分析等自定义模块。nlu模块的包：一、输入数据nlu模块接受Message类型的数据作为输入，与core模块流转的Usermessage数据不同，Message定义在rasa/nlu/training_data/message.py中，默认有三个变量，分别是text、time、data。其中，text中存储的是用户输入的问题，time存储的是时间，data存储的是解析后的数据。class Messa
2022-05-09 17:30:52
815
原创 rasa框架core源码分析
一、各个模块输入输出伪代码整体流程： 1. 输入：用户输入（sentence） 2. 过程： 3. userAct <-- NLU(sentence) 4. dialogState <-- DST(userAct,dialogHistory) 5. systemAct <-- DPL(dialogState) 6. reply <-- NLG(systemAct) 7. 输出：系统回复（reply）NLU模块 1. 输入：用户输入（sentence） 2. 过
2022-05-07 17:37:22
498
原创 docker瘦身技巧
docker瘦身一、简介docker镜像太大，带来以下几个问题：1. 存储开销这块影响其实不算大，因为对服务器磁盘来说，15GB的存储空间不算大，除非用户磁盘空间很紧张。2. 部署事件这块影响真的很大，交付件zip包太大，导致用户部署该产品时，花费的事件变长，客户现场中反馈部署事件超过1.5个小时，这严重影响用户体验，减低满意度。3. 性能不稳定如果客户得到服务器规格不够（特别是磁盘读写性能不够），会增大部署失败的概率。二、瘦身思路以下思路是我在该任务中尝试使用用于镜像瘦身的方法，均可以
2022-04-27 14:01:27
2126
原创 pycharm远程Linux开发和调试
pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码步骤如下：配置远程linux主机信息选择Tools–Deployment–Configuration:这里选择SFTP就可以下面这个是因为第一次连接，所以会有这个提示这里默认根路径就可以
2022-01-17 13:48:10
360
原创 Linux更改anaconda的env和pkg（环境和缓存目录）
问题：在创建虚拟环境时，创建的虚拟环境env和pkg在home目录下，这样会导致home空间不够，其实我有强迫症，我就不想它在home目录下。conda info 打印conda信息网上搜一下，修改./condarc文件就可以，但是我home目录下并没有,所以新建一个.condarc文件。vim .condarcenvs_dirs:
2022-01-17 13:32:34
2157
原创 pycharm远程连接docker调试rasa代码
当我在使用pycharm debug rasa的时候，出现1.创建虚拟环境2.在创建的虚拟环境安装rasapip --default-timeout=500 install -U rasa安装Mitie和Jieba从Pycharm的命令终端进行Mitie源码根目录，执行下面的命令：python setup.py buildpython setup.py install# 安装Jieba中文分词pip install jieba4.建工程，写代码5.开始debug使用
2022-01-13 19:46:23
859
1
原创 Docker常用命令
1.Docker环境信息 docker info/version2.容器生命周期管理（1）docker rundocker run命令来基于特定的镜像创建容器，并依据选项来控制改容器。docker run命令的使用方法：docker run [OPTIONS] IMAGE [COMMAND] [ARG...]选项:-i：使用交互模式，始终保持输入流开放；-t：分配一个伪终端，一般两个参数结合使用-it，可在容器中利用打开的伪终端进行交互操作；--name：指定docker run命令
2021-11-30 13:41:51
116
原创 Docker常用命令
1.Docker环境信息docker info/version2.容器生命周期管理（1）、docker rundocker run命令来基于特定的镜像创建容器，并依据选项来控制改容器。docker run命令的使用方法：docker run [OPTIONS] IMAGE [COMMAND] [ARG…]选项:-i：使用交互模式，始终保持输入流开放；-t：分配一个伪终端，一般两个参数结合使用-it，可在容器中利用打开的伪终端进行交互操作；–name：指定docker run命令启动容器的
2021-11-30 11:12:33
166
原创 excel常用操作
1.excel批量将时间小时提取出来。=HOUR（A2）https://jingyan.baidu.com/article/11c17a2c5ba0b6b447e39d6b.htmlexcel批量将时间提取出来2.excel批量将时间加几小时。https://zhidao.baidu.com/question/141717467.htmlexcel批量将时间加几小时...
2021-09-03 16:47:55
77
原创 python处理异常值--箱型图查找异常值并替换
箱型图查找异常值并替换 定义为值大于上四分位或者小于下四分位的值位异常值，若是异常值，则用mean替换，项目中遇到的，但是这个可能或将0值也替换了，但是0值不是异常值，故而舍弃这种方法。import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import stats'''异常值分析'''# 加载数据def get_data(df, row): # 截取第一列的数据
2021-08-25 19:14:23
5441
1
原创 python多项式拟合问题
某次项目中遇到，需要预测某个值。数据大概是这样的：有4个特征，特征之间数据差异较大，根据四个特征预测需要预测一个值，数据量是24条。其实就是一个多项式的拟合问题。刚开始，我想着用一些简单的模型去拟合就可以了。linear = LinearRegression()ridge = Ridge()lasso = Lasso()elasticnet = ElasticNet(）分别用上诉四个模型去拟合，效果并不好，偏差很大。数据预处理采用的最大最小化。好了。模型都不行，只能从数据着手了。分析数据，进
2021-07-28 13:39:23
814
原创 pycharm同级目录下的包不能互相应用
在GitHub上下载了一个项目，发现同级目录之间不能互相引用。在网上搜索了一下，说是将utils包标记为source root ，但依然没有解决问题。问了组长，总算解决了（我当时一脸懵逼）解决方法：在你需要引用的目录下，新建__init__,py文件，可以为空。同时将目录标记为source root。即可！！再次百度__init__,py的作用，如果有子模块需要引用，那就在__init__,py（此前为空，可以引用当前目录，无法引用当前目录的子目录）写上from . import 子模块。
2021-07-22 12:17:45
1057
转载 python安装出现error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tool
在安装pycocotools出现Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tool解决方案：借鉴https://blog.csdn.net/qq_42247018/article/details/116018372
2021-07-21 12:18:43
211
原创 python循环读取XML文件并统计相应标签的个数
需求：需要统计图片标注产生的XML文件的每个缺陷个数，同时还要将xml文件中标注错误的缺陷修改过来。XML文件大致格式：每个XML或许有多个缺陷，都要统计出来。总共672的XML文件。`from lxml import etreeimport numpy as np import pandas as pd import os#封装一个解析XML文件的函数def readXML(path): parser=etree.XMLParser(encoding="utf-8") #传入两个
2021-07-07 11:31:31
1996
1
原创 网站登录不上与电脑时间的关系
某次在登录某个网站时，无论如何都登不上去，刚才是觉得浏览器有问题，账号密码不对，但是尝试多次之后都排除这些因素，后边经同事那块，说让我改一下电脑系统时间，我电脑的时间确实不对，慢了几分钟，在改完电脑系统时间后，就能登录了。原因：可能是在网上登录时，服务器会校验系统登录时间，或者也可能是系统时间与密码校验。...
2021-05-31 13:51:03
349
原创 Java调用python问题之传参数类型问题
当我在用Java调用python时，我需要给python传递参数，python参数需要的类型是float，但是，在Java调用python时，传过去的参数类型是Str，此时需要将Str强转为float才能调通。
2021-05-24 11:38:58
339
原创 Java调用python并传参数
使用getRuntime方法，Java调用python代码这块StandardScaler是参数，写“StandardScaler”传不过来，‘StandardScaler’，才能传过来
2021-05-20 14:44:59
210
原创 2021-05-20
本人毕业设计，算法部分是python人工智能算法，因为想做个系统，所以采用了Java去写 后端，这个就存在一个问题，Java调用python，开始也查了很多，主要是三种方法，1. 在java类中直接执行python语句。2. 在java中调用本地python脚本。3. 使用Runtime.getRuntime()执行脚本文件（推荐）。我使用的第三种方法，因为需要传参数给python算法，前两种方法用了，各种报错。同时，我需要python返回回来的数据，但是返回回来的数据不能用，或者是Null。所以采用最笨的
2021-05-20 14:36:33
62
原创 kafka错误
kafka错误在我尝试用 一台虚拟机创建一个topic，然后开启生产者出现如下错误：ERROR Error when sending message to topic recommender3 with key: null, value: 3 bytes with error:(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.NotLeaderForPart
2020-11-12 20:43:04
459
原创 STS下载安装出错
在学SSM过程中，安装spring插件时，老是安装不成功，各种报错。我的eclipse是4.7.3a（oxygen）的，对应的STS为springsource-tool-suite-3.9.5.RELEASE-e4.7.3a-updatesite错误1：cannot perform operation computer alternate solutions ,make take a while此时，只要将上图中以http://开头的勾去掉，就可以了。错误2：在下载的时候出现warning:y
2020-05-30 17:05:10
936
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人