![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
BeKnown
这个作者很懒,什么都没留下…
展开
-
数据预处理
训练数据预处理# -*- coding: utf-8 -*-# @Time : 2021/5/15 10:25 下午# @Author : jiangming# @FileName: data_preprocess.py# @Software: PyCharm# @Desc : 数据预处理,生成训练数据import datetimefrom pandas import DataFrameimport pandas as pdimport numpy as npfrom原创 2021-05-16 21:25:15 · 313 阅读 · 0 评论 -
pandas使用记录
pandas使用记录apply函数apply返回多列,并赋值tqdm Apply 看运行进度多进程-apply函数groupby函数获取groupby分组里最大值所在的行方法(效率较高)为了记录在使用pandas时,不常使用,但很重要的技巧apply函数apply返回多列,并赋值import pandas as pddf_tmp = pd.DataFrame([ {"a":"data1", "cnt":100},{"a":"data2", "cnt":200},])# df_tmp原创 2021-02-20 14:53:36 · 174 阅读 · 0 评论 -
基于Pyspark的Pandas_udf使用方法
运行环境:Spark2.4.2python 3.6有一些关于spark df和pandas df的介绍,可以详细看基于Pyspark的Pandas_udf使用方法这里介绍我在使用过程中遇到的问题Pandas UDFspandas udf是用户定义的函数,是由spark用arrow传输数据,pandas去处理数据。我们可以使用pandas_udf作为decorator或者registor来定义一个pandas udf函数,不需要额外的配置。目前,pandas udf有三种类型:标量映射(Sca原创 2021-01-21 21:46:47 · 4417 阅读 · 5 评论 -
pyLDAvis基于gensim的LDA模型可视化遇到的问题
pyLDAvis基于gensim的LDA模型可视化遇到的问题使用下面代码将lda模型可视化结果保存为htmld = pyLDAvis.gensim.prepare(lda, corpus, dictionary)pyLDAvis.save_html(d, 'lda_topic20.html')问题:html文件打不开,为空白页原因:使用编辑器打开后发现有几个网页需要翻墙才可以https://cdn.rawgit.com/bmabey/pyLDAvis/files/ldavis.v1.0.0原创 2021-01-20 12:01:15 · 4566 阅读 · 18 评论 -
pyecharts自适应屏幕居中显示
pyecharts自适应屏幕居中显示pyecharts自适应屏幕居中显示解决方法参考pyecharts自适应屏幕居中显示pyecharts生成的html默认是靠左上显示的,使用的pyecharts版本是1.9.0。期望图像是居中显示!画图代码如下c = ( Graph() .add("Measure", nodes, links, categories, repulsion=4000, gravity=0.1) .set_global_opts(title_opts=opt原创 2020-12-26 17:29:35 · 4508 阅读 · 8 评论 -
BiLSTM_Attention中的Attention
网上都是如下的模型结构图从上图只能看出Attention层的位置是在BiLSTM的后面,从公式更直观一些:通过一个MLP获取隐含表示uit=tanh(Wwhit+bw)u_{it}=tanh(W_wh_{it}+b_w)uit=tanh(Wwhit+bw)其中hith_{it}hit为LSTM层的输出,这个全连接层结构Wwhit+bwW_wh_{it}+b_wWwhit+bw并不会改变其维度。矩阵表示为u=tanh(Wh+b)u=tanh(Wh+b)u=tanh(Wh+b),其原创 2020-12-04 16:24:37 · 2800 阅读 · 0 评论 -
python的dataframe与mysql交互
安装相关包pip install -i https://mirrors.ustc.edu.cn/pypi/web/simple sqlalchemypip install -i https://mirrors.ustc.edu.cn/pypi/web/simple pymysqldataframe导入mysqlfrom sqlalchemy import create_engineengine = create_engine("mysql+pymysql://{}:{}@{}/{}?chars原创 2020-12-01 09:43:31 · 298 阅读 · 0 评论 -
下载google drive文件代码
下载google drive的文件import requestsdef download_file_from_google_drive(id, destination): def get_confirm_token(response): for key, value in response.cookies.items(): if key.startswith('download_warning'): return valu原创 2020-11-30 11:35:05 · 773 阅读 · 1 评论