python
艾鹤
敏于行,敏于言,千里之行始于足下。
展开
-
安装pandas遇到No module named ‘_bz2’ 的解决方案
安装pandas遇到No module named ‘_bz2’ 的解决方案原创 2023-04-11 15:17:25 · 3349 阅读 · 1 评论 -
conda虚拟环境迁移
conda虚拟环境迁移原创 2022-09-22 15:10:56 · 1630 阅读 · 0 评论 -
pyinstaller打包python/fastapi项目为exe
pyinstaller打包python、fastapi项目原创 2022-09-21 10:01:44 · 2222 阅读 · 0 评论 -
python:字符串的base64转码与解码
字符串与base64互转,pandas json串与base64互转原创 2022-08-25 16:52:30 · 1551 阅读 · 1 评论 -
python logging封装一个简单的日志工具
logging封装日志文件原创 2022-08-10 11:49:16 · 385 阅读 · 2 评论 -
linux下如何安装python以及一些注意事项
linux下如何安装python,以及一些注意事项原创 2022-07-22 17:33:02 · 1179 阅读 · 0 评论 -
linux下安装python虚拟环境的两种方法
linux下如何安装python:virtualenv和conda两者的优缺点原创 2022-07-22 17:10:17 · 2841 阅读 · 0 评论 -
模型格式转换
albert模型TensorFlow转pytorch格式代码见github原创 2022-02-28 16:16:31 · 617 阅读 · 0 评论 -
requirements.txt文档生成利器之pipreqs
pipreqs 的好处是:相比直接用 freeze 命令,能直接隔离其它项目的包生成pipreqspip install pipreqs pipreqs . --encoding=utf8 -force老办法:pip install freeze pip freeze >requirements.txt原创 2022-01-11 11:28:24 · 316 阅读 · 0 评论 -
datetime/time的常用用法
import datetimeimport time# 天数的加减mytime = datetime.date.today()mytime = mytime - datetime.timedelta(days=1)# str转datetimet_day = '2020-03-12'datetime.datetime.strptime(t_day, "%Y-%m-%d")# datetime获取天级别的日期mydate.date()# 获取当前时间time_local =原创 2022-01-18 15:18:00 · 252 阅读 · 0 评论 -
python异常处理/try except
REF:https://www.runoob.com/python/python-exceptions.html1.直接跳过try: xxexcept: pass2.抛出错误try: xxexcept: print( {"msg": "input format error,detail is {}".format(traceback.format_exc()), "code": -1, "data": {}} )原创 2021-09-08 12:03:10 · 101 阅读 · 0 评论 -
psrecord安装
pip install psrecordref:https://github.com/astrofrog/psrecordFAQ:1、unable to execute ‘gcc’: No such file or directory?sudo apt-get install gcc python3-dev2、仓库 “http://mirrors.aliyun.com/ubuntu gutsy Release” 没有 Release 文件?ref:https://www.cnblogs.com原创 2020-07-30 12:09:31 · 306 阅读 · 0 评论 -
python编程要点
refhttps://www.python.org/dev/peps/pep-0008/https://www.python.org/dev/peps/pep-0020/原创 2021-08-03 11:30:22 · 121 阅读 · 0 评论 -
NLP数据预处理
数据拆分from sklearn.model_selection import train_test_splittrain_data, dev_data = train_test_split(raw_data,random_state=1,test_size = 0.25)原创 2021-07-08 18:23:57 · 212 阅读 · 0 评论 -
【FAQ】roberta‘s vocab file must a json file/中文roberta使用方法
在使用transformers中,使用中文roberta预训练模型,出现如下:roberta’s vocab file must a json fileroberta模型加载失败1.how?官网https://huggingface.co/hfl/chinese-roberta-wwm-ext介绍预训练模型使用方法https://github.com/ymcui/Chinese-BERT-wwm中提到①依托于Huggingface-Transformers 2.2.2,可轻松调用以上(RBT,原创 2021-05-11 11:01:44 · 762 阅读 · 0 评论 -
python中xls与xlsx格式互转
1.pyexcel# 安装包pip install pyexcel pyexcel-xls pyexcel-xlsx# 代码import pyexcel as pp.save_book_as(file_name='your-file-in.xls', dest_file_name='your-new-file-out.xlsx')2.pyexcel-cli$ pip install pyexcel-cli$ pyexcel transcode your-fi原创 2021-05-06 16:26:35 · 777 阅读 · 0 评论 -
pytorch conv1d原理说明
conv1d原理说明总结:以文本为例,conv1d是将文本的序列长度维度和embedding维度进行压缩,序列长度这一维按照正常的CNN压缩,embedding维度压缩为1Ref:https://blog.csdn.net/sunny_xsc1994/article/details/82969867conv1d官方接口Link:https://pytorch.org/docs/stable/generated/torch.nn.Conv1d.html?highlight=conv1d#torch.原创 2021-03-01 10:51:33 · 6258 阅读 · 0 评论 -
爬虫入门
1、获取网页内容1)get方法,直接获取response = requests.get(url).content.decode('utf-8')2)get方法,指定header内容url = '‘ # 指定浏览器代理,可以通过浏览器查看;也可以指定其他信息,headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Ch原创 2020-12-26 14:37:50 · 146 阅读 · 0 评论 -
python时间操作
须知通常的时间戳是从1970-01-01 00:00:00开始算的格式化操作默认时间格式修改datetime.datetime(2020, 12, 10, 14, 55, 36, 705048) --> '2020-12-10 14:55:24'now=datetime.datetime.now()now.strftime('%Y-%m-%d %H:%M:%S')时长格式化比如:52950 -> 00:55:24def ms2hms(ms): import time原创 2020-12-10 15:33:35 · 162 阅读 · 0 评论 -
flask+gunicorn 实现一个简单的支持多并发服务
参见:https://github.com/aiainui/server_by_flask.git原创 2020-10-19 20:04:36 · 280 阅读 · 0 评论 -
Mac&python安装FAQ
Q: Library not loaded: @rpath/libsodium.23.dylib?A:# 先卸载conda uninstall libsodium# 后安装conda install libsodium原创 2020-09-07 18:40:41 · 262 阅读 · 0 评论 -
python封装json/解析json/读写json
读jsonwith open("test.json",'r', encoding="utf-8") as load_f: # 读json并且转为dict load_dict = json.load(load_f)写jsonwith open("test.json", "w", encoding='utf-8') as f: # json.dump(dict_var, f) # 写为一行 json.dump(dict_var, f,indent=2,sort_keys=Tr原创 2020-09-03 14:53:11 · 871 阅读 · 0 评论 -
python发邮件(带附件)
通过zmail包发邮件,如下以qq邮箱为例#coding: utf-8#author: dyl#date: 2020/8/27 2:35 下午#IDE: PyCharmimport zmailimport smtplib #加载smtplib模块from email.mime.text import MIMETextfrom email.utils import formataddrfrom email.mime.multipart import MIMEMultipart原创 2020-08-29 22:41:21 · 331 阅读 · 0 评论 -
pandas处理excel/csv文件数据
读文件import pandas as pddf = pd.read_excel('test.xlsx')获取数据# 获取数据并转listdata = df.values.tolist()# 获取表头名head_names = list(testset1.columns)写文件# data_lists 数据:二维数组# header_list 表头:一位数组data_lists = [[1,2,3],[4,5,6]]header_list = ["列名1","列名2","列名原创 2020-08-18 12:22:51 · 1511 阅读 · 0 评论 -
python常见方法汇总
sorted方法对字典排序def sorted_by_value(dict_data, reverse=True): """ 字典按值降序排序 :param dict_data: dict数据 :reverse 控制是否升降序 :return: 返回排好序的词典,(python3.6版本以后,词典有序并且可排序) """ return dict(sorted(dict_data.items(), key=lambda x: x[1], reve原创 2020-08-18 11:14:25 · 243 阅读 · 0 评论 -
pyecharts实战之树图
简易版code:# 简易版import osimport jsonfrom pyecharts.charts import Treefrom pyecharts import options as optsdata = [{ "name": "flare", "children": [ { "name": "flex", "children": [ {"name": "FlareV原创 2020-05-12 19:49:45 · 3052 阅读 · 0 评论 -
【python性能测试】line_profiler每行代码的耗时统计/空间占用/整体性能分析
安装line_profilerpip install line_profiler -i https://pypi.tuna.tsinghua.edu.cn/simple# 参考 https://github.com/pyutils/line_profiler添加@profile想统计那个方法的耗时,就在方法头添加装饰器@profile,如下所示:ex:test.pyfrom line_profiler import LineProfiler@profiledef test(self):原创 2020-05-09 18:21:56 · 1051 阅读 · 0 评论 -
pyecharts实战之直方图
code:from pyecharts.charts import Barfrom pyecharts import options as optsy_data = [1,2,3,4,5,6,7,8]x_data = [10,2,3,4,5,6,7,8]bar = ( Bar() .add_xaxis(x_data) .add_yaxis("", ...原创 2020-05-08 15:08:04 · 4350 阅读 · 0 评论 -
mac在conda虚拟环境安装jupyter & 使用
安装conda for macsh Anaconda3-5.2.0-Linux-x86_64.sh#next,...,yes ...(如果yes失败请输入no)cd ~/anaconda3/#重命名,防止与系统默认的同名mkdir bin_backcp bin/python bin_back/python3cp bin/pip bin_back/pip3#确保python和pip已...原创 2020-05-06 18:41:39 · 1119 阅读 · 0 评论 -
python与字符编解码
0 初识进制字符在计算机世界是以0和1表示的,他们有着一一对应的关系,所以我们从二进制认起进制一般表示Python表示其他2进制0011 01010b0011 01018进制650o65\065 \6516进制350x35\x3510进制5353ps: 加"\"来转义常见的那些不能显示的ASCII字符,同时它已经不是传统意...原创 2020-04-09 23:07:33 · 344 阅读 · 0 评论 -
python/shell文件下载/断点续传
shellwget http://xxx.xxx.xxxpython断点续传# -*- coding: utf-8 -*-# 断点续传import sysimport requestsimport osimport time# 屏蔽warning信息requests.packages.urllib3.disable_warnings()def download...原创 2020-03-15 23:47:19 · 564 阅读 · 0 评论 -
python面向对象编程
参考资料https://www.cnblogs.com/CYHISTW/p/10966448.htmlhttps://www.runoob.com/python/python-object.html原创 2020-01-19 16:06:27 · 231 阅读 · 0 评论 -
python多线程编程
0 前言全局解释锁(GIL)在python多线程编程学习之前,十分有必要了解下什么叫python的全局解释锁(GIL),这里我简单介绍下这个锁的作用:任何一个时间点只有一个线程处于执行状态多个CPU核的多线程框架下都只允许一次运行一个线程看到上面两个说明,简直崩溃,单核只允许一个线程执行我就忍了,多核也是一样,简直不能忍,所以在做某一任务时,我们需要如下考虑:1) 假设我们的机器是...原创 2020-01-14 12:27:04 · 280 阅读 · 0 评论 -
视频抽音频 相关操作(ffmpeg)
视频中抽音频[python]# -*- coding: utf-8 -*-from moviepy.editor import *import timestart = time.clock()def audio_extract(video_path, audio_path): # 如果有同名的音频文件,先删除 if os.path.exists(audio_path)...原创 2020-01-08 18:04:01 · 504 阅读 · 0 评论 -
conda虚拟环境相关操作-创建/查看/删除/激活/安装等
虚拟环境相关查看所有虚拟环境conda info --envs新建虚拟环境conda create -n myenv python=3.6删除虚拟环境conda remove -n myenv --all激活虚拟环境conda activate myenv退出虚拟环境conda deactivate myenv添加源conda config --add channels h...原创 2019-12-02 16:57:33 · 579 阅读 · 0 评论 -
python 操作mysql
这里遇到问题的话很有可能是中文显示乱码的问题:在链接数据库时,设置utf8即可,下面两个资料都有设置,所以按照下面的教程是没有什么问题的。 参考资料: 1,菜鸟教程 http://www.runoob.com/python/python-mysql.html 2,他人博客 https://blog.csdn.net/sdutacm/article/detai...原创 2018-04-16 15:40:38 · 142 阅读 · 0 评论 -
Miniconda及其TensorFlow安装及入门
安装conda,安装Miniconda3-latest-Linux-x86_64.sh就行了,命令如下(两步):#第一步,安装mincondash Miniconda3-latest-Linux-x86_64.sh#接下来next-->yes-->yes#第二步,激活source .bashrc#第三步,安装TensorFlowconda install tensorflow-原创 2018-01-24 14:17:34 · 2034 阅读 · 0 评论 -
【聚类】kmeans文本聚类实施过程
1、训练词向量参考资料url:http://www.52nlp.cn/中英文维基百科语料上的word2vec实验①准备数据,这里假设使用wiki百科的1G数据,其中需要做一个繁体转简体,转格式为utf8,分词过程,参见上面的博客,这里我已经转好了,下载地址见百度网盘:https://pan.baidu.com/s/1htn3gig passwd:d6ss。②安装好python以及对应的...原创 2018-02-03 16:54:45 · 1386 阅读 · 5 评论 -
文本去重(python&shell)
python:def TextDR(sourcepath,destpath): sum = 0 sum_pre = 0 addrs = set() with open(sourcepath, 'r',encoding='utf8') as scan_file: for line in scan_file.readlines():原创 2018-01-31 11:10:31 · 409 阅读 · 0 评论 -
Excel数据快速导入mysql的几个办法
有时候需要批量插入一批数据到数据库,有很多种办法,这里我用到过三种办法:1、通过Excel直接生成insert语句=CONCATENATE("insert into aisee_pingfen_fengcai(id,order_n,department,subject_n,teacher_name) values('",A1,"','",B1,&原创 2018-05-15 12:00:19 · 56040 阅读 · 13 评论