python
关注
分享
扫一扫
文章平均质量分 57
NeverLate_gogogo
毕业于北京理工大学，对python有比较深刻的研究。最近在模型引擎一体化平台，从零开始，现在已经初见雏形了。主要包括模型开发版本管理平台，培训认证平台（用于对员工模型开发基础知识的培训），以及模型引擎平台（分布式模型服务，自动化部署、跑批等），智能服务网关（微服务相关，作为全部微服务的流量控制平台、日志日路平台），日志分析平台，监控平台等。涉及比较多，目前项目成员共8个人。2个后端，负责人是大牛，啥都懂，基本不会的他都能帮解决。对标负责人，希望自己能快速成长。
在不增加成员的情况下，感觉这个大项目应该至少要3年的开发与迭代，才可能真正达到满意效果。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
linux安装mysqlclient
yum install mysql-develpip3 install mysqlclient原创 2022-01-23 19:57:30 · 3065 阅读 · 1 评论 -
python基础：如何从数据库加载代码并运行
前言最近在做一个微服务网关的项目。大概就是下面这张图，当然这是比较笼统的一张图，其实还有很多功能，但是今天它不是重点，所以就不多说它了。这个微服务网关项目其中的一些功能：（1）代理下游客户端发来的请求到微服务，并获取response后返给用户（2）记录下request、response、trace、exc_info等等的日志那么关于日志这里，大家可以参考一下。为了避免数据库压力过大，加了一层日志队列。从gateway产生的日志会先写入日志队列中，commiter模块定时从日志队列中取走日原创 2021-02-09 20:30:28 · 1546 阅读 · 0 评论 -
python基础：泛型Generic的坑-注意它只是提示符，而不能真正schema
目录前言一、证明Generic无法shema二、项目中遇到了什么问题，怎么解决的前言在写项目的时候，我实现了一个泛型容器，希望能够用来兼容多个实体的shema。但是这时候出问题了，我发现通过Generic容器传入的schema参数并没有什么用？这是为什么呢？原因就在于：泛型只是一个hint，可以帮助提示你应该输入什么类型的参数以及可以提示ID E此处应该传入什么参数，从而提醒你是否出错的参数。但是泛型（包括typing里的所有变量）并无法帮助你完成schema的功能。所以，.原创 2021-01-08 21:35:45 · 11377 阅读 · 4 评论 -
python基础： os.path.realpath()、os.path.getcwd()、 os.path.abspath() 的区别
目录前言一、realpath、getcwd、abspath各是干嘛的？二、常用应用场景前言在写代码过程中，经常会遇到 realpath、getcwd、abspath。但是对于他们的区别就傻傻分不清楚，对于他们应该在什么场景就更是不知道了。今天特别记录一下，今后有据可依。一、realpath、getcwd、abspath各是干嘛的？realpath 1、获取代码所在的脚本文件的绝对路径(用的多) 2、获取当前应用的真实路径，而非软连接路径(用得少) ab...原创 2020-12-28 15:47:50 · 6605 阅读 · 1 评论 -
python基础：4种uuid详解
目录1、 uuid是什么？2、uuid的组成3、uuid的分类3.1 uuid13.2 uuid43.3uuid3、uuid51、 uuid是什么？UUID stands forUniversally Unique IDentifier. It's a 128-bit value used fora unique identificationin software development。UUID代表通用唯一标识符。它是一个128位的值，用于软件开发中的唯一标识。...原创 2020-12-21 15:19:52 · 6088 阅读 · 0 评论 -
python基础：Python判断文件是否存在的三种方法(os.path.exsist, os.path.isfile, try-catch)
博客原文:http://www.spiderpy.cn/blog/detail/28前言：通常在读写文件之前，需要判断文件或目录是否存在，不然某些处理方法可能会使程序出错。所以最好在做任何操作之前，先判断文件是否存在。这里将介绍三种判断文件或文件夹是否存在的方法，分别使用os模块、Try语句、pathlib模块。一、使用os模块os模块中的os.path.exists()方法用于检验文件是否存在判断文件是否存在import osos.path.exists(t...原创 2020-10-28 15:53:22 · 77299 阅读 · 0 评论 -
python基础：isinstance的使用
前言：这个知识点比较低级，只是在这里记录一下，以防自己忘记了。以前只知道isinstance(some_variable, some_type)，后来在看flask源码时，发现了了另一种用法：>>> a = 50>>> b = "ok">>> string_type = (str, int) # 注意必须是tuple>>> isinstance(a, string_type)True>>原创 2020-10-28 10:55:48 · 519 阅读 · 0 评论 -
python基础-flask源码中使用的模块：sys.module的使用和场景
前言最近在做一件事情：把flask的源码通读一遍。虽然对flask的运行原理已经比较理解了。但是看了一些代码，发现有很多用法都很有借鉴意义。并且有很多基础模块自己还是不会用。所以决定细细的看一遍flask源码。一、sys.module的使用sys.module是一个全局的字典，在初始化python后就已经加载到内存了。比如我们使用的平时的模块，其实早就在module里面记录了。如下：import sysprint(sys.modules.get("random"))# 输出<原创 2020-10-20 13:58:50 · 845 阅读 · 0 评论 -
python基础：logging模块的使用
前言在项目中我们用到logging模块的地方非常之多，一个好的日志格式可以为我们的后期排查bug的工作带来很多方便，所以logging能使用好是非常重要的。这篇文章中，主要讲一个比较好的logging日志的使用模式。在简单介绍logging的几个函数后，我会把这个模式的代码贴出来，供大家参考。这个模式也是我在项目中看到别人这样写，觉得不错，摘抄下来的。一、logging模块的用法logging模块的用法，一搜一大堆介绍，并且也比较简单，因此这里只是简单的说说。1、使用步骤配置日志信息原创 2020-08-24 18:42:36 · 738 阅读 · 0 评论 -
python基础：网络通信
前言本节只是对总体的python通信模块做一个总体的介绍，具体要查看哪个模块，请直接点击相应的文章链接。python用于网络通信的标准库主要有4个ipaddress socket select selectors他们的使用场景时什么呢？ipaddress 提供了一些类来验证、比较和处理 IPv4/IPv6网络地址，用的比较少socket比较底层，可以直接访问原生C套接字库，可以用于与任何网络服务通信，很常用。（多说一句，http、ws等等这些服务都可以用socket编程来模.原创 2020-08-06 19:11:35 · 422 阅读 · 0 评论 -
python基础：%r,%d,%s以及!r的使用
目录前言一、%r,%d,%s,%f的使用二、指定打印格式前言在我们打印日志时，经常会希望打印出格式化的日志，就会用到占位符。本文将介绍常用的：%r,%d,%s,f%以及!r的使用。一、%r,%d,%s,%f的使用%s其实就是 字符串的占位符 %d是整数的占位符（也可以传float参数，但是会被floor掉） %f是float的占位符 %r是原生字符串占位符%s其实就是 字符串的占位符>>> name = "weihua">>.原创 2020-08-03 16:14:55 · 5031 阅读 · 1 评论 -
python基础：inspect模块各函数的用法
目录前言一、inspect模块各函数的用法1、获取成员与判断2、获取源代码3、类与函数4、调用栈前言inspect函数主要用于以下四个方面 对是否是模块、框架、函数进行类型检查 获取源码 获取类或者函数的参数信息 解析堆栈由于我对解析堆栈还不是很熟悉，所以对其的介绍，今后再详细说明。一、inspect模块各函数的用法1、获取成员与判断1. inspect.getmembers(object[,predicate])第二个参数通常可以.原创 2020-08-02 22:14:58 · 36197 阅读 · 0 评论 -
python基础：all、any的用法，配合luigi源码中用到的场景
目录前言一、all和any的用法1、all的用法2、any的用法二、luigi源码中的活用all的实例前言最近在写项目中，用到了luigi，并且对luigi的scheduler要做一些改造。看luigi的源码时，发现了一个用到all的场景，感觉挺不过错的，特此记录下来。其实下面我摘自源码的一段代码更值得去学习，动态检测你输入的参数是否合法那么，本文还是先说all和any的用法。最后再上应用例子一、all和any的用法1、all的用法语法all(itera原创 2020-08-02 21:02:24 · 657 阅读 · 0 评论 -
python基础：isinstance的使用细节，以及常用类型判断所使用的包
numberstypingcollections前言isinstance相信大家都已经很熟悉了，对于他的用法和一些基本的操作，我们再做一个介绍。但是我今天最想和大家将的其实是isinstance(object, classinfo) 中的classinfo都有哪些类型，int、str、dict、bool、list等这些基本类型都是一些最基本的，本文将告诉大家一些常用的classinfo，以及isinstance它的内部到底是怎样一个判断机制。一、isinstance的基本使用1、原创 2020-07-28 19:09:44 · 5374 阅读 · 1 评论 -
python基础：queue模块的用法，重点介绍LifoQueue与queue_prioriry
目录前言一、LifoQueue二、PriorityQueue（优先队列）前言python内置的queue模块再作为消息队列使用时，是一个非常好用的模块。它好用最主要的原因就是：他是线程安全的，所以支持多线程消费。那么，它为什么是线程安全的呢？这篇文章中我只能跟你说，因为queue是基于锁机制实现的。具体的实现原理，请看我另外一篇文章：《python基础：queue实现的底层原理》针对queue中的put、get、put_nowait、get_nowait这种方法，本文就不详细介.原创 2020-07-28 10:24:48 · 3605 阅读 · 0 评论 -
python基础：python queue模块中，各个方法的使用介绍
后面补充原创 2020-07-28 10:24:02 · 587 阅读 · 0 评论 -
python基础：funtiontools total_ordering的用法
后面补充原创 2020-07-28 10:21:46 · 2465 阅读 · 0 评论 -
windows配置PYTHONPATH环境变量的方法
一、为什么要配置PYTHONPATHpython的程序架构是基于多文件系统的，一个python程序包含一个顶层文件和多个模块文件。除了标准库模块和安装的第三方库模块外，有时需要导入自己编写的模块文件。标准库模块和第三方库模块文件的导入，不需要特殊的设置，系统会从默认的模块搜索路径中找到模块文件。但当导入自己编写的模块时，且模块文件和顶层文件不在同一个路径下时，如何让计算机找到模块文件的位置呢？这时需要将模块文件的路径加入到python的模块搜索路径中去。最简单的方法就是使用PYTHONPAT原创 2020-07-27 17:18:33 · 20637 阅读 · 0 评论 -
python的__name__、__class__、__dict__、__module__、__qualname__，以及dir的含义与使用场景
目录前言实战1、__dict__2、__class__3、__name__4、__module__5、__qualname__前言在一些底层代码中，我们经常可以看到__name__/__class__等用法的存在，其实我们能从字面上的意思大概猜到各自的作用，但是具体不知到他们指向的是哪个对象。今天就统一记录一下。这些模块的功能我并没有去百度，我是直接去拿着python IDE去测试的，其实对于这种很简单的功能的测试，建议大家不要第一想法就是搜索引擎查找用法..原创 2020-07-23 09:55:10 · 5078 阅读 · 1 评论 -
python高级模块包之typing
前言最近在项目中使用fastapi框架编写后台接口时，用到了schema，而schema是用pydantic来进行验证的。pydantic中的数据验证使用到了typing中的很多模块，因此开始注意到这个typing。在网上查资料，并没有太多有价值的信息，基本上都是从python document中复制粘贴过来的。让人恼火的是，python document 对于 typing这个模块的使用的讲解，让人很难懂。因此特写此文，结合自己使用上的理解，来记录一下typing模块到底是怎么使用的。在typ原创 2020-07-10 11:40:05 · 4453 阅读 · 3 评论 -
python weakref的用法
首先提一点：大家遇到python模块的使用问题，尽可能去 python document去找答案。英文看不懂？只能说看看就懂了。书归正传，下文主要是我翻译于python document。能读懂引文的尽量去官网看。想要了解weakref，我们首先说一下python的垃圾回收机制稍后继续写...原创 2020-06-29 19:52:46 · 6993 阅读 · 1 评论 -
pandas.DataFrame()的基本操作
转自：https://blog.csdn.net/missyougoon/article/details/83268845感觉上pandas的DataFrame就像numpy中的矩阵，不过它拥有列名和索引名，实际操作起来会更方便一些。如：df = pd.read_clipboard()df.columnsdf.Ratingsimport numpy as npimport pa...转载 2019-03-19 18:51:27 · 231 阅读 · 0 评论 -
numpy中ndarray对象和pandas中DataFrame对象的索引方法及对比
转自：https://blog.csdn.net/s_o_l_o_n/article/details/80875804pandas库是基于numpy构建的，所以其中的数据类型具有许多的相似之处，这里我们研究ndarray和DataFrame这两种数据结构在索引方面的方法，并做一些基本的对比，以此让我们更好的记忆和理解相应的索引方法。先抛出结论：对于DataFrame对象，其只有直接的df[][...转载 2019-03-19 18:21:00 · 699 阅读 · 0 评论 -
python的执行过程总结
1、话不多说，先上流程图，这个流程图包含了python的所有执行过程。2、总结有以下三点： Python的执行过程：先编译成字节码，然后再解释执行 .pyc文件的作用是提高下次的执行效率 .py和.pyc文件都可以交给解释器直接处理，只是处理步骤不太一样...原创 2019-01-28 14:55:09 · 2317 阅读 · 0 评论 -
自己总结的python数据类型-操作-常用函数-注意事项等-基于xmind
1、总结了 数值、字符串、 列表、 元组、 字典、 集合、 时间日历、 迭代器。2、基本涵盖其所有操作方法与注意事项3、注意，此版本基于python3.x4、总结基于xmind，如需原文件，请自行下载 https://download.csdn.net/download/neverlate_gogogo/109470175、后面还会更新类的内容话不多说直接上...原创 2019-02-01 10:38:02 · 441 阅读 · 0 评论 -
如何简单地理解Python中的if __name__ == '__main__'
转自：https://blog.csdn.net/yjk13703623757/article/details/77918633/1. 摘要通俗的理解__name__ == '__main__'：假如你叫小明.py，在朋友眼中，你是小明(__name__ == '小明')；在你自己眼中，你是你自己(__name__ == '__main__')。if __name__ == '__ma...转载 2019-01-02 11:32:16 · 369 阅读 · 0 评论 -
Python中MongoDB使用
转自https://www.cnblogs.com/baby123/p/7479882.htmlMongoDB的层级为 database -->collection --> document安装MongoDB，启动mongo服务PyMongo模块是Python对MongoDB操作的接口包，主要实现对MongoDB的几种操作：增删改查以及排序等功能安装Python的mon...转载 2018-12-27 18:04:28 · 143 阅读 · 0 评论 -
关于Python里split()函数的用法
转自：https://blog.csdn.net/three_co/article/details/78335709str.split(s,num)s-->代表分隔符，不写则默认为所有的空字符，包含空格、换行(\n)、制表符(\t)等num-->代表分割次数返回值：分割后的字符串列表。（是一个list）实例：>>> s = 'helloworld ...转载 2018-12-27 17:43:09 · 1441 阅读 · 0 评论 -
Python中 with open(file_abs,'r') as f: 的用法以及意义
转自https://www.cnblogs.com/tianyiliang/p/8192703.htmlPython内置了读写文件的函数，用法和C是兼容的。本节介绍内容大致有：文件的打开/关闭、文件对象、文件的读写等。 本章节仅示例介绍 TXT 类型文档的读写，也就是最基础的文件读写，也需要注意编码问题；其他文件的读写及编码相关详见专题的博文。 open() close(...转载 2018-12-27 17:13:10 · 55136 阅读 · 0 评论 -
numpy中的ndarray与pandas的Series和DataFrame之间的相互转换
简介在数据分析中，经常涉及numpy中的ndarray对象与pandas的Series和DataFrame对象之间的转换，让大家产生困惑。本文将简单介绍这三种数据类型，并以股票信息为例，给出相关对象之间转换的具体示例。ndarray数组对象NumPy中的ndarray是一个多维数组对象，该对象由两部分组成：实际的数据； 描述这些数据的元数据。大部分的数组操作仅仅修改元数据...原创 2019-03-19 19:04:32 · 565 阅读 · 0 评论 -
PCA算法的目的、作用、进程解析
如果要理解PCA详细推导算法，下面链接文章非常优秀，通俗易懂http://blog.codinglabs.org/articles/pca-tutorial.html１、降维是什么要理解什么是降维，书上给出了一个很好但是有点抽象的例子。说，看电视的时候屏幕上有成百上千万的像素点，那么其实每个画面都是一个上千万维度的数据；但是我们在观看的时候大脑自动把电视里面的场景放在我们所能理解的三维...转载 2019-03-20 11:30:41 · 6854 阅读 · 0 评论 -
Python中__repr__和__str__区别
转自：https://blog.csdn.net/luckytanggu/article/details/53649156看下面的例子就明白了class Test(object): def __init__(self, value='hello, world!'): self.data = value>>> t = Test()>&g...转载 2019-07-05 15:50:32 · 230 阅读 · 0 评论 -
python3大作战之encode与decode讲解---转载
转自：https://blog.csdn.net/qq_29053519/article/details/79170519这篇文章写得很好，关于decode()和encode() 得用法。大家好，很久没更新了，也是年底了最近比较忙，同时也在研究python的其他内容，毕竟是python小白，自学道路艰难。好了今天和大家一起探讨下python3编码过程中对的一些转码事宜。python...转载 2019-06-21 17:07:27 · 366 阅读 · 0 评论 -
尾递归是什么？效率高很多
这篇文章转过来的：https://www.cnblogs.com/zhanggui/p/7722541.html了解尾递归之前，先了解一下尾调用。function foo(data) { a(data); return b(data);}这里的a(data)和b(data)都是函数调用，但是b(data)是函数返回前的最后运行的东西，所以也是所谓的尾位置。例如：...转载 2019-06-21 15:32:56 · 2286 阅读 · 0 评论 -
NLP文本相似度(TF-IDF)的原理剖析
本篇博文是数据挖掘部分的首篇，思路主要是先聊聊相似度的理论部分，下一篇是代码实战。 我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到一个动作——双方的比较。只有通过比较才能得出结论，究竟是相同还是不同。但是万物真的有这么极端的区分吗？在我看来不是的，生活中通过“相似度”这词来描述可能会更加准确。比如男人和女人，虽然生理器官和可能思想有些不同，但也...转载 2019-03-30 16:25:12 · 1401 阅读 · 0 评论 -
带你搞懂朴素贝叶斯分类算法-好文-讲明了贝叶斯原理的实现
链接：https://blog.csdn.net/amds123/article/details/70173402转载 2019-03-23 10:59:10 · 411 阅读 · 0 评论 -
用python3读csv文件，出现中文乱码-解决方法
转自：https://blog.csdn.net/moledyzhang/article/details/78978312出现原因：文件不是 UTF8 编码的，而系统默认采用 UTF8 解码。解决方法是改为对应的解码方式。解决办法： 找到csv文件–》右键–》打开方式–》记事本 打开记事本之后，选择头部菜单的“文件–》另存为”，可以看到文件的默认编码格式为ANS...转载 2019-03-18 20:41:22 · 1380 阅读 · 0 评论 -
分类算法之决策树ID3详解
回顾决策树的基本知识，其构建过程主要有下述三个重要的问题：（1）数据是怎么分裂的（2）如何选择分类的属性（3）什么时候停止分裂从上述三个问题出发，以实际的例子对ID3算法进行阐述。先上问题吧，我们统计了14天的气象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天气是否打球(play)。如果给...原创 2019-03-24 20:30:14 · 2114 阅读 · 0 评论 -
Python爬虫 用urllib请求一个网页，响应的content中中文为16进制，如何转换为中文
问题：在学习Python爬虫一开始，利用python自带urllib模块请求一个网页时，响应的content中中文为16进制，如何转换为中文。环境：WIN10+Python3.6代码：#~ coding=utf-8#~ 使用Pyton内建模块 urllib 请求一个 URL 代码示例import sslfrom urllib.request import Requestfr...转载 2019-03-12 11:51:46 · 1880 阅读 · 0 评论 -
Python format函数的用法详解
原文转自：https://blog.csdn.net/it_python/article/details/810370781.通过位置来填充字符串print('hello {0} i am {1}'.format('world','python')) # 输入结果：hello world i am pythonprint('hello {} i am {}'.format('worl...转载 2018-12-26 18:01:04 · 412 阅读 · 0 评论