
python
javastart
专注于大数据 AI
展开
-
Pyzmq介绍
ZMQ (以下 ZeroMQ 简称 ZMQ)是一个简单好用的传输层,像框架一样的一个 socket library,他使得 Socket 编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ 的明确目标是“成为标准网络协议栈的一部分,之后进入 Linux 内核”。ZMQ 让编写高性能网络应用程序极为简单和有趣。ZeroMQ并不是一个对socket的封装,不能用它去实现已有的网络协议。它有自己的模式,不同于更底层的点对点通讯模式。它有比tcp协议更高一.原创 2022-01-09 11:23:18 · 133 阅读 · 0 评论 -
python pip download_Python Pip 参考手册 - pip download 命令
python pip download_Python Pip 参考手册 - pip download 命令weixin_39649405 2020-12-13 13:41:19613 正在上传…重新上传取消 收藏 2文章标签: python pip download版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:python pip download_Python Pip 参考手册 - pip downloa...转载 2021-09-10 15:52:03 · 442 阅读 · 0 评论 -
2020年最流行Python web开发框架(上)
https://zhuanlan.zhihu.com/p/163126043引言Python使用热度正在不断攀升。而且,可见的未来对Python的需求肯定只增不减,并且不会在短期内出现减弱的迹象。可以预见在预计在未来的几年中,Python将超过Java和C#。当今许多大型科技公司,例如Google,Netflix,Instagram,都在选择基于Python框架进行网络开发。“ Python在过去5年中增长最快,增长了19.0%。实际上,TIOBE索引使python Web应用程序开发在世...转载 2021-04-12 18:52:31 · 850 阅读 · 0 评论 -
本地python库与其离线包批量导出以及python第三方库快速批量安装
本文链接:https://blog.csdn.net/weixin_43843003/article/details/98619962版权本文将介绍如何将本地python库与其离线包批量导出以及python第三方库快速批量安装本地python库列表导出先使用cd path进入到你需要保存列表文件的路径,path为所需路径使用pip freeze > requirement.txt 导出文件requirement.txt打开即可见本机已安装离线库列表离线库导出.转载 2021-03-22 17:36:12 · 707 阅读 · 0 评论 -
Linux性能优化-磁盘I/O延迟很高
目录安装环境分析问题安装环境安装 bcc,docker启动dockerservice docker start运行环境如下docker中有三个文件分别如下io_app.py#!/usr/bin/env python# -*- coding: UTF-8 -*-import osimport uuidimport randomimport shutilfrom concurrent.futures import ThreadPoolExecu...转载 2021-01-13 16:02:45 · 279 阅读 · 0 评论 -
Python数组优化-NumPy数组中大于某个值的所有元素
我有一个2D(二维) NumPy数组,并希望用255.0替换大于或等于阈值T的所有值。据我所知,最基础的方法是:shape = arr.shaperesult = np.zeros(shape)for x in range(0, shape[0]):for y in range(0, shape[1]):if arr[x, y] >= T:result[x, y] = 255有更简洁和pythonic的方式来做到这一点吗?有没有更快(可能不那么简洁和/或不那么py...原创 2020-12-25 18:43:58 · 5302 阅读 · 0 评论 -
[译] 通过优化 Gunicorn 配置提高性能
[译] 通过优化 Gunicorn 配置提高性能weixin_33877092 2019-05-25 04:56:03 1505 收藏 3 文章标签: python 运维 数据库最后发布:2019-05-25 04:56:03首次发布:2019-05-25 04:56:03原文链接:https://juejin.im/post/5ce8cab8e51d4577523f22f8版权原文地址:Better performance by optimizing Gunicorn c转载 2020-12-15 17:55:09 · 340 阅读 · 0 评论 -
[Python技巧]如何加快循环操作和Numpy数组运算速度
前言Python 虽然写起来代码量要远少于如 C++,Java,但运行速度又不如它们,因此也有了各种提升 Python 速度的方法技巧,这次要介绍的是用 Numba 库进行加速比较耗时的循环操作以及 Numpy 操作。在24式加速你的Python中介绍对循环的加速方法中,一个办法就是采用Numba加速,刚好最近看到一篇文章介绍了利用Numba加速 Python ,文章主要介绍了两个例子,也是Numba的两大作用,分别是加速循环,以及对Numpy的计算加速。...原创 2020-11-21 17:19:27 · 792 阅读 · 0 评论 -
python 输出日志到文件和控制台
python 输出日志到文件和控制台import logging # 第一步,创建一个loggerlogger = logging.getLogger()logger.setLevel(logging.INFO) # Log等级总开关 # 第二步,创建一个handler,用于写入日志文件logfile = './log2.txt'fh = logging.FileHandler(logfile, mode='a')fh.setLevel(logging.DEBUG) #原创 2020-11-20 23:19:30 · 639 阅读 · 0 评论 -
Python性能优化的20条建议
1、优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大,在Python中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式,总得来说,一般有分治,分支界限,贪心,动态规划等思想。2、减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。3、合理使用copy与deepcopy对于dict和list等数据结构的对象,直接赋值使用的是引用...原创 2020-11-14 22:16:05 · 127 阅读 · 0 评论 -
超强大!Python 可视化这款大屏就够了!
#Python可视化5个对于从事数据领域的小伙伴来说,当需要阐述自己观点、展示项目成果时,我们需要在最短时间内让别人知道你的想法。我相信单调乏味的语言很难让别人快速理解。最直接有效的方式就是将数据进行可视化展现。提到数据可视化,我们会想到 Plotly、Matplotlib、Pyecharts等可视化库,或者一些商用软件Tableau、FineBI等等。如果你希望操作更简单、展现效果更强大,那么这款工具big_screen更适合你了,本文介绍具体如下:•big_screen 特...原创 2020-10-23 13:10:34 · 1827 阅读 · 0 评论 -
filesplit的Python项目详细描述
模块 文件 方法 include 文件名 fs utf header split对python程序员来说,文件拆分变得很容易!一个python模块,可以将任何大小的文件分成多个块, 在不影响性能的前提下,充分利用内存。这个 模块根据 文件,因此不会将不完整的行写入文件拆分。这个 文件拆分编号从1到n,如下所示[文件名]_1.ext,[文件名]_2.ext,…,[文件名]_n.ext系统要求操作系统:windows/linux/macpython版本:python ...原创 2020-09-04 12:12:48 · 468 阅读 · 1 评论 -
Python Requests中异常总
1. 连接超时服务器在指定时间内没有应答,抛出 requests.exceptions.ConnectTimeoutrequests.get('http://github.com', timeout=0.001)# 抛出错误requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80): Max retries exceeded with url: / (Caused by ConnectT.转载 2020-07-28 14:17:03 · 313 阅读 · 0 评论 -
如何在数据流中轻松检测异常值-离群值
一种简单的方法,可通过Python实现在数据流中查找异常值在上一篇文章中,我解释了流算法的概念,并给出了许多如何应用流算法的示例。 其中之一是在不保存数据流元素的情况下计算数据流的滚动平均值。 现在,我想扩展这个示例,并在异常值检测的背景下向您展示另一种流算法的用例。当我们监视机器的功耗以检测任何异常行为时,可能会出现类似的问题。 如果我们发现异常值有所增加(异常观察),则可能表明这台机器的默认值,可能值得检查。定义和示例离群值可以通过多种方式定义。 在本文中,我们将使用以下定义:...转载 2020-05-26 12:23:19 · 1441 阅读 · 0 评论 -
使用Python「秒开」100GB+数据
本文转载自公众号量化投资与机器学习如果你50GB甚至500GB的数据集,打开他们都很困难了,更别说分析了。在处理这样的数据集时,我们通常采用3种方法。第一种对数据进抽样:这里的缺点是显而易见的,样本数据能否代表整个数据。第二种使用分布式计算:虽然在某些情况下这是一种有效的方法,但是它带来了管理和维护集群的巨大开销。想象一下,必须为一个刚好超出RAM范围的数据集设置一个集群,比...原创 2020-03-13 13:38:47 · 149 阅读 · 0 评论 -
python(+opencv2+numpy)对彩色图像的RGB通道提取、合成、显示并计算灰度图像
一、image中RGB通道提取,直接上代码很简单import cv2Import sysimport numpy as npimage = cv2.imread(sys.argv[1], cv2.IMREAD_COLOR)b = image[:, :, 0]g = image[:, :, 1]r = image[:, :, 2]也可以直接用opencv的split...转载 2020-02-29 22:31:44 · 900 阅读 · 0 评论 -
Python风格规范
分号Tip不要在行尾加分号, 也不要用分号将两条命令放在同一行.行长度Tip每行不超过80个字符例外:长的导入模块语句 注释里的URL不要使用反斜杠连接行.Python会将圆括号, 中括号和花括号中的行隐式的连接起来, 你可以利用这个特点. 如果需要, 你可以在表达式外围增加一对额外的圆括号.Yes: foo_bar(self, width, h...转载 2020-02-28 08:56:59 · 199 阅读 · 0 评论 -
OpenCV-Python学习笔记(一):图像读入、显示、保存,BGR模式转RGB模式
使用OpenCV-Python实现图像读入、显示与保存:# -*- coding: utf-8 -*-import cv2from matplotlib import pyplot as plt# # 第二个参数,0为灰度模式显示,1为彩色图像,默认值为1# img0 = cv2.imread(r'D:\OpenCV_Python\chepai.jpg', 0)# img1...转载 2020-02-01 08:46:20 · 3267 阅读 · 0 评论 -
Python3实现转换Image图片格式
首先图片格式转换的方法有很多,但是转二进制字节流的,我搜了一下午终于在 stackoverflow上搜到了说一下为什么要在线转这个图片格式额,一名Python3 spider, 需求要爬去文章,并且把里面的图片,上传到本公司的七牛云上面,意思就是,图片不需要下载到本地,爬取到图片url后,读取图片二进制数据,然后上传到自己公司七牛云上面,并且替换其格式(这一点很坑)上传图...转载 2020-01-04 14:34:24 · 513 阅读 · 0 评论 -
python pickle 模块的使用
这几天在研究图片怎样传入到http 参数中,搞了几天终于找到了一个完美解决方案,主要是对Pythony有些模块不了解用于序列化的两个模块 json:用于字符串和Python数据类型间进行转换 pickle: 用于python特有的类型和python的数据类型间进行转换 json提供四个功能:dumps,dump,loads,load pickle提供四个功能:dumps,...原创 2019-12-08 12:10:28 · 128 阅读 · 0 评论 -
Keras模型生产环境的部署[源码+教程]
项目地址:https://github.com/DataXujing/tensorflow-serving-Wechat1. 需要的系统环境(1)一台生产服务器,系统为CentOs6.5(ubuntu只需在此基础上做简单修改即可完成部署)(2)默认为Python2.X(CentOs6.5默认的Python安装版本,特别提醒,不要卸载该版本,因为很多命令行函数基于Python2.X...转载 2019-11-03 17:53:47 · 1056 阅读 · 0 评论 -
基于 Python 使用 CNN 实现身份证汉字和数字识别
摘要: 背景与目标 光学字符识别 ( Optical Character Recognition, OCR ) 是将图像中的手写或打印文本转换为机器编码文本,以获取图像中文字及版面信息的过程。其目的是将图片中的文字识别出来,以便进一步对文字进行处理。背景与目标光学字符识别 ( Optical Character Recognition, OCR ) 是将图像中的手写或打印文本转换为机...转载 2019-01-14 19:42:03 · 4209 阅读 · 4 评论 -
Python中plt.imshow(image)无法显示图片解决办法
2018年11月15日 19:40:45 sy20173081277 阅读数:1931.如果无法显示出图片如下图:但是明明plt.imshow()可以打印出来图像的数字形式,但是就是无法可视化的显示出来,这个时候有一种解决的办法如下所示:可能是调用的库的中不同模块导致的问题。 matplotlib通过pyplot模块提供了一套和MATLAB类似的绘...转载 2019-01-17 12:13:00 · 6622 阅读 · 1 评论 -
[AI开发]Python+Tensorflow打造自己的计算机视觉API服务
"与其停留在概念理论层面,不如动手去实现一个简单demo 。" ——鲁迅没有源码都是耍流氓github前言目前提供AI开发相关API接口的公司有很多,国外如微软、谷歌,国内的百度、腾讯等都有开放API接口。开发者只需要调用相关接口,几步就能开发出一个“智能APP”。通常情况AI接口有以下几类:计算机视觉 图像分类、图像目标检测以及视频检测跟踪等等。这类...转载 2018-11-11 19:06:18 · 523 阅读 · 0 评论 -
Python——解决numpy导入出错问题
NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多。但是在使用Numpy时可能出错:ImportError: No module named numpy,解决办法,下载安装对应版本的Numpy程序。我的Python版本为2.7-64bit,可以下载对应的Numpy安装即可。Python-Numpy2.7 64位版本: ...转载 2018-04-06 18:42:54 · 10913 阅读 · 0 评论 -
python2.7版本在win7、64位系统安装遇到的问题
1、第一次安装时出现错误如下“An error occurred during the installation of assembly 'Microsoft.VC90.CRT,version="9.0.30729.1",publicKeyToken=........"解决方法:1. 先卸载旧版python和相应库,删除安装文件夹,要确保卸载干净2. 装2.7.13版本去官网找64位系统的安装文件...转载 2018-04-06 17:15:19 · 350 阅读 · 0 评论 -
Python的import导入与时间
Python的import导入与时间一、模块与包 模块,在Python可理解为对应于一个文件。在创建了一个脚本文件后,定义了某些函数和变量。你在其他需要这些功能的文件中,导入这模块,就可重用这些函数和变量。一般用module_name.fun_name,和module_name.var_name进行使用。这样的语义用法使模块看起来很像类或者名字空间,可将module_name 理解为名字...转载 2019-02-11 21:24:41 · 2781 阅读 · 0 评论 -
深度学习与计算机视觉-6章 Python-OpenCV
给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCVhttps://blog.csdn.net/a119258/article/details/78225351的番外篇,因为严格来说不是在讲Python而是讲在Python下使用OpenCV。本篇将介绍和深度学习数据处理阶段最相关的基础使用,并完成4个有趣实用的小例子:- 延时摄影小程序- 视频中截屏采样的...转载 2019-03-02 17:20:54 · 643 阅读 · 0 评论 -
python PIL 图像处理
Image读出来的是PIL的类型,而skimage.io读出来的数据是numpy格式的#Image和skimage读图片import Image as imgimport osfrom matplotlib import pyplot as plotfrom skimage import io,transformimg_file1 = img.open('./CXR_png/...转载 2019-03-04 19:16:41 · 734 阅读 · 0 评论 -
OpenCV-Python-Tutorial/ch06-绘图函数/Drawing_UTF-8_strings.py
原网址:https://github.com/makelove/OpenCV-Python-Tutorial/blob/master/ch06-%E7%BB%98%E5%9B%BE%E5%87%BD%E6%95%B0/Drawing_UTF-8_strings.py # -*- coding: utf-8 -*- # @Time : 2017/7/23 下午9:1...转载 2019-04-11 12:49:28 · 218 阅读 · 0 评论 -
python模块和包
模块和包一 模块1 什么是模块? 常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀。 但其实import加载的模块分为四个通用类别: 1 使用python编写的代码(.py文件) 2 已被编译为共享库或DLL的C或C++扩展 3 包好一组模块的包 4 使用C编写并链接到python解释器的内置模...原创 2019-08-08 12:27:07 · 171 阅读 · 0 评论 -
Python3 模块路径问题彻解
让你的模块可用将模块放置在正确的位置,可用下面的函数查看“正确的位置”>>> pprint.pprint(sys.path)['', '/home/xx/$PYTHONPATH', '/usr/lib/python35.zip', '/usr/lib/python3.5', '/usr/lib/python3.5/plat-x86_64-linux-gnu...原创 2019-08-06 20:47:01 · 1029 阅读 · 0 评论 -
如何降低 Python 的内存消耗量?
原文链接:https://data.newrank.cn/m/s.html?s=PigpOzA/LTE%3D在程序执行期间,如果内存中存在大量处于活动状态的对象,就有可能出现内存问题,尤其是在可用内存总量有限的情况下。在本文中,我们将讨论通过缩小对象大幅减少Python所需内存量的方法。作者 |intellimath译者 |弯月,责编 | 郭芮出品 | CSDN(...转载 2019-08-09 12:33:05 · 396 阅读 · 0 评论 -
Pycharm及python安装详细教程
首先我们来安装python1、首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载。2、下载完成后如下图所示3、双击exe文件进行安装,如下图,并按照圈中区域进行设置,切记要勾选打钩的框,然后再点击Customize installation进入到下一步:4、对于上图中,可以通过Browse...转载 2018-04-06 16:46:25 · 389 阅读 · 0 评论