python系列
文章平均质量分 50
python系列
IE06
运筹+大数据+深度学习+机器学习+图像
展开
-
python系列30:各种爬虫技术总结
以巴鲁夫产品为例,可以用get请求获取内容:对应的网页为:使用简单方法进行解析即可。原创 2024-06-28 08:29:59 · 651 阅读 · 1 评论 -
python系列29:压测工具locust
然后打开web页面:点击start,会执行脚本代码,调用hello和world接口。ramp-up的设置,一般而言:100以内的并发用户数,ramp-up时间设置为1-2s;100-500左右,rramp-up时间设置为2-3s;500以上,ramp-up时间设置为5-10s。原创 2024-06-03 10:52:14 · 918 阅读 · 0 评论 -
python系列28:fastapi部署应用
FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架,类似flask,Django,webpy在部署时可能需要用到下面的库:Uvicorn 或者 Hypercorn负责ASGI 服务器。Starlette 负责 web 部分。Pydantic 负责数据部分。都用pip install安装即可。原创 2024-01-15 13:59:26 · 869 阅读 · 0 评论 -
python系列27:jupyter转web app的工具Mercury
官网:https://runmercury.com/Mercury可以将 Jupyter Notebook 呈现为 Web 应用程序。类似的package还有streamlit和voila使用import mercury as mr进行安装。Mercury的页面分为左边的输入部分,和右边的输出部分,下面是极简例子:在命令行输入mercury run,可以启动客户端常用指令如下:运行Mercury Server:mercury run运行示例notebooks:mercury run demo添原创 2023-06-12 00:40:57 · 1215 阅读 · 0 评论 -
python系列26:numpy稀疏矩阵笔记
采用三元组(row,col,data)(或称为ijvformat)的形式来存储矩阵中非零元素的信息。coo_matrix的优点有利于稀疏格式之间的快速转换(tobsr()、tocsr()、to_csc()、to_dia()、to_dok()、to_lil();允许重复项(格式转换的时候自动相加);能与CSR/CSC格式的快速转换coo_matrix的缺点不能直接进行算术运算,包括赋值。...原创 2022-07-31 10:56:56 · 4163 阅读 · 0 评论 -
python系列25:使用selenium进行自动化网页操作
python中requests发送请求后,没有办法执行里面的javascript代码,因此有很多信息会爬取不到。这里有个自动化测试的工具selenium,可以模拟网页打开的过程。使用pip install即可安装。原创 2022-06-16 11:10:09 · 674 阅读 · 0 评论 -
python系列24:用python爬取ajax请求
使用F12打开chrome的开发者界面,然后执行一遍页面,我们能看到:点击执行时间最长的ajax请求,我们就能看到真实的请求(headers里)和参数(payload里)了url:Header中的request urlheaders:Header中的request headersparams:Payload中的Query String Parametersdata:Payload中的From Data对比上面的两张图,爬取页面信息的代码如下:......原创 2022-06-16 10:59:43 · 1423 阅读 · 0 评论 -
python系列23:张量操作库einops
1. 简介非常方便的张量转换库,支持numpy, pytorch, tensorflow, jax等主要有三个函数:rearrange, reduce, repeat。首先是基本模块,所有的功能都长这样:y = rearrange(x, 'b c h w -> b (c h w)')括号在->前面,表示这个维度的数据进行均等拆分;在->后面时,表示这个维度的数据进行堆叠合并。2. 功能2.1 rearrange最基本的功能莫过于“更换轴”,例如下图就是更换长与宽y =原创 2022-05-23 10:17:44 · 1682 阅读 · 0 评论 -
python系列22:sympy概述
1. 概述sympy是一个数学符号计算库。可使用pip进行安装。2. 简明使用1. 基础基本数据机构是符号(symbols),符号组合成表达式(function)。基本符号库abc: 所有拉丁、希腊字母库,例如from sympy.abc import x,yS:预定义数据结构,例如S.One, S.Zero, S.Half, S.true常用函数symbols: 变量声明。symbols(‘a:5’)表示a_0到a_4;symbols(‘a(1:3)(1:3)’)表示(a11,原创 2022-04-26 17:34:21 · 1825 阅读 · 0 评论 -
python系列21:python版本linked list
1. 介绍pip install pyllist进行安装,据称性能强于collections.deque和默认的Python lists,dllist是double linked list,sllist是single linked list。下面是常用方法:>>> from pyllist import dllist, dllistnode>>> lst = dllist([1, 2, 3]) # create and initialize a lis原创 2021-06-17 22:02:03 · 261 阅读 · 0 评论 -
python系列20:流水线框架pypeln
1. 起因要做如下的任务,每一阶段都是不确定时间的任务,因此需要合理分配gpu和cpu资源,串联成一个pipeline去操作。2. 上手安装pip install pypeln可以使用原创 2021-05-12 21:34:05 · 1698 阅读 · 2 评论 -
python系列19:通过ssh访问jupyter
云服务器只要开个外网接口,就会被挖矿的给盯上,连个2G内存的CPU服务器都不放过,真是累觉不爱。找了一下,竟然有通过ssh远程访问jupyter的方式,开搞。服务器上开端口,然后启动jupyter:jupyter notebook --no-browser --port=8080 --ip=*本地执行:ssh -N -f -L localhost:8888:localhost:8889 remote_user@remote_host其中: -N 告诉SSH没有命令要被远程执行; -f原创 2020-10-28 20:51:52 · 638 阅读 · 0 评论 -
python系列18:http请求异步版本
1. 基本方法multiprocessing我们经常需要其多线程去调用服务(比如拉取远程图片、调用远程计算服务),常用的方式无非是使用multiprocessing+requests,例如:from multiprocessing.dummy import Pool as ThreadPoolfrom tqdm import tqdmimport numpy as npimport os,json,requests,base64,structurl = "http://****:19863/te原创 2021-05-10 10:42:49 · 600 阅读 · 0 评论 -
python系列17:终端运行jupyter notebook
艾玛,真的很神奇啊,使用pip install nbterm进行安装。由于是命令行,没有按钮,所以必须记住快捷键。使用nbterm my_notebook.ipynb可以创建一个新的文本。1. 模式切换首先是模式切换:enter: 进入编辑模式esc: 进入控制模式两者的区别在于当前行的颜色,编辑模式是白色,控制模式是全黑。比如下面是控制模式:下面是编辑模式:2. 控制模式控制模式的快捷键如下:up: select cell above.down: select cell b原创 2021-05-21 14:17:31 · 887 阅读 · 0 评论 -
python系列16:使用visdom来进行趋势查看
这里需要实时查看模型优化的进度,使用visdom。1. 安装启动pip install visdom即可命令行输入visdom即可启动,可配参数如下:2. 基本案例import visdomimport timevis = visdom.Visdom()vis.text('这里是固定信息')# 下面是动态更新的趋势图for i in range(3): vis.line(Y=[10+i],X = [i],win = 'hello',update = 'append')原创 2021-04-12 16:29:19 · 212 阅读 · 0 评论 -
python系列15:web部署笔记
1. 框架1.1 webpy使用webpy框架,基本结构如下:import web# 定义url及对应的映射类urls = ( '/algorithm/video/decode','feature',...}# 启动wsgi应用app = web.application(urls, globals())application = app.wsgifunc()# 定义映射类class feature: def POST(self): paras =原创 2021-03-25 15:12:27 · 233 阅读 · 0 评论 -
python系列14:python中的视频处理
1. moviepymoviepy包是一个可以用于处理视频的很有用的库,由于国内资料比较少,在此做一个记录。首先,需要导入moviepy的包from moviepy.editor import *1.1 读取视频到内存vfc = VideoFileClip(path)# path为输入视频路径由此得到了一个VideoFileClip的对象,可通过对此对象的操作,得到想要的输出视频结果。1.2 对视频时长进行剪切vfc.subclip(time_1, time_2)time_1和time_2原创 2021-03-25 00:31:56 · 2005 阅读 · 0 评论 -
python系列13:python中Path常用功能
1. 基本功能建议使用pathlib模块来处理文件和文件夹,可以跨平台。pathlib提供path对象来操作,包括目录和文件。from pathlib import Pathp =Path() #输出格式。PosixPath('.')p =Path('a','b','c/d') #输出格式PosixPath('a/b/c/d')p =Path('/etc') #PosixPath('/etc')2. 路径拼接和分解使用操作符/进行路径拼接,有两种方式:① Path对象/Pat原创 2020-05-31 23:07:31 · 26769 阅读 · 0 评论 -
python系列12:jupyter notebook技巧
1. interact:最简单的交互使用value可以获得widget的值1.1 基本示例from ipywidgets import interact, interactive, fixed, interact_manualdef f(x): return x+10interact(f,x=20)可行参数如下:1.2 组合起来a = widgets.IntSlid...原创 2020-05-18 11:02:44 · 646 阅读 · 0 评论 -
python系列11:python的游戏引擎
2D的有pygame(可以做飞机大战之类的小游戏)、renpy(用来制作视觉小说游戏,也就是经典模拟恋爱游戏)3D的有panda3d,完全免费。也可以用webgl和3djs做一些网页游戏。原创 2020-05-16 19:20:56 · 3689 阅读 · 1 评论 -
python系列10:使用GPU加速计算
https://github.com/jkaardal/pyipm原创 2020-05-15 17:24:17 · 6764 阅读 · 0 评论 -
python系列9:java、python、c++、julia性能测试
1. javaimport java.util.Date;public class test { public static void main(String[] args) { Date st = new Date(); System.out.println(fib(40)); Date et = new Date(); ...原创 2020-01-03 16:08:36 · 636 阅读 · 2 评论 -
python系列8:python的web工程化问题
1. 回调函数简单来说就是把函数作为参数,声明的时候只是形式上执行了函数,只有在“回调”的时候才回去实际执行函数内容。来看一个简单的例子:import timedef callback(): print("这是一个callback函数")def test_callback(call): print("进入函数") time.sleep(1) #开始回调 ...原创 2019-12-14 14:33:05 · 319 阅读 · 0 评论 -
python系列7:python中的协程
协程Coroutine,看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。1. 生成器generator1.1 列表生成式和生成器列表可以通过类似下面的方式实现:L = [x * x for x in range(1, 11) if x % 2 == 0]把一个列表生成式的[]改成(),就创建了一个generator:G = (x...原创 2019-06-02 14:25:05 · 845 阅读 · 1 评论 -
python系列6:python中的装饰器和回调函数
1. 函数嵌套与装饰器在python中,函数可以作为参数传递。装饰器可以很方便的给原函数增加一些功能。使用装饰器必须和内嵌包装函数一起。简单来说在f2上@f1等价于f2 = f1(f2)。注意这里是f2而不是f2(),也就是说是函数名作为参数传递,而不是执行完f2后进行传递;而f1是f1(),所以f1在使用装饰器的地方相当于调用过一次。下面举几个例子:1.1 单纯嵌套def f1(g):...原创 2019-05-20 16:15:12 · 1662 阅读 · 0 评论 -
python系列5:python图形界面PySimpleGUI
1. 简介使用pip安装即可。注意如果是python2.7版本,安装的是pySimpleGUI27。pySimpleGUI可以绘制的界面元素可以从官方case中看出:import PySimpleGUIpySimpleGUI.main()一个简单的额示例如下:import PySimpleGUI as sg sg.ChangeLookAndFeel('GreenTan...原创 2018-12-24 09:34:57 · 11463 阅读 · 3 评论 -
python系列4:python的web开发flask简介
文章目录1. 基本概念1.1 初始化1.2 路由和视图函数1.3 上下文1.4 响应和重定向1.5 Flash消息传递2. 模板2.1 渲染过程2.2 控制结构2.3 bootstrap3. 表单3.1 启用CSRF保护3.2 创建表单类3.3 用户认证4. 数据库4.1 ORM模型4.2 sqlite操作flask是一个很简易的web框架,接下来我们将一步步建立一个完整的网站服务。使用如下代...原创 2018-11-22 10:49:01 · 420 阅读 · 0 评论 -
python系列3:python数据绘图pyecharts
pyecharts的绘图非常漂亮,这里总结一下学习内容。1. 安装相关:使用python2.7前加入中文支持:#coding=utf-8from future import unicode_literals目前pyecharts不带地图文件,因此如果要使用地图的话必须自己下载:$ pip install echarts-countries-pypkg$ pip install ech...原创 2018-10-15 10:14:22 · 2150 阅读 · 0 评论 -
python系列2:python调用soa服务
公司项目需要调用基于soa接口的服务,几个技术人员用java配置了一整天都没有搞定,最后一怒之后我自己把要调用的功能重写了一遍。最近用python试了一下,结果一行代码就搞定了,真是感慨万千。1. SOASOA是service-oriented architecture(面向服务的架构)的简写,主要是通过通用接口将服务包装并独立化。常见的几种SOA规范有:SOAP、XMLRPC:http+...原创 2018-10-15 09:32:21 · 1850 阅读 · 0 评论 -
python系列1:python操作redis
1. redis介绍redis是一个运行在内存中的key-value存储系统,主要优势在于读写性能非常棒。reids的安装非常简单,到这里下载最新版本,解压缩后进入文件夹,执行make命令即可。make完后 redis-2.8.17目录下会出现编译后的redis服务程序redis-server,还有用于测试的客户端程序redis-cli。到src文件夹下执行redis-server即可启动r...原创 2018-10-12 10:01:55 · 258 阅读 · 0 评论