python
叶常落
一朝眉羽成,钻破亦在我
展开
-
python requests.Session()的使用
你可以把Session理解成为它内部提供了一系列方法,用来存储状态。这里所说的状态,其实大部分情况下指的就是cookies。比如使用浏览器时候,你在一个标签页内登陆了,另一个标签页其实就可以读取cookies了,从而另一个标签页内也有登录状态。这个requests session就是这样的。通过 requests Session 可以共享或者追踪各个请求之间的状态和信息。原创 2023-12-17 09:47:11 · 544 阅读 · 0 评论 -
flask and flask_sqlalchemy and flask_apscheduler
grequest。原创 2023-03-30 22:01:54 · 189 阅读 · 0 评论 -
creating Different Types of Files with python
files python原创 2022-12-10 19:45:04 · 419 阅读 · 0 评论 -
从零开始学习mitmproxy源码阅读
作为抓包四小龙之一的mitmporxy竟然是开源的,而作为开源爱好者的我们,就应该看看其源码。虽然我之前挖了很多看源码的坑,但是这个mitmproxy的坑,我依然不保证填上。我的主要目的不是为了读懂源码,而是为了看看mitmproxy是怎么处理安全证书的,这才是我真正关心的地方。第一天:todo 未完待续https://github.com/mitmproxy/mitmproxy下载源码:git clone https://github.com/mitmproxy/mitmproxy.git原创 2022-04-14 21:56:07 · 879 阅读 · 0 评论 -
python-pandas-and-Importing Data into Pandas
https://www.datacamp.com/community/tutorials/importing-data-into-pandasin this articlas, we will introduce :To be an adept data scientist, one must know how to deal with many different kinds of data. Learn to read various formats of data like JSON and HTM原创 2022-04-07 22:07:46 · 645 阅读 · 0 评论 -
urllib3源码基本入门
首先urllib3是一个大工程。这里的网页必须要读一下:https://urllib3.readthedocs.io/en/latest/advanced-usage.html关于proxy,我简单读了一下,受益匪浅。至少,我了解到通过配置HTTP_PROXY和HTTPS_PROXY环境变量,可以声明代理。其实我一直好奇,为什么charles已启动就能变成系统代理,我有理由相信,它后台可能是用了类似于环境变量修改的功能。因为charles是java写的,所以更有理由相信其使用了类似的功能(未经证实原创 2022-03-26 20:57:06 · 679 阅读 · 0 评论 -
python requests verify=True vs verity=Flase
报错信息raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate原创 2022-03-26 20:05:40 · 1402 阅读 · 0 评论 -
cefpython基础入门
Python bindings for the Chromium Embedded Framework (CEF)python3 -m venv hellocd hellosource bin/activatepip install cefpython3==66.0todo:我想使用cefpython加载html部分代码<div><span>s..........s</span></div>原创 2022-03-25 07:42:56 · 1103 阅读 · 0 评论 -
正则表达式与python re
佩服原作者,学习学习原文链接http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html本文介绍了Python对于正则表达式的支持,包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式,这些主题请查看其他教程。注意:本文基于Pytho转载 2016-10-26 20:16:57 · 519 阅读 · 0 评论 -
正则表达式
re正则表达式 我总是觉得正则表达式应该有远高于它名气的作用,所以我要学习它,这里就是开始,而非结束 我的现在的概念:爬虫用的正则表达式,提取出我想要的东西来的一种方法. 正则表达式从grep里面发展而来,现在已经被用到了很多地方. 正则表达式也是有其自身的语法规则. 正则表达式常常用来干什么呢?原创 2015-08-15 15:14:36 · 437 阅读 · 0 评论 -
os.path vs pathlib
vscode and python最近发现一个可怕的事情,那就是vscode里面写python竟然特别的流畅,vscode真是一个不错的编辑器(当然仅仅是我自己觉得)。分享一张好图,后面介绍迭代器可迭代的生成器列表...原创 2021-05-13 19:55:47 · 402 阅读 · 0 评论 -
asyncore.loop()是什么?
今天逛博客,发现如下一段代码,令我困惑不解,到底什么是asyncore.loop()呢?去官网看文档https://docs.python.org/3/library/asyncore.htmlasyncore => asyncio还是看不懂,可能这个问题会困扰我很久吧。原创 2021-05-12 21:14:38 · 388 阅读 · 0 评论 -
python观察内存和修改内存
例如:在不改变内存地址的情况下,修改变量的值。观察内存和修改内存其实是操作系统提供的能力。对于理解python里面数据结构很有帮助。例如python里面的int类型。为什么int类型是变长的,为什么占用字节不是4个字节?技巧如下cpython中id获取的就是内存地址使用id()获取内存地址使用ctypes.memset修改内存使用ctypes.string_at观察内存数据使用sys.getsizeof获取占用字节大小ctypes.string_at(id(a), sys.getsize原创 2021-05-10 21:47:22 · 1134 阅读 · 0 评论 -
python unittest
计划两点正则表达式re模块re.matchre.searchre.findallre.subre.splitunittestTestCase类setUptearDown 是给我们留的钩子setUpClasstearDownClass在unittest.TestCase中封装了assertXXX相关方法用例的状态跳过失败self.fail()会抛出一个failureException, failureException = AssertionError...原创 2020-11-16 22:39:15 · 167 阅读 · 0 评论 -
Python nltk包
注意:新手在使用nltk的时候,要记得下载对应的处理包,并放到指定目录下面nltk什么是nltk?本文 nltk.__version__ == 3.5install nltkpip3 install nltkinstall data我install nltk data时遇到了问题。命令行使用nltk.download()大概原因就是因为网络原因无法下载,所以我改成了手工下载...原创 2020-04-24 09:12:52 · 1030 阅读 · 0 评论 -
pymongo的使用
pymongo增mongo.db.c_juzi.insert_one(var)删改查pymongo的分页查询怎么做? l = mongo.db.c_juzi.find().limit(page_size).skip(start).sort([("cntLike", DESCENDING)])flaskflask问题记录flask怎么拆分?怎么异常拦截?怎么日...原创 2020-04-23 15:18:47 · 395 阅读 · 0 评论 -
sqlachemy入门基础手册
sqlachemyKey Features of SQLAlchemy一个有两块手表的人永远不知道时间是多少你无法跨国同一条河两次history of原创 2020-04-18 12:42:44 · 230 阅读 · 0 评论 -
flask处理http request的时候是多线程还是多进程?
当你问出这个问题的时候,说明你一直混淆了一个概念那就是web服务器和web应用的概念。flask中的app.run()就是启动flask中内置的webserver,这个webserver主要是hi本地开发使用,在生产环境中一般是其他的webserver要学会去去看源码,因为通过源码来理解这些概念要直白许多。下面这几个类是有继承关系的。ThreadedWSGIServerForking...原创 2020-04-16 22:15:11 · 2488 阅读 · 1 评论 -
使用peewee增删查改数据库
peewee是一个轻量级的ORM框架,主要用来方便的操作数据库。ddldml关联关系如下:Modal类对应数据库里面的表Field对应列Model的实例对应行ObjectCorresponds to…Model classDatabase tableField instanceColumn on a tableModel instanceRow ...原创 2020-04-16 15:14:33 · 1372 阅读 · 0 评论 -
Flask源码
flask是什么?flask是一个http框架,它处理http请求,然后给出响应。这个回答是没有错误的,但是回答得太抽象了,我们需要具体一点。关于flask的具体解读app = Flask(__name__)Flask这个类里面的代码注视写的清楚明白 self.view_functions = {} 如何注册?通过route装饰器2. sel...原创 2020-04-16 19:12:44 · 765 阅读 · 1 评论 -
拥抱变化,成就永恒
我们要成为使用技术的主人,而不是成为追逐技术的奴隶。原创 2020-03-04 13:22:07 · 512 阅读 · 0 评论 -
我忽然发现我写的cve漏洞管理系统简直就是redmine的一个小模块
当我近乎完工的时候我忽然间明白了,泪流满地,累觉不爱,如果早点遇见你,何必折磨这么多遍呢? 为了搭建这个页面,这个网站,我学写了nginx+uwsgi部署,python + Django + Mysql作为后端, html+boostrap+jquery作为前端,整个技术栈下来耗时2个月左右。。。我实现的CVE漏洞管理页面redmine提供的问题单管理页面原创 2017-10-04 15:27:51 · 1428 阅读 · 0 评论 -
Django之概览
一个后台web框架应该提供三种功能 1. url调度 2. 数据模型抽象 3. 模板的渲染学习Django这三个功能的实现,是实践Django的好办法。 除此之外,Django还有许多要素。Forms用来生成前端的表单 用在后端做数据校验Session基于数据库的会话使用内存缓存的会话file-based 会话cookie-based 会话Middlewarerequest解析原创 2017-06-11 19:44:06 · 327 阅读 · 0 评论 -
Django之models
Django的model实现了编程语言级别对数据表的抽象,一个model代表一个数据表。 每一个属性代表数据表中的一列。from django.db import models class Person(models.Model): first_name = models.CharField() last_name = models.CharFie原创 2017-06-11 19:33:41 · 297 阅读 · 0 评论 -
Django module学习之模板
The Django template language 可以根据数据流动的方向来进行学习理解。 首先要理解几个概念: Template Context RequestContext HttpResponse template.render(context) shortcut中的render loder中的render_to_string这几个概念结合起来就是,把上下文传递给模板,原创 2017-06-10 22:42:27 · 443 阅读 · 0 评论 -
django
万事开头难,但过程也不简单,如何开头,照着下面的步骤,一个简单的网站就被搭建起来了,容易吧 1、安装python 2、安装pip 3、安装Django,pip install Django 4、开始创建项目django-admin startproject mysite mysite/ manage.py mysite/ init.py原创 2016-05-23 22:29:00 · 400 阅读 · 0 评论 -
当我谈Flask的时候我在谈些什么
目标:使用Flask搭建一个前后端完全分离的系统(灵感来自于企业级springboot+react)https://developer.okta.com/blog/2018/12/20/crud-app-with-python-flask-react#define-the-python-model-schemas技术:前端:react后端:flask框架要实现的基本需求登录状态判断...原创 2019-03-13 00:34:19 · 190 阅读 · 0 评论 -
selenium+chromeheadless爬取网站
chromedriverseleniumchrome --headless无头模式phantomjsfrom selenium import webdriveroptions = webdriver.ChromeOptions()#options.binary_location = '/Applications/Google\ Chrome.app/Contents/MacOS/Go...原创 2019-04-06 23:24:11 · 566 阅读 · 0 评论 -
sqlalchemy通过已经存在的表生成model的方法
java中mybatis-generator可以快速生成格式化的mapper,在python中也有类似的工具。通过数据库中存在的表生成model对于mysql数据库,通过代码,反向生成 sqlalchemy 的 model的方法为sqlacodegen --tables your_table 'myslqurl'sqlacodegen --tables third_api ‘mysql...原创 2019-04-13 22:14:14 · 5653 阅读 · 0 评论 -
python标准库之zipfile
zipfile什么是zip文件?为何在网络上zip打包的文件比较常见?而不是rar?zip是一种压缩归档的文件,zip开源的。python的zipfile模块,有两个主要的类ZipFile()ZipInfo()# 压缩到指定文件def file_zip(src, dst): zip_obj = ZipFile(dst, mode='原创 2017-04-19 19:49:24 · 4501 阅读 · 0 评论 -
python的内建函数built-in functions
之前将关键字和内建函数给弄混淆了,现在系统的总结一下python2.7内建函数。abs() 绝对值all()可迭代对象都为真any()可迭代对象任意一个为真basestring() 不可直接调用的 isinstance(obj, basestring) is equivalent to isinstance(obj, (str, unicode)).bin() Conver原创 2016-11-09 21:44:42 · 772 阅读 · 0 评论 -
python把函数作为参数的函数
参考 http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00141861202544241651579c69d4399a9aa135afef28c44000map() 可以理解为一种映射 map(func, sequence) 入参是函数和序列 返回一个列表,这个列表是序列的每原创 2016-12-01 21:36:01 · 2811 阅读 · 0 评论 -
python库之numpy
import numpy as np import matplotlib.pyplot as plt 创建一个等差数组,这个数据类型是numpy所提供的。 x = np.arange(1,10,0.1) y = np.sin(x) plt.plot(x,y) plt.show()原创 2016-12-05 20:27:05 · 306 阅读 · 0 评论 -
python库之matplotlib
学习资源 http://matplotlib.org/api/pyplot_api.html http://old.sebug.net/paper/books/scipydoc/matplotlib_intro.html https://campus.datacamp.com/courses/intermediate-python-for-data-science/matplotlib?ex=原创 2016-12-04 20:43:49 · 420 阅读 · 0 评论 -
python can i use return in wiht statement?
with open(file_name) as obj: for i in obj: if i != ”: return True 在with语句中使用返回值是可以的吗?文件对象是否得到了正常的关闭?原创 2016-12-05 22:39:40 · 277 阅读 · 0 评论 -
python -m SimpleHTTPServer
架设简单的共享目录服务器在linux虚拟机中通过wget + 下载链接 下载文件 但是我不知道怎么传给windows主机,所以就搭建了一个共享目录服务器,在windows浏览器的地址栏输入http://虚拟机ip地址:8000/ 从而实现共享不知道为什么不能直接在windows中下载源文件?可能是被和谐了。。原创 2016-12-06 21:47:35 · 1751 阅读 · 1 评论 -
python 标准库之os
os.walk() 这个函数yield一个3-tuple(dirpath, dirnames, filenames) 解释 dirnames is a list of the names of the subdirectories in dirpath (excluding ‘.’ and ‘..’). filenames is a list of the names of the non-原创 2016-10-23 13:48:26 · 380 阅读 · 0 评论 -
python标准库之logging
学习资源 https://docs.python.org/2/howto/logging.html import logging logging.info(‘this is test’) 查看源码可知info()是一个函数,它调用了basicConfig()和root.info() 这里的root指的是 RootLogger()类继承自Logger logging.basicC原创 2016-12-08 21:54:04 · 846 阅读 · 0 评论 -
python交换两个变量的值
大部分语言,例如c语言,交换两个变量的值需要使用中间变量。 例如交换a,b 伪代码:tmp = aa = bb = apython里面可以实现无临时变量的交换 (a,b) = (b,a) 对于它的交换原理我深感好奇,因为这意味着python解释器很有可能做了件更多的工作。 如果说变量可以直接交换,那么列表的元素呢? lists[i], lists[j] =lists[j], list原创 2016-12-16 19:57:44 · 7339 阅读 · 0 评论 -
python时间格式转换time模块
时间转换格式控制符: %Y 年 %m 月 %B 月名 %b 月名缩写 %d 日 %A 星期 %a 星期缩写 %H 时24小时制 %I 时12小时制 %p 上午下午 AM PM %M 分 %S 秒time.time()返回当前时间的纪元值 struct_time对象 time.strftime() time.strptime() time.mktime()原创 2016-11-29 21:32:08 · 741 阅读 · 0 评论