![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
豆豆orz
听一曲风声,画两道身影,说三生有幸遇见你。
展开
-
sqlalchemy报错: QueuePool limit of size 500 overflow 10 reached, connection timed out, timeout 30
检查日志的时候发现系统有一个报错。QueuePool limit of size 500 overflow 10 reached, connection timed out, timeout 30查阅官方文档官方文档这可能是最常见的运行时错误,因为它直接涉及到应用程序的工作量超过配置的限制,该限制通常适用于几乎所有SQLAlchemy应用程序。以下几点总结了此错误的含义,首先从大多数SQLAlchemy用户应该已经熟悉的最基本点开始。默认情况下,SQLAlchemy Engine对象使用连原创 2020-07-02 17:15:59 · 4252 阅读 · 0 评论 -
003 Urllib库的使用
二、Urllib库的基本使用1.Urllib是一个Python内置的HTTP请求库urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块2.与Python2的变化 Python2import urllib2response = urllib2.urlopen(原创 2017-11-01 22:14:00 · 222 阅读 · 0 评论 -
004 request库的使用
三Requests库详解Requests安装Requestsrequests实例引入各种请求方式请求基本GET请求带参数的GET请求解析json获取二进制数据添加headers基本POST请求响应response属性状态码判断高级操作文件上传cookie会话维持证书验证代理设置超时设置认证设置异常处理三、Requests库详解1.Requests原创 2017-11-01 22:15:01 · 262 阅读 · 0 评论 -
005 爬虫之正则表达式
什么是正则表达式正则表达式常见匹配模式rematch从第一个字符开始匹配最常规的匹配泛匹配匹配目标贪婪匹配非贪婪匹配匹配模式转义总结research从扫描到的第一个开始匹配总结匹配演练refindallresubrecompile项目实战1.什么是正则表达式正则表达式就是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定的字符、以及这些特定字符的组合,组成一原创 2017-11-01 22:15:45 · 236 阅读 · 0 评论 -
006 Beautifulsoup
什么是BeautifulSoup安装用法详解Beautiful解析库基本使用标签选择器选择元素获取名称获取属性获取内容嵌套选择子节点和子孙节点父节点和先祖节点兄弟节点标准选择器find_allnamerecursivetextkwargsfindnameattrsrecursivetextkwargsCSS选择器通过标签名查找通过类名查找通过 id 名查找组原创 2017-11-01 22:18:47 · 239 阅读 · 0 评论 -
007 PyQuery
安装PyQueryPyQuery初始化字符串初始化URL初始化文件初始化基本CSS选择器查找元素子元素父元素官方文档1.安装PyQuery pip install pyquery2.PyQuery1.初始化1.字符串初始化html = '''<div> <ul> <li class="item-0">first item</li>原创 2017-11-01 22:20:36 · 170 阅读 · 0 评论 -
PEP8 Python 编码规范
一 代码编排1 缩进。4个空格的缩进(编辑器都可以完成此功能),不使用Tap,更不能混合使用Tap和空格。2 每行最大长度79,换行可以使用反斜杠,最好使用圆括号。换行点要在操作符的后边敲回车。3 类和top-level函数定义之间空两行;类中的方法定义之间空一行;函数内逻辑无关段落之间空一行;其他地方尽量不要再空行。二 文档编排1 模块内容的顺序:模块说明和docstring—import—gl翻译 2017-11-03 21:57:13 · 388 阅读 · 0 评论 -
WSGI / uwsgi / uWSGI
WSGI / uwsgi / uWSGI 这三个概念的区分:WSGI :是一种通信协议。 uwsgi :同WSGI一样是一种通信协议。 uWSGI :是实现了uwsgi和WSGI两种协议的Web服务器。uwsgi协议是一个uWSGI服务器自有的协议,它用于定义传输信息的类型(type of information),每一个uwsgi packet前4byte为传输信息类型描述,它与WSGI相比是原创 2017-11-19 10:26:11 · 510 阅读 · 0 评论 -
如何进行Django单元测试?
Django的单元测试使用python的unittest模块,这个模块使用基于类的方法来定义测试。类名为django.test.TestCase,继承于python的unittest.TestCase。from django.test import TestCasefrom myapp.models import Animalclass AnimalTestCase(TestCase):原创 2017-11-06 16:04:00 · 2874 阅读 · 0 评论 -
Python常见问题
数据结构1 去除列表中的重复元素(经常会问,基础)用集合 1 list(set(l))用字典Pythonl1 = ['b','c','d','b','c','a','a']l2 = {}.fromkeys(l1).keys()print l2用字典并保持顺序Pythonl1 = ['b','c','d','b','c','a','a']l2 = list(set(l1))l2.s原创 2017-11-06 16:10:58 · 285 阅读 · 0 评论 -
002 爬虫基本原理(基础篇)
一、爬虫基本原理1.什么是爬虫? 请求网站并提取数据的自动化程序2.爬虫基本流程 发起请求 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。 获取响应内容 如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTM原创 2017-11-01 22:13:21 · 257 阅读 · 0 评论 -
001 爬虫环境配置
一、Python3 + pip 环境配置1.Windows下载安装anaconda(anaconda清华镜像)Pycharm专业版2.Linux sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev sud原创 2017-11-01 22:12:31 · 370 阅读 · 0 评论 -
Python代码PEP8风格自动排版
python的一些install脚本还是很强大的,例如python的autopep8库: 地址: https://github.com/hhatto/autopep8$ pip install --upgrade autopep8然后在命令行:$ autopep8 --in-place --aggressive --aggressive <filename>就可以对代码进行pep8自动排版原创 2017-11-10 11:01:01 · 1054 阅读 · 0 评论 -
Django基础
1.MVC与MTV:两个Web框架MVC MTV MVC Mobel View Controller 数据库 模板文件 业务处理 MTV Moble Template View 数据库 模板文件 业务处理 Django是一个基于MTV的框架2.安装Djangopip3 in原创 2017-08-27 15:10:37 · 443 阅读 · 1 评论 -
Python网络爬虫基础
1.什么是爬虫爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张 大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。2.浏览网页的过程在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以及百度搜索框, 这个过程其实就是用户输入网址之后,经过DNS服务器,找到服务器原创 2017-08-27 16:36:17 · 660 阅读 · 0 评论 -
安装词云wordcloud报错:Microsoft Visual C++ 14.0 is required.
如题用了网上说的在 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载安装 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 的方法无效然后使用了报错信息中提供的 http://landinghub.visualstudio.com/visual-cpp-build-tools 网站下载Visual C++ 2原创 2017-11-07 15:48:55 · 1176 阅读 · 0 评论 -
关于Python第三方库用pip安装缓慢的问题
如题可以使用豆瓣的源来安装pip install -i https://pypi.doubanio.com/simple/ +你要安装的包例如pip install -i https://pypi.doubanio.com/simple/ django原创 2017-11-07 15:51:32 · 236 阅读 · 0 评论 -
Python 常用第三方库及介绍
环境管理管理 Python 版本和环境的工具p:非常简单的交互式 python 版本管理工具。官网 pyenv:简单的 Python 版本管理工具。官网 Vex:可以在虚拟环境中执行命令。官网 virtualenv:创建独立 Python 环境的工具。官网 virtualenvwrapper:virtualenv 的一组扩展。官网 包管理管理包和依赖的工具。pip:Python原创 2017-11-07 16:08:48 · 6461 阅读 · 0 评论 -
Python 设计模式
创建型模式工厂方法实例 -> 类 -> 类工厂抽象工厂简单来说就是把一些具有相同方法的类再进行封装,抽象共同的方法以供调用.是工厂方法的进阶版本.实例 -> 类 -> 类工厂 -> 抽象工厂惰性初始化 Lazy evaluation这个Python里可以使用@property实现,就是当调用的时候才生成.生成器 BuilderBuilder模式主要用于构建一个复杂的对象,但这个对象构建的算法是稳定的原创 2017-11-07 16:30:06 · 269 阅读 · 0 评论 -
Python 基础要点
Table of ContentsPython语言特性 1 Python的函数参数传递2 Python中的元类(metaclass)3 @staticmethod和@classmethod4 类变量和实例变量5 Python自省6 字典推导式7 Python中单下划线和双下划线8 字符串格式化:\x和.format9 迭代器和生成器10 *args and **kwargs1原创 2017-11-08 08:29:57 · 565 阅读 · 0 评论 -
session、cookie区别?get、post区别?
- 表象 - GET在浏览器回退时是无害的, 而POST会再次提交请求。 - GET产生的URL地址可以被Bookmark, 而POST不可以。 - GET请求会被浏览器主动cache, 而POST不会, 除非手动设置。 - GET请求只能进行url编码, 而POST支持多种编码方式。 - GET请求参数会被完整保留在浏览器历史记录里, 而POST中的参数不会原创 2017-11-08 14:27:53 · 777 阅读 · 0 评论 -
007Python语法之函数
1.定义一个函数规则:1.函数代码块以 def 关键词开头,后接函数标识符名称和圆括号 ()。2.任何传入参数和自变量必须放在圆括号中间,圆括号之间可以用于定义参数。3.函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。4.函数内容以冒号起始,并且缩进。5.return [表达式] 结束函数,选择性地返回一个值给调用方。不带表达式的return相当于返回 None。2.原创 2017-07-04 16:39:35 · 276 阅读 · 0 评论