patrick_big_data的博客

学习Xpath语法，即如何使用python的lxml模块解析网页

BeautifulSoup使用

WSGI介绍HTTP协议和HTML的介绍不在这里说明，可以去看廖雪峰老师的教程了解这方面内容。一个web应用的本质是：浏览器发送一个HTTP请求服务器收到请求，生成一个HTML文档服务器把HTML文档作为HTTP响应的Body发送给浏览器浏览器收到HTTP响应，从HTTP响应Body中取出HTML并显示最简单的web应用就是先把HTML保存好，然后需要时直接响应给HTTP请求。对Python而言，正确的做法是底层代码由专门的服务器软件实现，我们只需用Python专注于生成HTML文档即可

文章目录数据库简单介绍python操作sqlitepython操作mysqlPython的ORM技术SQLAlchemy参考网址数据库简单介绍下面表格就是常见数据库的类比（不包含NoSql）名字类别介绍Oracle付费典型的高富帅SQL Server付费微软自家产品，Windows定制专款DB2付费IBM的产品，听起来挺高端Sybase付费曾经跟微软是好基友，后来关系破裂，现在家境惨淡MySQL开源大家都在用，一般错不了Postg

电子邮件介绍电子邮件的运作流程基本可以参考传统信封邮寄的过程。假设我的电子邮件地址是ABC@qq.com，对方的电子邮件地址是DEF@163.com。然后我们通过Foxmail等软件写好信息后点击发送，电子邮件就发送出去了。注意：这些电子邮件被称为MUA即Mail User Agent -- 邮件用户代理。邮件发送出去后并不是直接到达对方电脑，而是发到MTA即Mail Transfer Agent -- 邮件传输代理，也就是那些邮件服务提供商，如腾讯、网易等。由于我的电子邮件是@qq.com，属于腾讯

网络编程介绍网络通信其实就是两台计算机上的两个进程之间的通信。例如通过浏览器访问百度，就是浏览器进程和百度服务器的某个进程之间进行网络通信。网络通信需要遵守一定的规则也就是网络协议，互联网协议包含了上百种协议标准，但是最重要的两个协议是TCP和IP协议，所以，大家把互联网的协议简称TCP/IP协议。通信双方必须知道对方的标识，也就是互联网上每个计算机的唯一标识即IP地址。但是一台计算机可以同时接入多个网络，即多网卡，所以IP地址对应的实际上是计算机的网络接口。IP协议负责把数据按块分割并以块为单位

文章目录介绍简单使用进阶和参考网址介绍我们可以通过top、free、iostat、ps等命令获取服务器的内存、CPU、网络、进程等信息。Python可以通过使用subprocess模块去执行命令获取这些信息，不过需要写额外的解析代码。psutil库提供这些系统信息，psutil = process and system utilities，可以跨平台使用获取CPU、内存、磁盘、网络、传感器等信息。可以通过pip install psutil来安装该模块。简单使用下面代码可以在windows上运行

requests介绍我们已经学过Python内置的urllib模块，也能访问网页，但是用起来比较麻烦。然而requests模块提供了更简单易用的功能。可通过pip install requests来安装。简单使用requests的例子resp = requests.get(url, params={})其中可以通过params来传递参数，注意params是dict类型。属性描述resp.status_code返回HTTP Statusresp.headers返回re

文章目录Pillow介绍pillow的简单使用生成验证码pillow进阶参考网址Pillow介绍PIL：Python Imaging Library，已经是Python平台事实上的图像处理标准库了。PIL功能非常强大，但API却非常简单易用。由于PIL仅支持到Python 2.7，加上年久失修，于是一群志愿者在PIL的基础上创建了兼容的版本，名字叫Pillow，支持最新Python 3.x，又加入了许多新特性，因此，我们可以直接安装使用Pillow。安装的方式很简单，执行pip install pi

virtualenv介绍在开发Python应用程序的时候，所有的第三方包都会被放到${PYTHON_HOME}/Lib/site-packages目录下。如下图所示。但是如果某个程序需要A模块的V1版本，另一个程序却需要A模块的V2版本，如果两个程序共用同一个python环境的话就会有冲突。virtualenv就是用来解决上面提到的问题的，它给每个Python开发程序提供一套独立的Python环境，各个Python开发程序相互独立，互不干扰。windows安装首先通过pip install vi

datetimedatetime是Python处理日期和时间的标准库。collectionsbase64structhashlibhmacitertoolscontextliburllibXMLHTMLParser

介绍正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。正则表达式是繁琐的，但它是强大的，学会之后真的受益无穷。表达式描述举例\d匹配一个数字‘00\d‘能匹配’007’，但是不能匹配’00A’\w匹配一个字母或数字‘00\w‘能匹配’007’和’00A’，但是不能匹配’00A$’\s匹配任何空白字符，包括空格、制表符、换页符等等'

进程与线程的简介首先说下并发和并行的区别。并发(concurrency)。操作系统轮流让单个CPU执行各个任务，即某一时刻该CPU只能执行一个任务，只是由于CPU在任务之间来回切换的时间很少让用户感知不到，所以感觉是同时执行多个任务。并行(parallelism)。真正的并行任务只能在多核CPU上实现，每个任务一个CPU，所以某一时刻会存在多个任务同时执行，但是由于任务的数量远远多于CPU...

IO简介IO在计算机中指的是输入输出即Input/Output。这是针对于内存来说的。例如将一个文件读到内存里就是输入，将内存中的数据写到外部系统如文件就是输出。IO编程中，Stream(流)是一个非常重要的概念，可以想象成水管，数据就是水管里的水，但是水只能单向流动。Input Stream就是数据从外面如磁盘、网络等流进内存，Output Stream就是数据从内存流出到外面。这里顺便提...

文章目录错误处理调试print断言assertloggingpdbIDE单元测试setUp与tearDown单元测试小结文档测试参考网址错误处理和Java类似，Python提供了一套错误处理机制，语法是 try...except...finally...。可以将你认为会发生错误的代码用try包裹起来并用except捕获指定的错误或异常，最后使用finally执行语句块如发生错误后也要进行资源...

python继承简介Java只支持单继承多接口模式。Python支持多继承模式。在多继承模式中有个难题就是钻石继承也叫做菱形继承。下图就是钻石继承的例子。一般来说，Leaf类初始化时会初始化Medium1类和Medium2类，然后Medium1类初始化时会初始化Base类，Medium2类初始化时也会初始化Base类，所以这就导致Leaf类初始化时对Base类进行了两次初始化操作。pyth...

面向对象基础面向对象编程----Object Oriented Programming，简称OOP，是一种程序设计思想。OOP把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。这个和Java的面向对象是一样的。以下面打印学生成绩为例。面向过程的思想如下# 面向过程的思想def print_score(std): print('%s: %s' % (std['na...

文章目录python简介查看python版本python注释python解释器使用IPythonpython基础python变量类型python字符串与编码python空值Nonepython变量命名规则变量使用和类型转换输入和输出函数python运算符分支结构循环结构python字符串列表生成式和生成器元组集合字典不可变对象与可变对象参考网址python简介python是什么？python能...

安装flake8和autopep8flake8是python语法静态检查器。autopep8是python代码规范。pip install flake8pip install autopep8pycharm配置flake8打开Settings --> Tools --> External Tools，然后点击添加设置如下所示。需要说明的是\$PyInterpreter...