记录和分享程序人生的点点滴滴

Cookie是一个保存在客户机中的简单的文本文件, 这个文件与特定的 Web 文档关联在一起, 保存了该客户机访问这个Web 文档时的信息, 当客户机再次访问这个 Web 文档时这些信息可供该文档使用。由于“Cookie”具有可以保存在客户机上的神奇特性, 因此它可以帮助我们实现记录用户个人信息的功能。

代理的目的：1)让服务器以为不是同一个客户端在请求；2)防止我们的真实地址被泄露，防止被追究。代理的执行流程：数据的请求（request）：浏览器先向代理服务器请求，再由代理服务器向真正的服务器请求。数据的响应（response）：则沿着相反的方向进行。正向代理和反向代理1)正向代理：对于浏览器知道服务器的真实地址，例如VPN；2)反向代理：浏览器不知道服务器的真实地址，例如nginx。

python中的多任务处理利器-协程的使用，aiohttp与aiofiles模块的使用。同步，异步，多任务。

etree是基于ElementTree API的一种XML解析方式。相较于SAX，DOM而言，具有代码可用性好，速度快，消耗内存少等特点。Python的lxml库中的etree，提供了ElementTree API定义的接口。

使用python的requests网络进行数据请求，并且保存在csv文件中。学习目标：学习网络数据的抓取，以及csv文件的写入。

Tornado是一个强大的可扩展的轻量级Web服务器，虽然是轻量级的，却能够被用在大量的应用和工具中。Tornado作为FriendFeed网站的基础框架，于2009年9月10日发布，目前已经获得了很多社区的支持，并且在一系列不同的场合中得到应用。除FriendFeed和Facebook外，还有很多公司在生产上转向Tornado，包括Quora、Turntable.fm、Bit.ly、Hipmunk及MyYearbook等。

1. twisted简介：twisted是一个网络开发框架，可以开发完整的异步网络应用程序和协议，因为twisted提供了网络协议，线程，安全性和身份验证，IM，DBMS数据库集成，WEB，EMAIL，GUI集成开发工具...等一系列组件提供给开发这使用，它是一个完整的事件驱动的网络框架。

1. websocket简介：python3提供了websockets，用于web应用程序，本节介绍websockets相关内容。2.websockets常用方法：serve:在server端使用，等待客户端的连接。如果连接成功，返回一个websocket。connect: 在client端使用，用于建立连接。send:发送数据，server和client双方都可以使用。recv:接收数据，server和client双方都可以使用。close:关闭连接，server和client

1. socketserver简介：python3提供了标准库socketserver，用于创建服务端，客户端网络程序。它对socket进行了封装，用起来更加方便，简单。

在前面介绍了一些基本的网络编程和爬虫python库后，终于可以开始接触python网络编程框架了。Flask是一个微型的Python开发的 Web 框架，特别说明，作为一个微型web框架，也被称为“microframework”，麻雀虽小，五脏俱全，Flask可扩展性很强。Flask基于Werkzeug WSGI工具箱和Jinja2 模板引擎，Flask使用BSD授权。

在介绍了urllib，urllib3，requests等数据爬取相关的python库后，今天，再介绍一个更为流行的网页数据爬虫库，BeautifulSoup。BeautifulSoup是有一个非常流行的python库，最主要的功能是从网页抓取数据。BeautifulSoup可以对抓取的网页中的数据进行分析。BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为 utf-8 编码。你几乎不需要考虑编码方式，当然，你也可以指定编码方式。BeautifulSoup和request

和其它编程语言一样，python也支持socket套接字。需要注意的是，在python3版本进行数据发送和接收时，需要用字节流。否则会出现“TypeError: a bytes-like object is required, not 'str”错误。本例程就出现这样的问题了。

urllib可以说是Python最简单的网络数据请求库。urllib是Python自带的标准库，无需安装，直接可以用。

urllib3是python中又一个http请求库。urllib3功能强大，使用简单，已经逐步取代了urllib和urllib2的地位。

requests是python提供的http网络数据请求库，支持cookie，文件上传，会自动实现持久连接keep-alive。