SteveDraw的博客

到目前为止，本分栏的例子都只是处理单个静态页面，只能算是人为简化的例子（使用作者专门编写的网站页面）。从现在开始，我们会看到一些现实问题，需要用爬虫遍历多个页面甚至多个网站。 之所以叫网络爬虫（Web crawler）是因为它们可以沿着网络爬行。它们的本质就是一种递归方式。为了找到 URL 链接，它们必须首先获取网页内容，检查这个页面的内容，再寻 找另一个 URL，然后获取 URL 对应的网页内容，不断循环这一过程。 可以重复采集网页，但并不意味着一直都应该这么做。如果爬虫在一个网页数据内，前面的爬虫都可以

目录：一，MySQL数据库安装与使用1.MySQL安装2.MySQL的基本命令行使用二，python与MySQL整合二级目录三，数据库在python爬虫的综合运用二级目录一，MySQL数据库安装与使用1.MySQL安装下面链接介绍安装教程比较详细，可根据该文来安装（推荐教程里面的安装包Zip安装，成功率较高）：mysql数据库安装（详细）2.MySQL的基本命令行使用完成安装教程，成功安装MySQL数据库后，在Windows命令行模式下，进入到自己的mysql安装目录（即添加环境变量的那个），

面对复杂的页面解析，千万不要不假思索地直接编写代码，从而使得爬虫代码变得难以调试和维护。我们可以在编写代码前，做一些准备工作，例如，寻找更加友好的网页样式版本，从查看JS里的文件信息，从别处寻找更加友好的数据源和查看是否有“打印网页”链接等等。BeautifulSoup库findAll(),find(),lambda函数的应用

一旦你开始采集网络数据，就会感受到浏览器为我们做的所有细节。网络上如果没有HTML 文本格式层、CSS 样式层、JavaScript 执行层和图像渲染层，乍看起来会有点儿吓人，但接下来的内容，我们将介绍如何不通过浏览器的帮助来格式化和理解数据。

前言：虽然在命令行里显示运行结果很有意思，但是随着数据不断增多，并且需要进行数据分析 时，将数据打印到命令行就不是办法了。为了可以远程使用大部分网络爬虫，你还需要把 采集到的数据存储起来。 本章将介绍三种主要的数据管理方法，对绝大多数应用都适用。如果你准备创建一个网站 的后端服务或者创建自己的 API，那么可能都需要让爬虫把数据写入数据库。如果

前言：互联网并不是：那些符合新式 Web 2.0 潮流，并且经过多媒体内容（这些内容在网络数据采集时几乎要被忽略的）点缀 的 HTML 网站构成的集合。这忽略了互联网最基本的特征：作为不同类型文件的传输媒介。 虽然互联网在 20 世纪 60 年代末期就已经以不同的形式出现，但是 HTML 直到 1992 年才 问世。在此之前，互联网基本上就是收发邮件和传输文件；今天一，文档编码二级目录二，纯文本二级目录三，CSV二级目录四，PDF二级目录五， 微软Word和.docx二级目录...

目录：一，求最小公因数基础版：进阶版：二，平方计算之等效转换成加法运算基础版：进阶版：三，穷举法求某个数的整数立方根while循环代码：四，for中range循环的问题：五，寻找完全立方数的立方根for循环：一，求最小公因数基础版：x=1#计算初始值，因为是求最小公因数while True: if x % 12 == 0 and x %15 == 0:#根据最小公因数的含义，可得此判断条件 break x+=1print('12和15的最小公因数是{}'.forma

该分栏（python网络数据爬取采集学习与实战）以 《python网络数据》（[美] Ryan Mitchell） 为知识基础，进行学习和实战，有需要的可以通过相关渠道来去购买正版图书，该系列文章仅是本人对于该主题的学习笔记和一些看法，实战等，“如要自知，不理课本”，推荐图灵图书中文版进行学习。而该文仅是对该系列文章的初始说明（类型书籍前言），由于边学边写，有些地方学习和理解还不到位，欢迎各位批评指正。

要想开发出易于维护的程序，关键在于编写形式简洁且结构良好的代码。到目前为止，我们所写的示例都太简单，无法说明这一点，但 Flask 视图函数的两个完全独立的作用却被融 合在了一起，这就产生了一个问题。 视图函数的作用很明确，即生成请求的响应。对最简单的请求来说， 这就足够了，但一般而言，请求会改变程序的状态，而这种变化也会在视图函数中产生。 例如，用户在网站中注册了一个新账户。用户在表单中输入电子邮件地址和密码，然后点 击提交按钮。服务器接收到包含用户输入数据的请求，然后 Flask 把请求分发到处理注

在我们还没有专门的后台的管理平台时，很多类型的应用程序都需要在程序发生特定事件发生时提醒管理员，而常用的通信方法是电子邮件，也是最稳定的途径。Python 标准库中的 smtplib 包可用在 Flask 程序中发送电子邮件，但包装了 smtplib 的Flask-Mail 扩展能更好地和 Flask 集成使用。

该分栏（基于python的Flask Web开发）以 《Flask Web开发：基于Python的Web应用开发实战》（[美］Miguel Grinberg 著，安道 译） 为知识基础，进行学习和实战，有需要的可以通过相关渠道来去购买正版图书，该系列文章仅是本人对于该主题的学习笔记和一些看法，实战等，“如要自知，不离课本”，推荐图灵图书中文版进行学习。而该文仅是对该系列文章的初始说明（类型书籍前言），由于边学边写，有些地方学习和理解还不到位，欢迎各位批评指正。

用户在程序中的地位是不同的，不同的是拥有对应的权限或角色，那么会有许多分类，例如，常见的：游客，普通用户，管理员，协管员（类似吃鸡游戏的巡查员）。有多种方法可用于在程序中实现角色。具体采用何种实现方法取决于所需角色的数量和细分程度。简单的程序可能只需要两个角色，一个表示普通用户，一个表示管理员。对于这种情况，在 User 模型中添加一个 is_administrator 布尔值字段就足够了。复杂的程序可能需要在普通用户和管理员之间再细分出多个不同等级的角色。有些程序甚至不能使用分立的角色，这时赋予用户某些

对于许多程序以及社交类的媒介，都需要对访问人有一个专门的认证状态（即登录账户），这会让程序记录和跟踪用户，以便提供更好地适配服务，提高用户体验！同样flask web开发时也是很重要的，这是许多网站所要提供的一类基础功能！我们前面说过flask相对Django来说就是自由选配度高，二次开发方便，但相对来说，内聚程度也相对较低，例如，数据库和登录认证功能，flask需要开发者自己集成和组织该类模块，Django会很好地提供这类完整的服务，但也不会让你改动和变化太多！

数据库按照一定规则保存程序数据，程序再发起查询取回所需的数据**。Web 程序最常用基 于关系模型的数据库，这种数据库也称为 **SQL 数据库，因为它们使用结构化查询语言。而这些年文档数据库和键值对数据库成了流行的替代选择，这两种数据库合称 **NoSQL 数据库**。所以先让我们了解比较下这两种类型数据库，再考虑自己的需求，从而做出自己的选择。

前面1.1中介绍的请求对象包含客户端发出的所有请求信息。其中，request.form 能获取 POST 请求中提交的表单数据。尽管 Flask 的请求对象提供的信息足够用于处理 Web 表单，但有些任务很单调，而且要重复操作。比如，生成表单的 HTML 代码和验证提交的表单数据（验证身份或提交信息）。Flask-WTF（http://pythonhosted.org/Flask-WTF/）扩展可以很好地处理 Web 表单。这个扩展对独立的WTForms（http://wtforms.simplecod

一，基础知识及各代码1.初始化所有 Flask 程序都必须创建一个程序实例,该实例是 Flask 类的对象。Web 服务器使用一种名为 Web 服务器网关接口 （Web Server Gateway Interface，WSGI）的协议，把接收自客户端的所有请求都转交给这 个对象处理。，经常使用下述代码创建：Fla

目录：一，程序的分支结构1，单分支结构2，二分支结构3，多分支结构4，条件判断及组合5，程序的异常处理三级目录一级目录二级目录二级目录二级目录二级目录二级目录二级目录一级目录二级目录一级目录二级目录一级目录二级目录一，程序的分支结构1，单分支结构（根据判断条件结果而选择不同向前路径的运行方式）实例：guess = eval(input())if guess == 99:print("猜对了")if True:print("条件正确")2，二分支结构guess = eval(in

目录一，基础知识1.整数类型（与数学中整数的概念一致）2.浮点数类型（与数学中实数的概念一致）3.复数类型（与数学中复数的概念一致）4.数值运算操作符（操作符是完成运算的一种符号体系）5. 数值运算函数（一些以函数形式提供的数值运算功能）一级目录二级目录三级目录一级目录二级目录三级目录一级目录二级目录三级目录一，基础知识整数类型浮点数类型复数类型数值运算操作符数值运算函数1.整数类型（与数学中整数的概念一致）对于整数类型可正可负，没有取值范围限制pow(x,y)函数：计算 xy，想算

目录一，分析：1.需求：2.问题分析：二，编程设计算法分析：1.字符串：2.字符串的序号3.数字类型4.列表类型5.评估函数 eval()三，编程实现1.基础版代码部分：2.进阶版代码部分（可循环在终端窗口或一般运行窗）一，分析：1.需求：摄氏度：中国等世界大多数国家使用以1标准大气压下水的结冰点为0度，沸点为100度，将温度进行等分刻画华氏度：美国、英国等国家使用以1标准大气压下水的结冰点为32度，沸点为212度，将温度进行等分刻画导向：摄氏度转换为华氏度华氏度转换为摄氏度2.问题

这里写目录标题一，集合类型及操作二级目录三级目录二，序列类型及操作（元组，列表）二级目录三， 字典类型及操作二级目录四，jieba库的使用二级目录五，实例1.基本统计值计算：一级目录2.文本词频统计：一，集合类型及操作二级目录三级目录二，序列类型及操作（元组，列表）二级目录三， 字典类型及操作二级目录四，jieba库的使用二级目录五，实例1.基本统计值计算：一级目录2.文本词频统计：...

面向对象编程是最有效的软件编写方法之一。在面向对象编程中， 你编写表示现实世界中的事物和情景的类，并基于这些类来创建对象。 编写类时，你定义一大类对象都有的通用行为。基于类创建对象时， 每个对象都自动具备这种通用行为，然后可根据需要赋予每个对象独 特的个性。使用面向对象编程可模拟现实情景，其逼真程度达到了令 你惊讶的地步。根据类来创建对象被称为实例化，这让你能够使用类的实例。

这里写目录标题一级目录三级目录一级标题库引用（扩充Python程序功能的方式）1. 使用import保留字完成，采用.()编码风格2.import更多用法turtle库1. 画笔控制函数2.运动控制函数控制海龟行进：走直线 & 走曲线画笔设置后一直有效，直至下次重新设置3.方向控制函数angle: 行进方向的绝对角度一级目录三级目录一级标题库引用（扩充Python程序功能的方式）1. 使用import保留字完成，采用.()编码风格（不会出现函数重名问题）import <库名&gt

目录一，函数的定义与使用1. 函数的理解与定义2.函数的使用及调用过程3.函数的参数传递4.函数的返回值5.局部变量和全局变量6. lambda函数7.扩展（转载至其他博客）：二，代码复用与函数递归1.代码复用与模块化设计2.函数递归的理解3.函数递归的调用过程4. 函数递归实例解析三， PyInstaller库的使用1.PyInstaller库基本介绍：2.PyInstaller库的安装3.PyInstaller库使用说明：四，实例1.七段数码管绘制（1）基础版：（2）进阶版：2.汉诺塔问题：3.科赫雪花

1.8python文件，数据格式化和worldcloud库的使用