__静禅__

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...

Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...

Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

一、BeautifulSoup4简介        BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。官方文档：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/二、BeautifulSoup4主要解析器，以及优缺点：三、Beautif...

一、Tornado简介Tornado全称Tornado Web Server，是一个用Python语言写成的Web服务器兼Web应用框架，由FriendFeed公司在自己的网站FriendFeed中使用，被Facebook收购以后框架在2009年9月以开源软件形式开放给大众。 特点：作为Web框架，是一个轻量级的Web框架，类似于另一个Python web框架Web.py，其拥有异...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

安装方式一：如果使用的是PyCharm则File-->Settings-->Project Interpreter，选择绿色加号搜索Scrapy安装即可，如下图：这里需要注意Manage Repositories可以配置成： https://pypi.douban.com/simple/ http://mirrors.aliyun.com/pypi/simple/...

一、静态文件我们可以使用Template 设置我们的网页，同时，一个完美的网页需要css，js，image 等静态文件的支持。二、静态文件配置2.1、在项目下创建static目录2.2、在settings.py中配置静态文件在settings.py中的STATIC_URL='/static/'后面添加如下内容：STATIC_ROOT = os.path.join(BASE_DIR,'static'...

我们从浏览器发出一个请求 Request，得到一个响应后的内容 HttpResponse ，这个请求传递到 Django的过程如下：也就是说，每一个请求都是先通过中间件中的 process_request 函数，这个函数返回 None 或者 HttpResponse 对象，如果返回前者，继续处理其它中间件，如果返回一个 HttpResponse，就处理中止，返回到网页上。中间件不用继承自任何类（可...

一、正则表达式匹配模式模式描述^匹配字符串的开头$匹配字符串的末尾。.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...]用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'[^...]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。re*匹配0个或多个的表达式。re+匹配1个或多个的表达式。re?匹配0个或1个由前面...

一、通过正则表达式re处理数据正则表达式规则详见：Python3 --- 正则表达式from urllib import request,parseimport reclass Spider: def __init__(self): # 初始化起始页位置 self.page = 1 # 爬取开关，如果为True继续爬取 ...

一、URL配置项目中找到settings.py配置文件，该配置文件中的ROOT_URLCONF指定的是根路径的配置文件，如下：ROOT_URLCONF = 'test3.urls'该信息指定的是根路径的配置文件是test3项目下的urls.py文件，如下：from django.conf.urls import url,includefrom django.contrib import admi...

Scrapy的安装请参见：Python3 --- Scrapy安装 目录一、Scrapy架构图1.1、组件介绍：1.2、执行流程：二、创建Scrapy项目三、创建Scrapy爬虫四、Scrapy入门案例五、Scrapy图片下载示例六 、CrawlSpider深度爬虫示例 一、Scrapy架构图1.1、组件介绍：Scrapy Engine(...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

 Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...

Tornado.web.Application的settings参数传递给构造器的附加关键字参数保存在 settings 字典中, 并经常在文档中被称为”application settings”. Settings被用于 自定义Tornado的很多方面(虽然在一些情况下, 更丰富的定制可能 是通过在 RequestHandler 的子类中复写方法). 一些应用程序 也喜欢使用 setting...

一、Tornado的Request对象属性属性 说明 self.request.method http的请求头;get, post等 self.reuqest.uri 客户端请求完整的uri self.request.path uri的路径名,不包含查询的字符串 self.request.query uri中的查询字符串 self.reques...

一、yield实现异步yield在python中初学时，觉得比较难理解。yield的作用： ①返回一个值、②接收调用者的参数分析下面的代码：#!/usr/bin/env python3# -*- coding:utf-8 -*-def consumer(): r = '' while True: n = yield r prin...

因为epoll主要是用来解决网络IO的并发问题，所以Tornado的异步编程也主要体现在网络IO的异步上，即异步Web请求。1. tornado.httpclient.AsyncHTTPClientTornado提供了一个异步Web请求客户端tornado.httpclient.AsyncHTTPClient用来进行异步Web请求。fetch(request, callback=Non...

本节内容ORM介绍 sqlalchemy安装 sqlalchemy基本使用 多外键关联 多对多关系 表结构设计作业 1. ORM介绍orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数...

一、机器学习1.1、概述：多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。1.2、学科定位：人工智能(Artificial Intelligence, AI）的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不...

一、什么是决策树        决策树是附加概率结果的一个树状的决策图，是直观的运用统计概率分析的图法。机器学习中决策树是一个预测模型，它表示对象属性和对象值之间的一种映射，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布，树的最顶层是根结点。 二、决策树案例案例： 决策树：  三、决策树建立        决策...

一、SVM概述在机器学习领域中，SVM（支持向量机）是一种可用于分类和回归任务监督学习算法，在实践中，它的主要应用场景是分类。为了解释这个算法，首先我们可以想象一大堆数据，其中每个数据是高维空间中的一个点，数据的特征有多少，空间的维数就有多少。相应的，数据的位置就是其对应各特征的坐标值。为了用一个超平面尽可能完美地分类这些数据点，我们就要用SVM算法来找到这个超平面。在这个算法中，所谓...

authenticated装饰器为了使用Tornado的认证功能，我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时，Tornado将确保这个方法的主体只有在合法的用户被发现时才会调用。class IndexHandler(tornado.web.RequestHandler): ...

tornado为我们提供了一个便捷的工具，tornado.options模块——全局参数定义、存储、转换。 tornado.options.define()用来定义options选项变量的方法，定义的变量可以在全局的tornado.options.options中获取使用，传入参数： name 选项变量名，须保证全局唯一性，否则会报“Option 'xxx' already def...

一、JSON简介        JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。官方文档：https://docs.python.org/3/library/json.htmlJSON在线解析工具：http://www.json...

import requestsfrom lxml import etreefrom queue import Queueimport threadingimport timeimport jsonclass thread_crawl(threading.Thread): ''' 抓取线程类 ''' def __init__(self, thread...

一、返回Json数据import tornado.webimport tornado.ioloopimport tornado.httpserverimport tornado.options # 新导入的options模块class IndexHandler(tornado.web.RequestHandler): """主路由处理类""" def get(sel...

Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...

一、通过static_path实现import tornado.webimport tornado.ioloopimport tornado.httpserverimport osfrom tornado.options import define, optionsdefine("port", default=8002, help="run on the given port"...

目录一、模板渲染二、模板语法2.1、变量输出2.2、表达式输出2.3、注释一个部分，防止他被输出2.4、模板替换2.5、模板继承2.6、for循环2.7、from引入包2.8、import引入包2.9、if分支2.10、引入模板文件2.11、渲染UI模块2.12、不转义输出2.13、设置局部变量2.14、异常处理2.15、whil...

import tornado.webimport tornado.ioloopimport tornado.httpserverimport osimport pymysqlfrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", t...

 一、设置cookie：set_cookie(name, value, domain=None, expires=None, path='/', expires_days=None)参数说明：name：cookie名 value：cookie值 domain：提交cookie时匹配的域名 path：提交cookie时匹配的路径 expires：cookie的有效期，可以是时间戳...

一、概述神经网络算法( Neural Network )是机器学习中非常非常重要的算法。这是整个深度学习的核心算法，深度学习就是根据神经网络算法进行的一个延伸。理解这个算法的是怎么工作也能为后续的学习打下一个很好的基础。 二、背景神经网络是受神经元启发的，对于神经元的研究由来已久，1904年生物学家就已经知晓了神经元的组成结构。 1943年，心理学家McCulloch和数学...