- 博客(318)
- 收藏
- 关注
RSS订阅转载 Scrapy爬虫入门教程十三 Settings（设置）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...
2018-07-19 14:25:52
4256
转载 Scrapy爬虫入门教程十二 Link Extractors（链接提取器）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-19 14:08:15
1078
1
转载 Scrapy爬虫入门教程十一 Request和Response（请求和响应）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...
2018-07-19 14:08:07
1784
转载 Scrapy爬虫入门教程十 Feed exports（导出文件）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...
2018-07-19 14:07:54
1467
原创 Python3 --- 爬虫之处理数据
一、通过正则表达式re处理数据正则表达式规则详见：Python3 --- 正则表达式from urllib import request,parseimport reclass Spider: def __init__(self): # 初始化起始页位置 self.page = 1 # 爬取开关，如果为True继续爬取 ...
2018-07-19 14:07:26
552
转载 Scrapy爬虫入门教程九 Item Pipeline（项目管道）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） Scra...
2018-07-17 17:14:55
1152
转载 Scrapy爬虫入门教程八 交互式 shell 方便调试
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:14:46
1107
转载 Scrapy爬虫入门教程七 Item Loaders（项目加载器）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:14:37
753
转载 Scrapy爬虫入门教程六 Items（项目）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:14:28
1713
转载 Scrapy爬虫入门教程五 Selectors（选择器）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:14:17
982
转载 Scrapy爬虫入门教程四 Spider（爬虫）
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:14:07
1948
转载 Scrapy爬虫入门教程三 命令行工具介绍和示例
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:13:59
1243
转载 Scrapy爬虫入门教程二 官方提供Demo
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:13:51
815
转载 Scrapy爬虫入门教程一 安装和基本使用
Scrapy爬虫入门教程一 安装和基本使用 Scrapy爬虫入门教程二 官方提供Demo Scrapy爬虫入门教程三 命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider（爬虫） Scrapy爬虫入门教程五 Selectors（选择器） Scrapy爬虫入门教程六 Items（项目） Scrapy爬虫入门教程七 Item Loaders（项目加载器） S...
2018-07-17 17:13:42
667
原创 Python3 --- Scrapy入门
Scrapy的安装请参见：Python3 --- Scrapy安装 目录一、Scrapy架构图1.1、组件介绍：1.2、执行流程：二、创建Scrapy项目三、创建Scrapy爬虫四、Scrapy入门案例五、Scrapy图片下载示例六 、CrawlSpider深度爬虫示例 一、Scrapy架构图1.1、组件介绍：Scrapy Engine(...
2018-07-17 17:13:32
1306
1
原创 Python3 --- Scrapy安装
安装方式一：如果使用的是PyCharm则File-->Settings-->Project Interpreter，选择绿色加号搜索Scrapy安装即可，如下图：这里需要注意Manage Repositories可以配置成： https://pypi.douban.com/simple/ http://mirrors.aliyun.com/pypi/simple/...
2018-07-16 14:35:21
621
原创 Python3 --- 多线程爬虫
import requestsfrom lxml import etreefrom queue import Queueimport threadingimport timeimport jsonclass thread_crawl(threading.Thread): ''' 抓取线程类 ''' def __init__(self, thread...
2018-07-12 16:20:57
1834
原创 Python3 --- JSON与JsonPath用法总结
一、JSON简介 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。官方文档：https://docs.python.org/3/library/json.htmlJSON在线解析工具：http://www.json...
2018-07-12 14:41:15
6986
原创 Python3 --- BeautifulSoup4用法总结
一、BeautifulSoup4简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。官方文档：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/二、BeautifulSoup4主要解析器，以及优缺点：三、Beautif...
2018-07-11 17:06:24
9158
1
转载 XPath --- 用法总结整理
一、xpath介绍XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准节点在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被...
2018-07-11 11:05:10
14566
原创 Python3 --- 正则表达式
一、正则表达式匹配模式模式描述^匹配字符串的开头$匹配字符串的末尾。.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...]用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'[^...]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。re*匹配0个或多个的表达式。re+匹配1个或多个的表达式。re?匹配0个或1个由前面...
2018-07-10 15:18:51
475
原创 Python3 --- 爬虫入门
import urllib.parseimport urllib.requestdef loadPage(url,filename): ''' 作用：根据url发送请求，获取服务器响应文件 url：需要爬取的url地址 filename：处理的文件名 ''' print("正在下载" + filename) he...
2018-07-09 15:51:57
280
转载 Python3 --- Django中间件
我们从浏览器发出一个请求 Request，得到一个响应后的内容 HttpResponse ，这个请求传递到 Django的过程如下：也就是说，每一个请求都是先通过中间件中的 process_request 函数，这个函数返回 None 或者 HttpResponse 对象，如果返回前者，继续处理其它中间件，如果返回一个 HttpResponse，就处理中止，返回到网页上。中间件不用继承自任何类（可...
2018-07-03 14:39:51
515
原创 Python3 --- Django静态文件配置
一、静态文件我们可以使用Template 设置我们的网页，同时，一个完美的网页需要css，js，image 等静态文件的支持。二、静态文件配置2.1、在项目下创建static目录2.2、在settings.py中配置静态文件在settings.py中的STATIC_URL='/static/'后面添加如下内容：STATIC_ROOT = os.path.join(BASE_DIR,'static'...
2018-07-03 14:27:09
916
原创 Python3 --- Django创建模板
一、模板介绍 模板是一个文本，用于分离文档的表现形式和内容。 模板定义了占位符以及各种用于规范文档该如何显示的各部分基本逻辑（模板标签）。 模板通常用于产生HTML，但是Django的模板也能产生任何基于文本格式的文档。创建文件夹：在应用中创建templates文件夹创建文件：在templates文件夹中创建页面文件模板语言包含如下内容：变量标签过滤器注释二、变量语法：{{varia...
2018-07-02 17:13:11
1272
原创 Python3 --- Django创建视图
一、URL配置项目中找到settings.py配置文件，该配置文件中的ROOT_URLCONF指定的是根路径的配置文件，如下：ROOT_URLCONF = 'test3.urls'该信息指定的是根路径的配置文件是test3项目下的urls.py文件，如下：from django.conf.urls import url,includefrom django.contrib import admi...
2018-06-28 14:55:22
842
原创 Python3 --- Django创建模型
一、Model的作用在Django的框架设计中采用了MVT模型，即Model，Viewer，TemplateModel相对于MVC框架来说就相当对数据处理层，它主要负责与数据的交互，在使用Django框架设计应用系统时，需要注意的是Django默认采用的是ORM框架中的codefirst模型，即面向对象的开发方式（如Hibernate），也就是说开发人员只需要专注于代码的编写，而不需要过多的关注数...
2018-06-27 16:06:31
1253
原创 Python3 --- Django元选项详解
Django模型类的Meta是一个内部类，它用于定义一些Django模型类的行为特性。而可用的选项大致包含以下几类一、abstractOptions.abstract这个属性是定义当前的模型是不是一个抽象类。所谓抽象类是不会对应数据库表的。一般我们用它来归纳一些公共属性字段，然后继承它的子类可以继承这些字段。如果abstract = True这个model就是一个抽象类二、app_labelOpt...
2018-06-27 15:37:30
1078
转载 Python3 --- Django 连接数据库：Error loading MySQLdb module: No module named 'MySQLdb'
在 python2 中，使用 pip install mysql-python 进行安装连接MySQL的库，使用时 import MySQLdb 进行使用在 python3 中，改变了连接库，改为了 pymysql 库，使用pip install pymysql 进行安装，直接导入即可使用但是在 Django 中， 连接数据库时使用的是 MySQLdb 库，这在与 python3 的合作中就会报以...
2018-06-26 11:21:02
216
原创 Python3 --- Django创建应用
在一个项目中可以创建一到多个应用，每个应用进行一种业务处理第一步，首先进入已经创建的项目目录cd e:\workspace-pc\2018-05-16\mydjango1第二步，执行命令，创建应用e:\workspace-pc\2018-05-16\mydjango1>python manage.py startapp booktest第三步，查看创建的应用文件说明：__init__ ---...
2018-06-22 14:58:15
615
原创 Python3 --- Django创建项目 --- 社区版PyCharm
django是Python的一个开源web框架，在pycharm开发环境中，pycharm专业版在新建一个项目的时候有django选项，帮助创建一个django框架的项目。pycharm社区版需要自己创建第一步：安装django框架可以用pycharm安装，打开file \ setings \ project \ project interpreter 查看项目已安装的包，单击绿...
2018-06-22 14:46:53
1833
原创 CSS3 --- 浏览器样式前缀
一、浏览器样式前缀为了让CSS3样式兼容，需要将某些样式加上浏览器前缀：-ms- 兼容IE浏览器-moz- 兼容firefox-o- 兼容opera-webkit- 兼容chrome 和 safari比如：div{ -ms-transform: rotate(30deg); -webkit-transform: rotate(30deg); ...
2018-06-19 20:28:51
4438
原创 Python3 --- MongoDB交互
import pymongo#创建mongodb客户端链接client=pymongo.MongoClient("localhost", 27017)#获得数据库localdb=client.local#获得集合stustu = db.stu#添加文档s1={'name':'zhangsan','age':18}s1_id = stu.insert_one(s1).ins...
2018-06-19 16:00:40
490
原创 Python3 --- MySQL交互
一、PyCharm安装MySQL在pycharm编辑器中，[File]-[Settings]-[Project Interpreter]中点击加号，进行搜索安装，如图：搜索PyMySQL进行安装，如图：注意：使用pycharm编辑器在python3与mysql进行交互，需要安装python扩展包pymysql，python3只能安装pymql，不能安装mysql-python包，只有Python2...
2018-06-19 14:02:50
467
原创 Algorithm Base --- 二叉树
树： 树（英语：tree）是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下的特点：每个节点有零个或多个子节点；没有父节点的节点称为根节点；每一个非根节点有且只有一个父节点；除了根节点外...
2018-06-12 13:58:00
397
原创 Algorithm Base --- 归并排序
归并排序： 归并排序是采用分治法的一个非常典型的应用。归并排序的思想就是先递归分解数组，再合并数组。将数组分解最小之后，然后合并两个有序数组，基本思路是比较两个数组的最前面的数，谁小就先取谁，取了后相应的指针就往后移一位。然后再比较，直至一个数组为空，最后把另一个数组的剩余部分复制过来即可。归并排序实现：def merge_sort(alist): if len(alist)...
2018-06-11 17:11:18
169
原创 Algorithm Base --- 希尔排序
希尔排序： 希尔排序(Shell Sort)是插入排序的一种。也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。该方法因DL．Shell于1959年提出而得名。 希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。希尔排序分析：希尔排序的...
2018-06-11 16:58:09
192
原创 Algorithm Base --- 快速排序
快速排序： 快速排序（英语：Quicksort），又称划分交换排序（partition-exchange sort），通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。步骤为：从数列中挑出一个元素，称为"基准"（pivot），重新排序数...
2018-06-11 16:49:01
258
原创 Algorithm Base --- 插入排序
插入排序： 插入排序（英语：Insertion Sort）是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。插入排序分析：插入排序实现：def insert_sort(alist): # 从第二个位置，即下标...
2018-06-11 16:41:04
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人