- 博客(18)
- 收藏
- 关注
RSS订阅原创 scrapy爬虫部署
scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本pip3 install scrapyd第一部分：环境安装第二部分：上传项目上传爬虫项目到linux。第三部分：scrapyd部署2.安装scrapyd和scrapd-clientpip install scr...
2019-09-22 19:21:09
103
原创 scrapy-redis和源码总结
一、redis相关1.开源2.key-value3.内存数据库 这种将数据存储在内存中是redis性能（主要针对存取速度快）优于硬盘数据库的根本。为了便于数据长久保存，其也支持持久化操作。二. redis特性1.丰富的数据类型与相应操作。每种数据类型都有特定的应用场景。2.性能极高。3.功能丰富。提供的进阶特性能够满足数据库使用需求。三. redis数据结构string...
2019-09-22 18:53:46
193
原创 BeautifulSoup4,Pyquery,线程
CSS 选择器：BeautifulSoup4Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持 lxml 的 XML解析器。解析器使用方法Python标准库Beau...
2019-09-10 19:01:10
122
原创 requests和xpath总结
#如果出现了证书认证ssl ca证书错误#verify：Defaults to ``True``，默认为true,表示进行证书认证#如果出现了证书认证ssl ca证书错误修改verify为False，表示忽略证书认证
2019-09-09 19:06:07
418
原创 urllib总结
什么是爬虫网络爬虫网络爬虫（又被称为网页蜘蛛，网络机器人）， 是一种按照一定的规则，自动第抓取万维网信息的大程序或者脚本。通俗的讲：就是模拟客户端发起网络请求，接收请求的响应，按照一定的规则，自动的抓取互联网信息的程序。原则上只要是浏览器能够做的事情，爬虫都能够实现爬虫的基本原理：我们把互联网比喻为一张大网，网络爬虫我们想象为网上的蜘蛛，网页与网页直接的连接我们理解为节点，爬虫就相当于是访...
2019-09-07 15:22:55
134
原创 正则表达式
模式字符串使用特殊的语法来表示一个正则表达式：字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。多数字母和数字前加一个反斜杠时会拥有不同的含义。标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。反斜杠本身需要使用反斜杠转义。由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r'/t'，等价于'//t')匹配相应的特殊字符。下表列出了...
2019-01-07 18:36:46
115
原创 正则re模块高级用法
search需求：匹配出文章阅读的次数#coding=utf-8import re ret = re.search(r"\d+", "阅读次数为 9999")ret.group() findall需求：统计出python、c、c++相应文章阅读的次数#coding=utf-8import re ret = re.findall(r"\d+", "...
2019-01-07 18:36:34
155
原创 python列表推倒式，生成器，迭代器，
1、 列表推导式列表推导能非常简洁的构造一个新列表:只用一条简洁的表达式即可对得到的元素进行转换变形。1.1格式[表达式 for 变量 in 列表] 或者 [表达式 for 变量 in 列表 if 条件]过滤条件可有可无，取决于实际应用，只留下表达式；相当于下面这段for循环:复制代码代码如下:result = [] for value in collection...
2019-01-06 16:15:24
506
原创 python模块
1、Python中的模块有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt函数，必须用语句#include <math.h>引入math.h这个头文件，否则是无法正常进行调用的。那么在Python中，如果要引用一些其他的函数，该怎么处理呢？在Python中有一个概念叫做模块（module），这个和C语言中的头文件以及Java中的包很类似，比如在Python中要调用s...
2019-01-06 16:05:44
86
原创 python异常
捕获异常try..except..else注意：except子句的数量没有限制，但使用多个except子句捕获异常时，如果异常类之间具有继承关系，则子类应该写在前面，否则父类将会直接截获子类异常。放在后面的子类异常也就不会执行。 格式try: 可能触发异常的语句块except [exceptionType]: 捕获可能触发的异常[可以指定处理的异常类型]ex...
2019-01-06 15:59:44
69
原创 python类
说明： 定义类时有2种：新式类和经典类，上面的Car为经典类，如果是Car(object)则为新式类 类名 的命名规则按照”大驼峰” 创建对象 对象是有属性和方法组成的，在实际环境中也就是对象本身的变量和函数！比如一条鱼，眼睛和尾巴就是属性（变量），会游泳就是他的技能（方法、函数）！ 在python中，可以使用内置方法isinstance()来测试...
2019-01-06 15:53:25
111
转载 python文件操作
文件打开1.使用open（）file:文件的路径 或 文件描述符mode：字符串，代表以下意思 使用‘w’可自动创建不存在文件 file_name = 'text.txt' # 文件名with open(file_name, 'r', encoding='utf-8') as f: line1 = f.readline() line2 =...
2019-01-06 15:43:46
77
原创 python递归，匿名函数
递归函数在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。递归函数特性：必须有一个明确的结束条件； 每次进入更深一层递归时，问题规模相比上次递归都应有所减少 相邻两次重复之间有紧密的联系，前一次要为后一次做准备（通常前一次的输出就作为后一次的输入）。 递归效率不高，递归层次过多会导致栈溢出（在计算机中，函数调用是通过栈（stac...
2019-01-06 15:37:02
149
原创 python函数
函数根据有没有参数，有没有返回值，可以相互组合，一共有4种 无参数，无返回值 无参数，有返回值 有参数，无返回值 有参数，有返回值 函数嵌套 封装 - 数据隐藏 可以使用内层函数来保护它们不受函数外部变化的影响，也就是说把它们从全局作用域隐藏起来。 来看一个简单的例子 - 求一个数字 n 的倍数： >>>...
2019-01-06 15:33:35
108
原创 python列表,元组，字典
列表的增删改查 添加元素(“增”append, extend, insert)append可以向列表添加元素 extend将另一个集合中的元素逐一添加到列表中 insert在指定位置index前插入元素删除元素(“删”del, pop, remove) del根据下标进行删除 pop删除最后一个元素 remove根据元素的值进行删除 如果元素不存在会报错所以应该先进行判断 ...
2019-01-06 15:24:13
199
原创 python循环
python中循环分为两种第一种while循环. 第二种for循环while循环：例子：用while计算1-100总和n= 100sum = 0counter = 1whilecounter<= n:sum = sum + countercounter+= 1print("1 到 %d 之和为: %d"% (n,sum))结果：1到100之和为：5050wh...
2019-01-06 15:18:53
292
原创 Python运算符
Python语言支持以下类型的运算符：算术运算符 比较（关系）运算符 赋值运算符 逻辑运算符 位运算符 成员运算符 身份运算符 运算符优先级python算术运算符 python比较运算符:python赋值运算符:Python位运算符Python逻辑运算符Python成员运算符 ...
2019-01-06 13:55:04
379
2
原创 6.章基本命令
1.文件管理是<1>查看文件信息： ls （ls是list英文简写，功能列出目录的内容，它类似于wd系统DOS下的dir命令）Linux文件或者目录名称最长可以有265个字符，“.”代表当前目录，“..”代表上一级目录，以“.”开头的文件为隐藏文件，需要用 -a 参数才能显示。 常用参数 含义 -a 显示...
2018-11-17 14:55:42
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人