- 博客(17)
- 收藏
- 关注
RSS订阅原创 2020-12-29
GET请求 使用GET请求的Python爬虫比较简单，由于GET请求的请求参数包含在URL地址中，所以只需要先确定请求参数，然后将请求参数拼接到URL中即可，即 URL + 请求参数（字符串拼接） 使用GET请求的Python爬虫的应用 在使用Python爬虫爬取一个有分页的网站时，各个页面的URL非常接近，唯一的不同就是页码数字不同，这是使用GET请求能非常简单方便的将该网站的各个页面爬取下来 POST请求 GET请求的请求参数是直接包含在URL中了，而POST请求的请求参数则不会出现在URL中，而是要经
2020-12-29 14:51:18
55
原创 2020-12-27
网络爬虫及其应用 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，网络爬虫应运而生。网络爬虫（又被称为网页蜘蛛、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。下面通过图3-1展示一下网络爬虫在互联网中起到的作用： 网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。 搜索引擎（Search Engine），例如传统的通用.
2020-12-27 20:02:24
126
1
原创 2020-12-25
1.测试正则表达式是否匹配字符串的全部或部分 regex=ur"" #正则表达式if re.search(regex, subject): do_something()else: do_anotherthing() 2.测试正则表达式是否匹配整个字符串regex=ur"/Z" #正则表达式末尾以/Z结束if re.match(regex, subject): do_something()else: do_anotherthing() 3.创建一个匹配对象，然后通过该对象获得匹配细节(
2020-12-25 00:15:32
64
原创 2020-12-22
tip: 允许使用异常, 但必须小心。定义:异常是一种跳出代码块的正常控制流来处理错误或者其它异常条件的方式。优点:正常操作代码的控制流不会和错误处理代码混在一起. 当某种条件发生时, 它也允许控制流跳过多个框架. 例如, 一步跳出N个嵌套的函数, 而不必继续执行错误的代码。缺点:可能会导致让人困惑的控制流. 调用库时容易错过错误情况。结论:异常必须遵守特定条件:像这样触发异常: raise MyException(“Error message”) 或者 raise MyException . 不要使用两个
2020-12-22 08:17:28
115
原创 2020-12-21
try…except结构 异常处理结构中最常见也最基本的结构。其中try子句中的代码块包含可能出现的语句，而except子句用来不做相应的异常，except子句中的代码块用来处理异常。如果try中的代码块没有出现异常，则继续往下执行异常处理结构后面的代码；如果出现异常并且被except子句捕获，则执行except子句中的异常处理代码；如果出现异常单没有被except捕获，则继续往外层抛出；如果所有层都没有捕获并处理该异常，则程序终止并将该异常抛给最终用户。语法结构如下：try: try块ex.
2020-12-21 16:32:24
97
原创 2020-12-20
Python File(文件) 方法 open() 方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(file)和模式(mode)。open(file, mode=‘r’)完整的语法格式为：open(file, mode=‘r’, buffering=-1, encod
2020-12-20 09:06:26
80
1
原创 2020-12-18
打印到屏幕 最简单的输出方法是用print语句，你可以给它传递零个或多个用逗号隔开的表达式。此函数把你传递的表达式转换成一个字符串表达式，并将结果写到标准输出如下： #!/usr/bin/python print “Python 是一个非常棒的语言，不是吗？” 你的标准屏幕上会产生以下结果： Python 是一个非常棒的语言，不是吗？ 读取键盘输入 Python提供了两个内置函数从标准输入读入一行文本，默认的标准输入是键盘。如下： raw_input input raw_input函数 raw_input(
2020-12-18 21:42:39
65
1
原创 2020-12-17
如何文件 第1步) f= open(“guru99.txt”,“w+”)我们声明变量f来打开一个名为textfile.txt的文件。OPEN采用两个参数，我们要打开的文件和表示我们想对文件执行的权限或操作类型的字符串。 在这里，我们在参数中使用了“w”字母，它指示写和加号，这意味着如果库中不存在文件，它将创建一个文件。“w”旁边的可用选项是“r”表示读，“a”表示附加和加号，意思是如果没有，则创建它。 第二步)for i in range(10): f.write(“This is line %d\r\n
2020-12-17 13:54:07
47
原创 2020-12-16
open常用参数介绍： 1，file: 必需，文件路径（相对或者绝对路径）。2，mode: 可选，文件打开模式3，buffering: 设置缓冲4，encoding: 一般使用utf85，errors: 报错级别6，newline: 区分换行符其中最需要理解的是文件的打开方式，就是把文件以什么样的形式打开，是写呢？读呢？还是以二进制模式打开呢？下面表格自由组合：打开模式 执行操作‘r’ 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。‘w’ 打开一个文件只用于写入。如果该文件已存在则打开文件
2020-12-16 19:35:44
43
原创 2020-12-15
1、输入字符串 双引号，转义字符\，原始字符串：在字符串开始的引号前加上r，多行字符串（三重引号）：多行注释 2、字符串下标和切片 3、in和not in 4、upper（）、lower（） 返回新的字符串 大写或小写issupper（）、islower（） 返回布尔值 5、isXisalpha（） 字母、isalnum（） 数字和字母、isdecimal（） 数字、isspace（） 空格制表符和换行、istitle（） 大写开头后面小写 6、startswith（）和endswith（） 检查字符
2020-12-15 17:24:56
52
原创 2020-11-28
函数设计 函数定义 概念：可以理解为实现某种功能的代码块，这样当程序需要这个功能时就可以直接调用，而不必每次都编写一次。函数使减少代码冗余成为现实，并为代码维护节省了不少力气。 函数是为实现一个特定功能而组合在一起的语句集，可以用来定义可重用代码、组织和简化代码。 定义格式： def 函数名（形式参数）： 函数体 ...
2020-12-14 10:35:19
52
原创 2020-11-07
字典与集合 字典 字典是用一对大括号（｛ ｝）作为边界，元素之间以逗号分隔，每个元素是一对键和值，键和值之间用英文冒号分隔。每一个值都有一个对应的键，字典的用法是通过键来访问相应的值，字典的键是不重复的。 len（）返回字典中键值对的数量 查找与特定键相关联的值用下标法 keys（）可以返回字典中的键 values（）可以返回字典中的值 items（）返回所有的键和值 setdefault（）设置默认键值对 update（）将另一个字典中的所有键值对对一次性地添加到当前字典中 clear（）删除所有条目
2020-11-07 16:53:14
59
原创 2020-11-01
列表和元组 列表 列表的创建，即用一对中括号将以逗号分隔的若干数据（表达式的值）括起来。 列表访问，也就是对列表的索引操作的过程，并返回索引位置上的元素。 列表中的元素可以通过重新赋值来更改某个元素的值，要注意列表元素的合法索引范围，超过范围则会出错。 切片方式：原列表名［start：end］ del命令：可以从列表中删除元素，也可以删除整个列表。 查找方式：index（value［，start＝0［，stop］］） 统计方式：count（）统计某个元素在列表中出现的次数 添加方式：append（）加单个元
2020-11-01 15:06:48
141
原创 2020-10-28
字符串 字符串构造 单引号或双引号构造字符串 要求引号成对出现 单双引号构造字符串的特殊用法 如果代码中的字符串包含单引号，且不用转义字符，那么整个字符串就要用双引号来构造，否则就会出错。 如果代码中的字符串包含了双引号，且不用转义字符，那么整个字符串要用单引号来构造。 字符串中引号的转义 转义字符 以“\”开头，后接某些特定的字符或者数字 原始字符串 三重引号字符串 是一种特殊用法。三重引号将保留所有字符串的格式信息。 字符串格式化 1.字符串格式的书写 （1）［ ］中的内容可以省略。 （2）简单的
2020-10-28 20:42:20
60
原创 2020-10-27
控制语句 分支结构控制语句 单分支if语句 组成：关键字if、条件表达式、冒号、表达式结果为真（包括非零、非空）时要执行的语句体。语法形式： if条件表达式： 语句体 单分支if语句先判断表达式的值是真还是假。 双分支if╱else语句 语法形式： if条件表达式： 语句体1 else： 语句体2 多分支if╱elif╱else语句 语法形式： if条件表达式1： 语句体1 elif条件表达式 2： 语句体2 …… elif条件表达式n－1： 语句体n－1 else： 语句体n 循环结构控制语句 wh
2020-10-27 22:12:08
142
原创 2020-10-26
Python语言基础 标识符 概念：标识符是指用来标识某个实体的一个符号。 规则：1、开头必须是字母或者下划线 2、不能以数字开头 3、区分大小写 4、中间不能出现分隔符、标点符号或者运算符 5、不能使用关键字 6、不要使用内置模块名、类型名、函数名、已经导入的模块名及其成员名 关键字 python中，一部分是关键字，构成了语言的标识符，这样的标识符是保留字，不能用于其他用途，否则会引起语法错误。 变量 是计算机语言中能存储计算机结果或能表示值的抽象概念。变量可以通过变量名访问，变量通常是可变的。 数据类型
2020-10-26 21:07:11
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人