Python爬虫一

Python爬虫爬取用户名

import  requests
import  re
#导入requests 、re库
def get_url(i):		#自定义函数get_url()
    response = requests.get('https://deepon.cn/q.php/user.info.'+i+'.html')  #URL链接
    url_add = r'<td>(.*?)</td>'	#正则表达式
    url_list = re.findall(url_add,response.text)
    print(url_list[3]) #显示列表第3个数据
if __name__== '__main__':			#for循环
    for i in range(1,22482):
        get_url(str(i))

代码解析

requests模块

对应http的不同请求类型，requests库有不同的方法：

1.requests.get():

获取HTML网页的主要方法，对应于HTTP的GET

2.requests.post():

向HTML网页提交POST请求的方法，对应于HTTP的POST

3.requests.head():

获取HTML网页头信息的方法，对应于HTTP的HEAD

4.requests.put():

向HTML网页提交PUT请求，对应于HTTP的PUT

5.requests.patch():

向HTML网页提交局部修改请求，对应于HTTP的PATCH

6.requests.delete():

向HTML页面提交删除请求，对应于HTTP的DELETE

re模块

import re   #第一步，要引入re模块
a = re.findall("匹配规则", "这个字符串是否有匹配规则的字符")   #第二步，调用模块函数
print(a)  #以列表形式返回匹配到的字符串
#打印出 ['匹配规则']

range函数

range(start, stop[, step])

参数说明：

start: 计数从 start 开始。默认是从 0 开始。	例如range（5）等价于range（0， 5）;
 stop: 计数到 stop 结束，但不包括 stop。		例如：range（0， 5） 是[0, 1, 2, 3, 4]没有5
 step: 步长，默认为1。						例如：range（0， 5） 等价于 range(0, 5, 1)