爬虫与HTTP请求
1、网络爬虫是一种程序
下载网页和信息提取
2、下载网页需要实现HTTP请求
客户端到服务器的请求消息(爬虫过程需要模拟请求这一过程 Web服务流程)
1、请求方法:
GET方法
请求指定的页面信息,并返回实体主题
POST方法
向指定资源提交数据进行处理请求(提交表单或者上传文件),数据被包含在请求体中
2、请求头部:
Urllib库 (python标准库) Resqests库
3、网页解析器
解析HTML网页 提取信息和数据
HTML是一种超文本标记语言,为某些子句加上标志的语言,从而实验预期的特定效果,网页正式由HTML这种语言所编写的
作为一套标记语言,只要明白各种标记的用法就算学会了HTML
语法特点:
嵌套<标记>…</标记>
常用的网页解析工具:LXML、Beautfulsoup、正则表达式
具体爬虫方法
#导入requests包
import requests
#请求
respond=requests.get('网址名')
#导入解析器
from lxml import etree
#构造选择器
selector=etree.HTML(respond.txt)
#从浏览器中寻找代码段导出xpath
selector.xpath('代码段/text()') #转换为文本
爬取多条数据时,主要需要找xpath中的规律
爬取多页的题目
def spider(url):
response = requests.get(url)
selector = etree.HTML(response.text)
time.sleep=(2)
for i in range(2,11):
article=selector.xpath('/html/body/section/div[1]/div/article[{}]'.format(i))[0]
title=article.xpath('header/h2/a/text()')[0]
times=article.xpath('p[1]/time/text()')[0]
item=[title,times]
def csv_write(item):
with open('daqianduan.csv','at') as f:#at文本追加形式
csvwrite=csv.writer(f)
csvwrite.writerow(item)
print('正在下载',item[0])
注意for循环中range 的取值范围,会出现list index out of range(列表超出范围)的问题
HTTP请求
HTTP请求类型
- GET:向指定的资源发出请求
- POST:向指定资源提交数据进行处理请求(例如提交表格或者上传文件)。数据被包含在请求体中。
- PUT:向指定资源位置上传其最新内容。
- DELETE:请求服务器删除Request-URL所有标识的资源。
- HEAD:只请求页面的首部。
- OPTIONS:允许客户端查看服务器的性能。