python爬虫入门（一）

1.Request库

Request库有七个基本方法：

首先以requests库的request方法进行讲解：

其次，以其中典型的get方法进行说明：

1.

r=requests.get(url)

首先get构造一个向服务器请求资源的Request对象，r是一个返回的一个包括服务器资的Response对象。

2.

r=requests.get(url,params=None,**kwargs)

params:url中的额外参数，字典或者字节流格式...可以修改url内容

**kwargs是12个可以控制的参数：

特别指出，headers是一个字典，可以修改http头，比如有些网站禁止爬虫使用，我们可以修改user-agent：

hd = {'user‐agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers=hd)

其余6中与get类似。

最后，是Request的标准模板：

try:
		r=requests.get(url)
		r.raise_for_status
		r.encoding=r.apparent_encoding
		return r.text
	except:
		return  ""

2.Beautiful Soup库

Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

1.首先，三种遍历方式：下行遍历、上行遍历，平行遍历。

（平行遍历发生在同一个父节点下的各节点间。）(复数的都是迭代变量，用在for循环中）

使用方法：

from bs4 import BeautifulSoup
import bs4
soup=BeautifulSoup(html,"html.parser")#soup则为返回的html内容
soup.prettify()#为html文本增加‘\n’使得看起来更好看一些

find方法：

soup.find_all(name, attrs, recursive, string, **kwargs)

3.正则表达式（RE）

正则表达式的表示类型是raw string：表示为r'text'。raw string是不包括对转义符再次转义的字符串。就是使用\d的时候，\不需要写成\\表示转义。

 

 

 

Re库默认贪婪匹配，即输出匹配最长的子串。但是存在多种匹配，都可以在操作符后面加？变成最小匹配。