爬虫初识

爬虫

博客参考

1. 开源模块：

• requests
  response = requests.get(“url”)
  response.text
  response.content
  response.encoding = response.apparent_encoding # 使用网站编码
  response.status_code
  response.cookies.get_dict()
  requests.get(“url”, cookie={‘xx’: ‘yy’})
  requests.request方法参数：
  -method: 提交方式
  -url: 提交URL
  -params: 在URL中传递的参数

requests.request(
	method='GET',
	url='http://www.baidu.com',
	params={
   'k1':'v1','k2':'v2'}
)

-data: 在请求体重传递的参数

requests.request(
	method='GET',
	url='http://www.baidu.com',
	data={
   'k1':'v1','k2':'v2'}
)

-json: 在请求体重传递的参数(字典中嵌套字典时使用)

requests.request(
	method='GET',
	url='http://www.baidu.com',
	data={
   'k1':'v1','k2':{
   'k3':'v3'}}
)

-headers: 请求头

requests.request(
	method='POST',
	url='https://github.com/login',
	data={
   'k1':'v1','k2':{
   'k3':'v3'}},
	headers={