爬虫学习总结

目录

一       Urllib. 1

get请求方式模板：... 1

post请求方式模板... 2

ajax请求... 3

cookie登录... 3

Handler处理器... 3

urllib代理服务器... 3

二       各种解析... 4

xpath基本语法：... 4

JsonPath. 5

Re解析... 5

三       Selenium... 6

基础模板：... 6

元素定位：... 7

访问元素信息... 7

交互... 7

Phantomjs. 8

四       requests. 8

get请求... 8

post请求... 9

Requests代理... 9

五       Scrapy. 9

使用：... 9

• Urllib

get请求方式模板：

①请求对象定制——②模拟浏览器访问——③获取响应内容

import urllib.request

import urllib.parse

url=’*********’

headers={’******’:’********’}

data={‘****’:’****’}

data = urllib.parse.urlencode(data)

url = url + data

request=urllib.request.Request(url=url,headers=headers) ①

response=urllib.request.urlopen(request) ②

content=response.read().decode(‘utf-8’) ③

print(content)

post请求方式模板

import urllib.request

import urllib.parse

url=’*********’

headers={’******’:’********’}

data={‘****’:’****’}

data = urllib.parse.urlencode(data).encode('utf‐8')

request=urllib.re