python简单爬虫（正则表达式和xpath解析）

一、python的get方法访问网址

1.pip install requests下载requests库

2.引入谷歌的浏览器

3.直接用get方法访问

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

print(driver.page_source)

二、python的post方法访问网址

1.post方法网址打开工作台，会发现发送请求时带了请求体，请求体捕捉，打开F12工具，点到网络，选择fetch/xhr就可以捕捉

2.我们在访问时带上请求体，就可以实现post方法请求

import requests

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

mydata={
   
    "cname":'',
    "pid":'',
    "keyword": input("输入一个地址"),
    "pageIndex": 1,
    "pageSize": 10
}
resp = requests.post(url,data=mydata)
resp.encoding='utf-8'
print(resp.json())

三、python的正则表达式获取我们想要的数据

1.pip install re下载re库

2. re.compile为正则表达式

3.里面.?就是跳过，(?P.?)就是将文本赋值给name，re.S最好每次都带上

从网页上的<div class="item">开始，一直跳到<span class="title">，将<span class="title">开始到</span>时的数据赋值给name
re.compile(r'<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?<br>(?P<year>.*?)&nbsp;.*?<span class="rating_num" property="v:average">(?P<pingjia>.*?)</span>.*?<span>(?P<pingjiarenshu>.*?)</span>',re.S)

import requests
import re
import json
import pandas as pd
url =