爬虫之网页解析——正则表达式、BeautifulSoup、xpath

• 解析内容

得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。

1. 正则表达式处理

   def get_zhushi_info(url):
       #urls='https://so.gushiwen.org/shiwen2017/ajaxshiwencont.aspx?id=45c396367f59&value=zhu'
       headers = {
           "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0",
           "referer": "https://www.gushiwen.org/",
           'x-requested-with': 'XMLHttpRequest'
       }
       '''
       #每个ajax请求要传递的参数
       parm = {
           'id':'7b561d38e677',
           'value':'zhu'
       }
       #构造ajax请求url
       ajax_url = url + urlencode(parm)
       '''
       # 调用ajax请求
       response = requests.get(url, headers=headers).content.decode('utf-8')
       p = r"<p&