task3-爬虫

题目：

学习beautifulsoup，并使用beautifulsoup提取内容。 使用beautifulsoup提取下面丁香园论坛的特定帖子的所有回复内容，以及回复人的信息。 丁香园直通点：晕厥待查——请教各位同仁 - 心血管专业讨论版 -丁香园论坛 。

 

import urllib.request as re
from bs4 import BeautifulSoup as bf
def main():
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3521.2 Safari/537.36'}
    url="http://www.dxy.cn/bbs/thread/626626"
    req=re.Request(url,headers=headers)
   
    response=re.urlopen(req).read().decode("utf-8")
    html=bf(response,'lxml')
    getA(html)

def getA(html):
    datas={}
    for data in html.find_all("tbody"):
        try:
            user= data.find("div", class_="auth").text
            content = data.find("td", class_="postbody").text
            datas[user]=content
        except:
            pass
    print(datas)
    
    
if __name__ == '__main__':
    main()