爬虫第八期 #Task 2

Beautiful Soup

bs和urllib爬取丁香园评论
bs 是一个强大的html解析器，通过解析html把内容转化为一个文档树，每个树节点都是一个python对象，可以调用，4个对象种类：

• Tag（一个个标签）
• NavigableString（.string 获取标签内的文字内容）
• BeautifulSoup（一个特殊的tag对象，表示一个文档的内容）
• Comment（一个特殊的string对象，输出内容不包括注释符号）

遍历文档树

.content 和 .children 可以用于遍历文档树的直接子节点。其中**.content**生成一个节点列表，； .children 生成一个列表生成对象，无法直接打印但可以遍历。
.descendants 可以用于遍历所有子孙节点。

搜索文档

find_all() 函数

爬取丁香园评论

代码如下：

import urllib.request
from bs4 import BeautifulSoup as bs

def content_find(content):
    soup = bs(content,'lxml')
    for i in soup.find_all("tbody"):
        try:
            author = i.find('div',class_="auth").get_text(strip=True)
            content = i.find('td', class_="postbody").get_text(strip=True)
            print("-"*10 + author +"-"*10,content,sep="\n")
        except:
            pass

def main():
    url = "http://www.dxy.cn/bbs/thread/626626#626626"
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}

    res = urllib.request.Request(url=url,headers=headers)
    cot = urllib.request.urlopen(res).read().decode()
    content_find(cot)

if __name__ == '__main__':
    main()

爬取结果入下：

----------楼医生----------
我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
----------lion000----------
从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
----------xghrh----------
同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2
----------keys----------
该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。

Xpath

因时间问题，直接放出源码

from lxml import etree
import requests
 
url="http://www.dxy.cn/bbs/thread/626626#626626 "
r=requests.get(url)
r.text.encode('utf').decode('utf-8')
tree= etree.HTML(r.text)
user=tree.xpath('//div[@class="auth"]/a/text()')
content=tree.xpath('//td[@class="postbody"]')
result=[]
for i in range(0,len(user)):
    result.append(user[i].strip()+":"+content[i].xpath('string(.)').strip())
for i in range(0,len(result)):
    print(result[i])