爬虫（二）

2.1 学习beautifulsoup

• 学习beautifulsoup，并使用beautifulsoup提取内容。
• 使用beautifulsoup提取丁香园论坛的回复内容。
• 丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
• 参考资料：https://blog.csdn.net/wwq114/article/details/88085875

**2.2学习xpath **

• 学习xpath，使用lxml+xpath提取内容。
• 使用xpath提取丁香园论坛的回复内容。
• 丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
• 参考资料：https://blog.csdn.net/naonao77/article/details/88129994

1 性能 lxml >> BeautifulSoup
BeautifulSoup和lxml的原理不一样，BeautifulSoup是基于DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多。而lxml只会局部遍历，另外lxml是用c写的，而BeautifulSoup是用python写的，因此性能方面自然会差很多。

2 易用性 BeautifulSoup >> lxml
BeautifulSoup用起来比较简单，API非常人性化，支持css选择器。lxml的XPath写起来麻烦，开发效率不如BeautifulSoup。

3 总结
需求比较确定，要求性能的场合用lxml，快速开发用BeautifulSoup

ps: BeautifulSoup4可以使用lxml作为parser了

import os,sys,re
from bs4 import BeautifulSoup
import requests

url = 'http://www.dxy.cn/bbs/thread/626626#626626'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html,'lxml')
#print(soup.title)
for data in soup.find_all('tbody'):
    try:
        username = data.find('div',class_= 'auth').get_text(strip=True)
        content = data.find('td',class_='postbody').get_text(strip=True)
        print('【'+username+'】'+':'+content+'\n')

    except:
        pass

【楼医生】:我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每 次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊； 头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需 做什么检查，治疗方案怎样？

【lion000】:从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏 病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任 自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm

【xghrh】:同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且 更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2

【keys】:该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断 前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。

import os,sys,re
from bs4 import BeautifulSoup
import requests
from lxml import etree


url = 'http://www.dxy.cn/bbs/thread/626626#626626'
response = requests.get(url)
html = response.text

ET=etree.HTML(html)
username=ET.xpath('//div[@class="auth"]/a/text()')
content = ET.xpath('//td[@class="postbody"]')

for i in range(len(username)):
    res='【'+username[i].strip()+'】'+':'+content[i].xpath('string(.)').strip()+'\n'
    print(res)

【楼医生】:我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每 次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊； 头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需 做什么检查，治疗方案怎样？

【lion000】:从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏 病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任 自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm

【xghrh】:同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且 更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2

【keys】:该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断 前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。

 

参考：

1.https://www.zhihu.com/question/26494302/answer/78528053

2.https://www.cnblogs.com/vipchenwei/p/7807860.html

3.https://blog.csdn.net/qq_39610888/article/details/81262193

4.https://www.cnblogs.com/derek1184405959/p/8449682.html