Task4 学习xpath

学习xpath，使用lxml+xpath提取内容。 使用xpath提取丁香园论坛的回复内容

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/3/4 9:22
# @Author  : StalloneYang
# @File    : 04_xpath_dingxiang.py
# @desc:学习xpath，使用lxml+xpath提取内容

from lxml import etree
import requests

url = "http://www.dxy.cn/bbs/thread/626626#626626"
broswer = requests.session()

re = requests.get(url=url)
result = re.text
html = etree.HTML(result)

user_count = html.xpath('//*[@id="postcontainer"]/div')  # 一共有几条评论
# print(len(user_count))

for i in range(len(user_count)):
    # print("第几次循环：" + str(i+1))

    user_name = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[2]/a/text()')[0]  # 楼主姓名
    # print(user_name)
    # print(len(user_name))

    try:  # 当是丁香园荣誉版主时，需处理一下
        user_level = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[3]/p/span/text()')[0]  # 等级
    except Exception:
        user_level = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[3]/div/text()')[0]
    # print(user_level)
    # print(len(user_level))
    user_score = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[4]/ul/li[1]/div/a/text()')[0]  # 积分
    # print(user_score)
    # print(len(user_score))

    user_votes = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[4]/ul/li[2]/div/a/text()')[0]  # 得票
    # print(user_votes)
    # print(len(user_votes))

    user_home_money = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[1]/div[4]/ul/li[3]/div/a/text()')[0]  # 叮当
    # print(user_home_money)
    # print(len(user_home_money))
    if i == 0:  # 第一个有问题，需处理一下
        user_comment = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[2]/div[2]/div[2]/table/tbody/tr/td/text()')[0]  # 评论
    else:
        user_comment = html.xpath('//*[@id="post_' + str(i+1) + '"]/table/tbody/tr/td[2]/div[2]/div[1]/table/tbody/tr/td/text()')[0]  # 评论
    # print(user_comment.strip())
    # print(len(user_comment))

    print("第" + str(i+1) + "楼复人的信息>>姓名：" + user_name + " 等级:" + user_level.strip() + " 积分:" + user_score + " 得票:" + user_votes + " 叮当:" + user_home_money + " 评论内容：" + user_comment.strip())

运行结果如下：

"D:\Program Files\Python37\python.exe" D:/workspace/test/spider/04_xpath_dingxiang.py
第1楼复人的信息>>姓名：楼医生 等级:常驻站友 积分:3 得票:1 叮当:168 评论内容：我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
第2楼复人的信息>>姓名：lion000 等级:丁香园准中级站友 积分:43 得票:7 叮当:82 评论内容：从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。
第3楼复人的信息>>姓名：xghrh 等级:丁香园荣誉版主 积分:68 得票:15 叮当:413 评论内容：同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。
第4楼复人的信息>>姓名：keys 等级:常驻站友 积分:8 得票:0 叮当:141 评论内容：该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。

Process finished with exit code 0

运行截图：