爬虫学习2.1 使用beautifulsoup提取丁香园论坛的回复内容

任务描述

学习beautifulsoup，并使用beautifulsoup提取内容。
使用beautifulsoup提取丁香园论坛的回复内容。
丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
参考资料：https://blog.csdn.net/wwq114/article/details/88085875

---

话不多说，先上代码：

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        return r.text
    except:
        print("getHTMLText error!")
        return ""


def parsePage(text):
    htmlInfo = {}
    try:
        soup = BeautifulSoup(text, "html.parser")
        auths = soup.findAll('div', attrs={'class': 'auth'})
        name = []
        for auth in auths:
            name.append(auth.string)
        tds = soup.findAll('td', attrs={'class': 'postbody'})
        i = 0
        for td in tds:
            content = ""
            for string in td.stripped_strings:
                content += string + '\n\t\t'

            htmlInfo[name[i]] = content

            i += 1
    except:
        print("parsePage error!")
    return htmlInfo


def printHTMLInfo(htmlInfo):
    tplt = "{:}\t{:}"

    print(tplt.format("name", "content"))
    for key, value in htmlInfo.items():
        print(tplt.format(key, value))


def main():
    url = "http://www.dxy.cn/bbs/thread/626626#626626"
    text = getHTMLText(url)
    htmlInfo = parsePage(text)
    printHTMLInfo(htmlInfo)


main()

效果如图：

思路：

• 先尝试找到回复内容的网页代码
  
  可以看到，我们想要的文本被 td class=“postbody” 包裹，其他文本也是如此，于是就有了tds = soup.findAll('td', attrs={'class': 'postbody'})这一行代码。
• 从中提取文本时，会发现后面的回复里面有一些标签的干扰，这是由于用户换行和贴链接造成的。查阅BeautifulSoup官方教程：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#string 可以找到一个叫stripped_strings的东西
  这正是我们需要的
• 至于昵称的获取，这张图给出了办法：
  
  具体做法可以看上面的代码

---

可以说，这是学习爬虫一天以来最顺利的一次。代码中的很多地方都借鉴了嵩天老师MOOC课程，有不明白的地方建议先去学习他的课。