Python爬虫任务2

最新推荐文章于 2024-07-23 16:17:03 发布

渔歌子逆向

最新推荐文章于 2024-07-23 16:17:03 发布

阅读量194

点赞数

分类专栏： Python 文章标签： Python 爬虫 beautifulsoup XPath 丁香园

本文链接：https://blog.csdn.net/poke2008/article/details/89116782

版权

Python 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1 Beautiful Soup

Beautiful Soup库的安装与基本使用方法
Beautiful Soup 中文文档

1.1 使用beautifulsoup提取丁香园论坛的回复内容

    r = requests.get('http://www.dxy.cn/bbs/thread/626626#626626')
    soup = bs(r.text, 'html.parser')
    ls = soup.find_all("td", class_ = "postbody")
    for i in range(len(ls)):
        print(ls[i].get_text(strip=True))

2 XPath

python爬虫之xpath的基本使用
XPath 教程

2.1 使用xpath提取丁香园论坛的回复内容

    r = requests.get('http://www.dxy.cn/bbs/thread/626626#626626')
    tree = etree.HTML(r.text)
    user = tree.xpath('//div[@class="auth"]/a/text()')
    content = tree.xpath('//td[@class="postbody"]')
    for i in range(len(user)):
        print(user[i].strip() + "：" + content[i].xpath('string(.)').strip())
        print('-' * 80)