一个超级简单的Python爬虫例子

最新推荐文章于 2024-10-08 16:37:40 发布

如梦难醒

最新推荐文章于 2024-10-08 16:37:40 发布

阅读量888

点赞数 2

分类专栏： python 文章标签： Python爬虫

本文链接：https://blog.csdn.net/high_height/article/details/101211446

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

首先要安装两个库（requests、BeautifulSoup）

爬了中国旅游网的某一条消息

import requests
from bs4 import BeautifulSoup
url = "http://www.cntour.cn/"
page=requests.get(url)
soup = BeautifulSoup(page.text,'lxml')

//dom节点位置
data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')

//转化html为节点内容
for i in data:
    result={
        'title':i.get_text(),
        'link':i.get('href')
    }
print (result)

一个非常简单的例子，但是起码能够copy来跑一下，拿点感觉