2024年Python最全python初学者是怎么写爬虫的？(16行代码爬百度)

https://www.baidu.com/s?wd=python

所以首先尝试获取搜索结果的html:

import requests

from bs4 import BeautifulSoup

url=‘https://www.baidu.com/s?wd=’+‘python’

headers = {“Accept”:“text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9”,“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36”}

html = requests.get(url,headers=headers).text

print(html)

然后，我们再从HTML里面找出我们想要的

可以看爬下来的数据也可以使用谷歌浏览器的F12

这里已谷歌的F12为例

可以发现，div标签中

• class为’result c-container '的为非百度，非广告的内容(我们需要的内容)

• class为’result-op c-container xpath-log’的为百度自家的内容(可以按需筛选)

• class为其它的都为广告

首先定义筛选

soup = BeautifulSoup(html, ‘html.parser’)

使用for循环找出所有div标签，且class为’result c-container’

for div in soup.find_all(‘div’,class_=“result c-container”):

print(div)

让后再次使用for循环在其中找出h3标签

for div in soup.find_all(‘div’,class_=“result c-container”):

#print(div)注释掉方便检查代码

for h3 in div.find_all(‘h3’):

print(h3.text)

再次寻找出标题和链接(a标签)

for div in soup.find_all(‘div’,class_=“result c-container”):

#print(div)

for h3 in div.find_all(‘h3’):

#print(h3.text)

for a in h3.find_all(‘a’):

print(a.text,’ url:',a[‘href’])

这样，我们就成功屏蔽了广告、百度百科等等

整体代码如下：

import requests

from bs4 import BeautifulSoup

url=‘https://www.baidu.com/s?wd=’+‘python’

headers = {“Accept”:“text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9”,“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36”}

html = requests.get(url,headers=headers).text

print(html)

soup = BeautifulSoup(html, ‘html.parser’)

for div in soup.find_all(‘div’,class_=“result c-container”):

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！