Python爬虫：BeautifulSoup4初探

需求：使用BeautifulSoup4抓取糗事百科的第一页热门段子

1、安装：

sudo pip3 install BeautifulSoup4

2、引入bs4和requests包

import requests
from bs4 import BeautifulSoup

3、使用requests请求获取页面内容，并使用bs4进行解析

content = requests.get('https://www.qiushibaike.com/hot/').content
soup = BeautifulSoup(content, 'html.parser')

4、使用bs4中的findall方法，在所有的div标签中查找类class选择器名为content中的内容并输出：

for div in soup.find_all('div',{'class':'content'}):
    print(div.text.strip())

整合代码得到：

import requests
from bs4 import BeautifulSoup

content = requests.get('https://www.qiushibaike.com/hot/').content
soup = BeautifulSoup(content, 'html.parser')

for div in soup.find_all('div',{'class':'content'}):
    print(div.text.strip())

结果为：

就刚刚，在城郊河里夜钓，打了十根海杆，两根烟还没抽完，突然铃声大作，扬杆，刺鱼，感觉重鱼，赶紧收线，尼玛这鱼一个劲要线，收收放放快半个小时，引来一群钓友和河边散步的行人，都在讨论今晚要出巨物了，～～～～～～～～～～割～～～～～～～～～～～～～～有眼神好的哥们说看对面好像也中大鱼了，突然想起网上流传缠线俩人对溜了一夜的笑话，赶紧冲对面喊：对面中鱼的钓友，别收线了，是不是我俩钩挂一起了。你妹啊，对面一停，我这也不要线了，原来我俩对溜了半小时
今天天气不错，媳妇去逛街，遇见夏装清仓，买了几件回来。按照惯例，她开始考我每件衣服多少钱。先是一件T恤，我猜50，居然蒙对了，再猜就猜不中了。后来媳妇说:告诉你吧，剩下这三件一共200。我擅长计算，脱口说了一句话，媳妇不拿好眼色看我。
上海堡垒这个片子，真的挺好的，演员的演技十分出色，虽然是配音，但是对上的地方特别多，最需要夸赞的就是特效，相当震撼。推荐大家去看看。毕竟，冤枉钱不能我一个人花。
......