# requests - 请求页面,得到响应结果
# BuautifulSoup4 - 根据响应结果解析页面、提取数据
# 写入文件、数据库
import requests
from bs4 import BeautifulSoup
# bs4模块能从html或者xml中提取数据。
for page in range(1,11):
print(f'第{page}页')
URL=f'https://www.chinanews.com.cn/scroll-news/news{page}.html'
# URL='https://101.qq.com/#/hero'
# URL='https://movie.douban.com/top250'
# headers={} --->字典:{key:value}
# headers是给爬虫提供伪装的
# User-Agent -->将爬虫伪装成浏览器
Headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
response = requests.get(url=URL,headers=Headers)
# 如果状态码是200,爬虫可用
if response.status_code == 200:
# response.encoding='gbk'
response.encoding = 'utf-8'
# 打印网页源代码
# print(response.text)
# 为什么要对比打印结果和网页中的内容是否一致?
"""
网页:分为静态页面和动态页面
静态页面:内容写死的,除非人为的进行内容修改,否则这个页面的内容是一成不变的。
动态页面:内容不是写死的。使用某种特殊的技术(JavaScript)使数据通过某种方式显示在页面中
requests得到的结果是静态页面的结果。
"""
# BeautifulSoup(网页源码,解析器)-->将字符串类型的源代码转换为bs4类型
# bs模块提供了一系列提取数据的方法,这些方法的操作对象的bs4类型的数据。
soup = BeautifulSoup(response.text,'html.parser')
# print(soup,type(soup))
# select:根据CSS选择器(标签、class、id等)定位数据,得到的是符合这个选择器的所有结果(整体是列表,列表中每个元素是一个Bs4类型的数据)
# select_one:根据CSS选择器(标签、class、id等)定位数据,得到的是符合这个选择器的一个结果(是一个bs4类型数据)
# text:从bs4类型数据中提取标签内的内容,结果为str
# attrs:从bs4类型数据中提取标签内容属性值,结果为str
li_list = soup.select('body > div.w1280.mt20 > div.content-left > div.content_list > ul >li')
# print(li_list)
for i in li_list:
# print(i,type(i))
if i.select_one('li > div.dd_lm > a') != None:
news_type = i.select_one('li > div.dd_lm > a').text
# print(news_type,type(news_type))
news_title = i.select_one('li > div.dd_bt > a').text
# print(news_title)
news_href = 'https://www.chinanes.com.cn' + i.select_one('li > div.dd_bt > a').attrs['href']
# print(news_href)
news_time = i.select_one('li > div.dd_time').text
# print(news_time)
print(news_type,news_title,news_href,news_time)
15 day初步爬虫
于 2022-07-08 19:20:55 首次发布