下面开始编写我们爬虫：
第一步先导入以上三个包：
import json
import requests
from bs4 import BeautifulSoup
接着我们定义一个获取指定页码内数据的方法：
def get_page(page):
url_temp = ‘http://temp.163.com/special/00804KVA/cm_guonei_0{}.js’
return_list = []
for i in range(page):
url = url_temp.format(i)
response = requests.get(url)
if response.status_code != 200:
continue
content = response.text # 获取响应正文
_content = formatContent(content) # 格式化json字符串
result = json.loads(_content)
return_list.append(result)
return return_list
这样子就得到每个页码对应的内容列表：
之后通过分析数据可知下图圈出来的则是需要抓取的标题、发布时间以及新闻内容页面。
既然现在已经获取到了内容页的url，那么接下来开始抓取新闻正文。
在抓取正文之前要先分析一下正文的html页面，找到正文、作者、来源在html文档中的位置。
我们看到文章来源在文档中的位置为：id = "ne_article_source" 的 a 标签。
作者位置为：class = "ep-editor" 的 span 标签。
正文位置为：class = "post_text" 的 div 标签。
下面试采集这三个内容的代码：
def get_content(url):
source = ‘’
author = ‘’
body = ‘’
resp = requests.get(url)
if resp.status_code == 200:
最后
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~
给大家准备的学习资料包括但不限于：
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频**
如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-H48UTScK-1710981771913)]
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
