自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

Andyren0126的博客

原创 python定时简单爬取网页新闻存入数据库并发送邮件

本人小白一枚，简单记录下学校作业项目，代码十分简单，主要是对各个库的理解，希望能给别的初学者一点启发。O(∩_∩)O python定时简单爬取网页新闻存入数据库并发送邮件一、项目要求二、项目分析三、代码分析1、导入需要的库：2、获取html文件：3、解析html提取数据：4、存入数据库5、发送邮件6、主函数7、定时执行四、完整代码一、项目要求 1、程序可以从北京工业大学首页上爬取新闻内容：http://www.bjut.edu.cn 2、程序可以将爬取下来的数据写入本地MySQL数据库中。 3、程序可以

2020-11-22 13:33:39 6708 27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Andyren0126 CSDN认证博客专家 CSDN认证企业博客

码龄4年

暂无认证

IP 属地：江苏省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

1: 原创

117万+: 周排名

123万+: 总排名

6707: 访问

: 等级

161: 积分

33: 粉丝

57: 获赞

27: 评论

311: 收藏

私信

关注

最新评论

python定时简单爬取网页新闻存入数据库并发送邮件
miki_cn: 同样的问题，后来换其他网站跑通了。估计是网站反爬。
python定时简单爬取网页新闻存入数据库并发送邮件
Andyren0126: 看着是 soup对象有问题，检查检查库或者soup对象
python定时简单爬取网页新闻存入数据库并发送邮件
weixin_42121416: 这个报错是什么原因 Traceback (most recent call last): File "C:\Users\DELL\PycharmProjects\pythonProject\venv\Scripts\数据处理\爬墙2.py", line 114, in <module> schedule.run_pending() File "C:\Python39\lib\site-packages\schedule\__init__.py", line 592, in run_pending default_scheduler.run_pending() File "C:\Python39\lib\site-packages\schedule\__init__.py", line 94, in run_pending self._run_job(job) File "C:\Python39\lib\site-packages\schedule\__init__.py", line 147, in _run_job ret = job.run() File "C:\Python39\lib\site-packages\schedule\__init__.py", line 491, in run ret = self.job_func() File "C:\Users\DELL\PycharmProjects\pythonProject\venv\Scripts\数据处理\爬墙2.py", line 106, in main parseHTML(news, html) File "C:\Users\DELL\PycharmProjects\pythonProject\venv\Scripts\数据处理\爬墙2.py", line 33, in parseHTML for i in soup.find(attrs={'class': 'list'}).find_all('li'): # 存放新闻的li标签 AttributeError: 'NoneType' object has no attribute 'find_all'
python定时简单爬取网页新闻存入数据库并发送邮件
weixin_42121416: AttributeError: 'NoneType' object has no attribute 'find_all'
python定时简单爬取网页新闻存入数据库并发送邮件
LaoYuanPython: 感谢博主提供的详细代码！这阅读量杠杠的！点赞的人真多！好多人都关注！从人气可以看出深得大家的喜爱! 同为Python爱好者，欢迎到本人的Python专栏来交流： [code=python] https://blog.csdn.net/laoyuanpython/category_9831699.html [/code]