beautifulsoup4
小李爱发呆
啥都不会的憨憨
展开
-
爬取豆瓣top250电影每条电影的前n页评论,需要上一条博客代码里爬取的基本信息
#连接自己的数据库 电影基本数据库表已上传可以下载 或者自己根据上一条博客的代码爬取后存到自己的数据库有整个项目的资源可以下载 已上传flask+…import pymysqlimport sysimport requestsimport bs4import re#连接 mysql,获取连接的对象 con = pymysql.connect(host='localhost', user='name', password='123456', port=3306, db='student原创 2020-10-08 17:00:49 · 549 阅读 · 0 评论 -
利用python的BeautifulSoup4库爬取豆瓣top250基本电影信息
利用python的BeautifulSoup4库爬取豆瓣top250基本电影信息存在.txt文件中```pythonimport requestsimport bs4import redef open_url(url): #那么User-Agent到底是什么呢?User-Agent会告诉网站服务器,访问者是通过什么工具来请求的,如果是爬虫请求,一般会拒绝,如果是用户浏览器,就会应答 headers={'user-agent':'Mozilla/5.0 (Windows NT 10原创 2020-10-08 16:52:17 · 865 阅读 · 1 评论