![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫和自动化测试
qq_36523007
这个作者很懒,什么都没留下…
展开
-
爬取豆瓣top250电影并分析
import requestsfrom bs4 import BeautifulSoupimport timeimport pandas as pdimport pymysqldb = pymysql.connect('139.155.71.69','QINYUYOU','QINyuyou5821661!','homework')cursor = db.cursor()print('...原创 2019-12-15 22:59:06 · 589 阅读 · 0 评论 -
selenium自动登录知网下载论文
自动登录知网下载期刊论文原创 2019-12-14 19:48:51 · 681 阅读 · 1 评论 -
python爬取ajax网站数据
python爬取ajax网站数据我准备写一个电影推荐系统的博客,需要在豆瓣电影上爬数据,import requestsfrom bs4 import BeautifulSoupdef has_class(tag): return tag.has_attr('class')url = 'https://movie.douban.com/j/search_subjects?type=...原创 2020-03-23 09:54:20 · 802 阅读 · 0 评论 -
爬取微博游戏名人信息
爬取微博游戏名人信息昨天写了关于静态网站爬取爬取的文章,以为自己无所不能了,想去微博上爬点数据,差点被微博吊起来打,遇到了太多的坑了,做下记录常规步骤我们爬取的网址是爬取网址我们需要爬取游戏名人的姓名,关注量,粉丝量,微博量,地址和简介设置headers,get请求访问网站,BeautifulSoup解析这个网站有下一页选项,我们可以通过下一页选项,查看网址的变化情况第一页网址如下...原创 2020-03-21 10:33:25 · 1154 阅读 · 0 评论 -
python爬取静态数据并存入数据库
python爬取静态数据并存入数据库连接mysql数据库导入pymysql,连接数据库import pymysqldb = pymysql.connect('ip','QINYUYOU','密码','homework')cursor = db.cursor()print('连接成功')爬取数据我们爬取的网站为:网站地址需要爬取序号,音频编号,专家ID,专家名字,情感状态,音频...原创 2019-12-09 17:41:04 · 1054 阅读 · 0 评论 -
python爬取豆瓣排行榜电影(静态爬取)(二次爬取)
目录python爬取豆瓣排行榜电影(静态爬取)获取网站url获取网站headersget请求访问urlBeautifulSoup解析网站爬取html数据完整代码python爬取豆瓣排行榜电影(静态爬取)爬取页面上每个电影的名称、年份,评分和类型。获取网站url因为我们爬取的内容第一个页面没有,需要点击电影进入详情所以我们需要获取每个电影链接的urlurl = 'https://mo...原创 2019-12-09 11:27:30 · 1347 阅读 · 0 评论