- 博客(11)
- 收藏
- 关注
RSS订阅原创 python爬取ajax网站数据
python爬取ajax网站数据我准备写一个电影推荐系统的博客，需要在豆瓣电影上爬数据，import requestsfrom bs4 import BeautifulSoupdef has_class(tag): return tag.has_attr('class')url = 'https://movie.douban.com/j/search_subjects?type=...
2020-03-23 09:54:20
858
原创 腾讯疫情数据获取
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2020-03-23 08:42:55
13592
4
原创 爬取微博游戏名人信息
爬取微博游戏名人信息昨天写了关于静态网站爬取爬取的文章，以为自己无所不能了，想去微博上爬点数据，差点被微博吊起来打，遇到了太多的坑了，做下记录常规步骤我们爬取的网址是爬取网址我们需要爬取游戏名人的姓名，关注量，粉丝量，微博量，地址和简介设置headers，get请求访问网站，BeautifulSoup解析这个网站有下一页选项，我们可以通过下一页选项，查看网址的变化情况第一页网址如下...
2020-03-21 10:33:25
1252
原创 分析微博游戏名人数据
分析微博游戏名人数据昨天我们爬取了微博游戏名人的信息，包括名字，关注量，粉丝量，微博量，地址和简介，今天我们就分析下它们的地址信息和简介...
2019-12-25 13:49:50
9244
原创 thinkphp博客系统
thinkphp博客系统mysql设计创建管理员表tp_admincreate table tp_admin( id int primary key not null auto_increment comment '自增id', username varchar(20) not null comment '用户名', password varchar(20) not null c...
2019-12-20 23:23:02
330
原创 爬取豆瓣top250电影并分析
import requestsfrom bs4 import BeautifulSoupimport timeimport pandas as pdimport pymysqldb = pymysql.connect('139.155.71.69','QINYUYOU','QINyuyou5821661!','homework')cursor = db.cursor()print('...
2019-12-15 22:59:06
624
原创 python爬取静态数据并存入数据库
python爬取静态数据并存入数据库连接mysql数据库导入pymysql，连接数据库import pymysqldb = pymysql.connect('ip','QINYUYOU','密码','homework')cursor = db.cursor()print('连接成功')爬取数据我们爬取的网站为:网站地址需要爬取序号，音频编号，专家ID，专家名字，情感状态，音频...
2019-12-09 17:41:04
1086
原创 python爬取豆瓣排行榜电影(静态爬取)(二次爬取)
目录python爬取豆瓣排行榜电影(静态爬取)获取网站url获取网站headersget请求访问urlBeautifulSoup解析网站爬取html数据完整代码python爬取豆瓣排行榜电影(静态爬取)爬取页面上每个电影的名称、年份，评分和类型。获取网站url因为我们爬取的内容第一个页面没有，需要点击电影进入详情所以我们需要获取每个电影链接的urlurl = 'https://mo...
2019-12-09 11:27:30
1500
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人