爬虫
小熊&Gary
pythoner,记录自己的一些编程经验和教训,和大家一起交流学习
展开
-
python selenium模拟浏览器操作实战(武汉大学原教务系统)
1.项目简介因为信息门户如果用requests发post请求进行模拟登录的操作比较麻烦(自己太low,信息门户的加密算法没搞明白),所以没办法就只能考虑通过其他途径去做。采用selenium就是一个比较好的解决办法(虽然比较慢,但是至少能用 ),模拟浏览器输入账号密码然后点击登录即可实现登录,然后获取相关cookies等信息就可以进行后续成绩获取等操作了。2.参考代码#!/usr/bin/env python# -*- coding:utf-8 -*-# Author : Garyimpor原创 2020-08-30 13:42:15 · 995 阅读 · 2 评论 -
python selenium入门 元素定位
想要操作web页面上的元素,首先必须要定位到这个元素上。每个元素都有他各自的属性,比如id,name,class等,我们就通过这些属性来定位元素。定位方法webdriver提供的定位方法如下:代码举例# -*- coding: utf-8 -*-# author:Garyfrom selenium import webdriver# 第一步:创建一个浏览器对象browser = webdriver.Chrome()# 第二步:使用浏览器对象对网址发起请求browser.get("h原创 2020-08-22 19:27:40 · 813 阅读 · 0 评论 -
python采用requests+bs4爬取豆瓣top250电影信息
爬取豆瓣top250电影说明(链接:https://movie.douban.com/top250,可爬取一页或者多页(输出电影的正标题(肖申克的救赎),副标题( The Shawshank Redemption)、其他名( / 月黑高飞(港) / 刺激1995(台))、导演和主演(导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /…)、年份(1994)、国家(美国)、类型(犯罪 剧情)、评分(9.7)、评分人数(2072430)、名言(对应下原创 2020-07-17 11:49:34 · 5411 阅读 · 0 评论 -
记录一次手机app数据爬取的经历(Fiddler(手机抓包)+tasker(定时启动app)+夜神模拟器)
1. Fiddler配置及抓包先配置好fiddler和手机(模拟器也可以),然后用手机或者模拟器运行app,用fiddler抓包找到自己想要的内容,然后可以自定义script保存数据。(实属无奈,用python模拟不了一些东西)电脑最好是笔记本,这样能和手机保持统一局域网内;其他不多说,直接说步骤了。一.对PC(笔记本)参数进行配置1. 配置fiddler允许监听到https(fiddler默认只抓取http格式的) 打开Fiddler菜单项Tools->TelerikFiddle原创 2020-08-04 15:08:33 · 4387 阅读 · 0 评论