爬虫
文章平均质量分 61
Zcxuhhhh
stay foolish stay hungry
展开
-
模拟登录正方软件制作的教务系统
一天心血来潮,想利用爬虫模拟登录自己学校的教务网。捣鼓了一会儿之后,发现学校的教务网是进行了前端加密的。绞尽脑汁地用python加模块模拟了好一会儿,发现总是不对。没办法,只能转向前端js,所以下载了一个模拟执行前端js的pyv8。发现可以解决。pyv8下载连接:点击打开链接打开密码:7rd5python环境是2.7.14分享如下源码:#_._ coding:utf-8 _原创 2018-01-24 18:01:15 · 1230 阅读 · 0 评论 -
USnews 国外排行榜 爬取数据
今天,因为某种需要,要对国外大学排行榜进行数据的爬取。所以,对那个网站的一些数据进行的了爬取。对爬取到的数据进行存储到mysql数据库中。 网站地址:点击打开链接# _._ coding:utf-8 _._#import lxmlfrom lxml import etreeimport requestsimport MySQLdb# 打开数据库连接db = MyS原创 2018-01-24 18:18:33 · 3186 阅读 · 0 评论 -
微博上随便下载几张图片
今天在玩微博的时候,无意中想到利用python爬取一下,随便下载几张图片看看。但是,发现微博跟普通的网站不一样,想获取一点内容,都得先从浏览器上获得cookie。不然都无法自动跳转。目前,我还没有找到好的解决办法,所以以后发现了再更新,现在就先马马虎虎用一会儿先。#coding=utf-8#微博#下载几张图片#from lxml import etreeimport原创 2018-01-24 18:32:48 · 662 阅读 · 0 评论