- 博客(7)
- 收藏
- 关注
RSS订阅原创 关于修改WIFI代理后手机部分APP无法使用的解决办法
关于修改WIFI代理后手机部分APP无法使用的解决办法最近在练习爬虫抓取手机app数据时出现了一个问题，就是修改wifi代理，使用fiddler代理时，使用斗鱼app显示无法连接到服务器，在网上搜索了一下结果，个人觉得可能是网络证书的问题，下面是我自己的解决方法解决方法在手机浏览器中输入地址：http://localhost:8888/, 点击FiddlerRoot certifica...
2019-03-29 16:03:43
10838
5
原创 使用爬虫获取ajax数据
使用爬虫获取豆瓣电影排名信息分析因为豆瓣电影排行榜内容使用ajax加载的，如果只是简单访问 url “https://movie.douban.com/typerank?type_name=剧情&type=11&interval_id=100:90&action=” 得到的只是这个页面的一个框架html，并没有需要的实质性的内容经过抓包分析，发现内容数据在 url ...
2019-03-27 13:52:55
591
原创 使用selenium获取ajax加载的页面信息
使用selenium获取ajax加载的页面信息实验网站：豆瓣电影剧情片主要使用模块：selenium (pip install selenium)lxml (pip install lxml)主要思路：因为直接使用selenium访问豆瓣页面是不行的，需要让selenium执行一段js脚本滑动滚动条，才能使豆瓣页面刷新，获取到需要的内容。代码如下"""使用s...
2019-03-27 13:42:52
6054
原创 使用selenium+BeautifulSoup统计斗鱼lol板块信息
使用selenium+BeautifulSoup统计斗鱼lol板块信息闲来无事，使用selenium对斗鱼的页面进行了一下请求练习，并且对页面的数据进行了简单统计不得不说得出了惊人的数据，斗鱼仅仅是英雄联盟板块的热度就有7000多万…注意：测试数据和时间结点有关"""本来想爬取前10页内容，结果发现第一页都挺多的，就只爬取了第一页"""from selenium import w...
2019-03-26 22:14:14
138
原创 python3爬虫爬取百度贴吧下载图片
python3爬虫爬取百度贴吧下载图片学习爬虫时没事做的小练习。百度对爬虫还是很友好的，在爬取内容方面还是较为容易。可以方便各位读者去百度贴吧一键下载每个楼主的图片，至于是什么类型的图片，就看你输入什么关键字了。使用python模块使用urllib进行爬取（python3自带不用额外安装）使用xpath进行数据提取（pip install lxml)from urllib i...
2019-03-25 21:05:55
455
原创 使用urllib.request+xpath爬取糗事百科文字内容
使用urllib.request+xpath爬取糗事百科文字内容最近在学习爬虫，闲来无事进行了一个小练习，对糗事百科中的文字板块内容进行了爬取，并进行了整理，然后存入到了json文件中。废话不多说，直接上代码。from urllib import requestimport jsonfrom lxml import etreeclass QiuShiSpider: ""...
2019-03-25 20:47:51
1050
原创 jquery使用 360 jsonp公开接口
jquery使用360 jsonp公开接口在学习jquery实现jsonp的跨域请求数据时，出现了些小问题，查阅了一些网上已有的文章，发现有些文章在细节方面多少有些问题，所以便想把自己发现的问题写出来。废话不多说，直接上代码<!DOCTYPE html><html> <head> <meta charset="utf-8"> &...
2019-03-16 15:02:59
362
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人