![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫脚本
文章平均质量分 69
玲珑算局
这个作者很懒,什么都没留下…
展开
-
日常记录:抓取某条网页端关键词搜索结果
使用python抓取某条网站的搜索结果,用于分析研究。原创 2022-04-08 14:42:14 · 438 阅读 · 0 评论 -
python+selenium调用浏览器(IE-Chrome-Firefox)实现爬虫功能
好记性不如烂笔头,今天把selenium调用浏览器操作总结一下。 首先,得先明确,为什么要采用selenium来模拟登陆网页。最主要的原因我认为还是在于通过这种模拟登录方式获取的页面html代码,可以把js里的内容也获取到,而通过urllib方式模拟登录的方式虽然也可以伪装成浏览器的形式获取页面html代码,但是这里面的js,css代码是没有的,也就是没有动态的内容,达不到全面抓取数据的原创 2016-07-12 14:31:39 · 21139 阅读 · 4 评论 -
Python利用MonkeyRunner操作手机
手机连接电脑后,利用monkeyrunner操作手机时,一般的商业机(也就是我们买到的手机)是无法直接连接的,可以通过adb devices查看手机是否已经连接电脑,象下图一样会出现类似手机ID的序号就代表连接成功。直接链接的话会出险报错“unable to get view server version ”,“unable to get view server protocol ve原创 2016-06-15 11:16:26 · 1016 阅读 · 0 评论 -
Python爬虫抓取代理IP并检验可用性
经常写爬虫,难免会遇到ip被目标网站屏蔽的情况,银次一个ip肯定不够用,作为节约的程序猿,能不花钱就不花钱,那就自己去找吧,这次就写了下抓取 西刺代理上的ip,但是这个网站也反爬!!!至于如何应对,我觉得可以通过增加延时试试,可能是我抓取的太频繁了,所以被封IP了。但是,还是可以去IP巴士试试的,条条大路通罗马嘛,不能吊死在一棵树上。不废话,上代码。#!/usr/bin/env pyt原创 2016-07-13 18:30:32 · 11544 阅读 · 3 评论