爬虫
长风o
本博客为编程学习记录之用,同时方便自己总结和他人借鉴。如有不当之处请联系本人。
展开
-
[Selenium] Selenium定向爬取海量精美图片及搜索引擎杂谈
我自认为这是自己写过博客中一篇比较优秀的文章,同时也是在深夜凌晨2点满怀着激情和愉悦之心完成的。首先通过这篇文章,你能学到以下几点: 1.可以了解Python简单爬取图片的一些思路和方法 2.学习Selenium自动、测试分析动态网页和正则表达式的区别和共同点 3.了解作者最近学习得比较多的搜索引擎和知识图谱的整体框架 4.同转载 2017-10-17 16:53:19 · 867 阅读 · 0 评论 -
[Selenium] selenium — selenium三种等待方式解读,waituntil sleep等
发现太多人不会用等待了,博主今天实在是忍不住要给大家讲讲等待的必要性。很多人在群里问,这个下拉框定位不到、那个弹出框定位不到…各种定位不到,其实大多数情况下就是两种问题:1 有frame,2 没有加等待。殊不知,你的代码运行速度是什么量级的,而浏览器加载渲染速度又是什么量级的,就好比闪电侠和凹凸曼约好去打怪兽,然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门?凹凸曼分分中内心一万只羊驼飞转载 2017-10-18 11:08:11 · 6137 阅读 · 0 评论 -
【Selenium】webdriver进行页面元素定位
进行Web页面自动化测试,对页面上的元素进行定位和操作是核心。而操作又是以定位为前提的,因此,对页面元素的定位是进行自动化测试的基础。页面上的元素就像人一样,有各种属性,比如元素名字,元素id,元素属性(class属性,name属性)等等。webdriver就是利用元素的这些属性来进行定位的。可以用于定位的常用的元素属性:idnameclass nametag na转载 2017-10-17 14:59:48 · 661 阅读 · 0 评论 -
【Selenium】selenium安装与配置,以及chromedriver的使用
作为一个刚从开发转过来的测试人员,少不了一系列的测试工具。那么今天小新在跟大家分享一下我这两天弄的selenium。 selenium,跟QTP一样,是一个web的自动化测试工具,但相比于QTP,其具有以下优点: 1、小巧。对于不同的开发语言来说,它就是一个包而已,而QTP需要下载安装1G多的程序。 2、支持多种开发语言,不管你以前熟悉c、java、ruby、python还转载 2017-10-17 15:29:10 · 4831 阅读 · 1 评论 -
【Selenium】select中下拉框内容选取的三种方法
select菜单 select也是比较常见的,selenium封装了以下方法 创建select WebElement selector = driver.findElement(By.id("Selector"));Select select = new Select(selector); 选择select的option有转载 2017-10-17 15:53:42 · 11363 阅读 · 0 评论 -
【Selenium】Selenium 中文技术文档
http://selenium-python-zh.readthedocs.io/en/latest/navigating.html可以说是介绍的非常详细了相当于一篇简单的教程,非常推荐去看。Selenium用来高效地抓取动态加载的网页图片非常方便。原创 2017-10-17 14:51:31 · 1800 阅读 · 0 评论 -
PYTHON爬虫——必应图片关键词爬取
这段时间在实习,在做一些各大网站图片爬取的工作,基本告一段落,现在分别对百度图片,google图片,并应(Bing)图片三个网站的图片搜索结果进行爬取和下载。首先通过爬虫过程中遇到的问题,总结如下:1、一次页面加载的图片数量各个网站是不定的,每翻一页就会刷新一次,对于数据量大的爬虫几乎都需要用到翻页功能,有如下两种方式: 1)通过网站上的网址进行刷新,例如必应图片:url = 'htt原创 2017-11-06 11:38:36 · 20525 阅读 · 1 评论 -
PYTHON爬虫——谷歌(Google)图片关键词爬取
转载请注明出处: http://blog.csdn.net/Hk_john/article/details/78455889 给出完整代码:(请需要的自行下载,有问题请留言) http://download.csdn.net/download/hk_john/10105643 有时间会写一下百度图片和谷歌图片的python爬虫博客,先占行 google图片爬虫连接: 百度图片原创 2017-11-20 14:09:42 · 12110 阅读 · 0 评论