jackisthebestone-CSDN博客

原创 python 按固定个数取可迭代对象

python 按固定个数取可迭代对象需求:将文件名或者数字等可迭代对象，每5位输出一次解决方案: itertools.islice, more_itertoolsitertools.isliceimport itertoolsb = [i for i in range(100)]c = iter(b)def f(): return list(itertools.islice(c, 3))d = iter(f, []) # 迭代调用f, 直到结果为[]print(n

2020-11-20 17:09:03 370

原创 selenium 定位不到元素

在抓取数据的过程中经常会有元素定位不到，根据学习各位老师的博客以及自己的实际经验，总结如下： 1、页面未加载。有可能是页面尚未加载出来，所以可以设置time.sleep来等待。 2、打开新的窗口。点击某个链接后浏览器打开了新的窗口，从浏览器上看目前是定位在新打开的窗口，但是在程序中定位到的是原始的窗口，所以定位不到数据。在实际中打印page_source发现总是原始窗口的源码，经过学习，对重开h

2017-07-21 10:16:24 597

转载 python selenium启动不了火狐浏览器（firefox）的解决办法

本文章转载深圳SEO_广东SEO网站优化建设 » python selenium启动不了火狐浏览器（firefox）的解决办法，仅供记录，以备学习。selenium3.0之前的版本，是可以直接打开火狐浏览器的，但3.0之后的版本的就不支持了。需要我们单独装上驱动。1.pip show selenium查看一下你的selenium版本，如果是3.0以上的，说明需要安装驱动了。那么问题来了，怎么安装驱

2017-07-21 10:00:00 10642 6

转载 PYthon Selenium 爬虫操作浏览器

本篇文章并非原创，转载selenium_python系列之二 Python启动浏览器Firefox\Chrome\IE ，仅作为记录，以供学习！-- coding:utf-8 --import osimport seleniumfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keys"""练习启

2017-07-21 09:52:45 848

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-07-21 09:48:10 204

转载 Python线程进阶篇|多线程下载网页

转载简书的一篇好文章，在此记录一下，也致敬源作者。http://www.jianshu.com/p/d70b69244775

2017-03-21 09:08:58 443

原创一个很棒的BeautifulSoup 的中文文档

http://beautifulsoup.readthedocs.io/zh_CN/latest/#id1

2017-02-09 11:38:57 642

原创 Incapsula 反爬虫

新遇到个反爬虫的事情，在一个遍历中，第一个数据正常，第二个报错：<body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=9&xinfo=10-169203586-0 0NNN RT(1481249976816 0) q(0 -1 -1 -1) r(0 -1) B12(4,316,0) U

2016-12-09 10:32:18 6887

jackisthebestone的博客