D.K专栏

欢迎志同道合者相互探讨

bpython:界面丰富的Python解析器

bpython是轻量级的Python解析器,同时包含了常见的IDE功能。功能包括语法高亮,预计参数列表、自动缩进和自动补全(下面是用法演示)。 bpython并不是一个完整的IDE,它的主要目的是为了快速把灵感用实用又轻量的方式实现出来。bpython可以作为常规Python解析器的...

2017-12-13 21:16:44

阅读数:288

评论数:0

appium通过图像识别技术opencv解决密码键盘的模拟输入密码问题

appium自动化测试框架,具体信息不便我重复,网上能够查找的资料也很多 我项目中在做自动化测试的过程中,遇到密码键盘,需要进行模拟点击输入的问题,使用appium提供的sent_keys方法不管用,原因是密码键盘必须得点击密码键盘进行输入才能够通过。 密码键盘的原理是每次点击一个按键...

2017-08-30 15:07:43

阅读数:1316

评论数:0

python三种网页抓取方法

通过前面介绍的几篇文章,知道了爬取一个网页很容易了,python爬虫高级功能那一篇,介绍了爬虫的几种反爬虫措施,这里主要介绍三种抓取其中数据的方法。首先是正则表达式,然后是流行的BeautifulSoup模块,最后是强大的lxml模块 **1、正则表达式** 如果对正则表达式不熟悉,或是需要一些提...

2017-03-09 17:12:29

阅读数:619

评论数:0

python爬虫高级功能

上一篇文章中我们介绍了爬虫的实现,及爬虫爬取数据的功能,这里会遇到几个问题,比如网站中robots.txt文件,里面有禁止爬取的URL,还有爬虫是否支持代理功能,及有些网站对爬虫的风控措施,设计的爬虫下载限速功能。 1、解析robots.txt 首先,我们需要解析robots.txt文...

2017-03-08 16:31:58

阅读数:2609

评论数:0

Python爬虫爬数据

上一篇文章中,我们只实现了爬虫,爬取网站的源代码,但大多数情况下是我们需要爬取网站的感兴趣的内容。 通过跟踪所有的连接方式,我们可以很容易地下载到整个网站的页面。但是,这种方法会下载大量我们并不需要的网页。例如,我们想要从一个在线论坛中抓取用户帐号的详情页,那么此时我们只需要下载帐号页,...

2017-03-08 14:52:36

阅读数:998

评论数:0

python爬虫改进版

看过我上一篇文章的,都知道写一个爬虫是很容易的。可以参考我的文章:http://blog.csdn.net/jsqfengbao/article/details/56667070 但现在网站各种各样,爬虫效率、及容错性等都需要改进。现在对上一个爬虫进行下改进。 简单的下载网页的代码: import...

2017-03-07 19:36:41

阅读数:432

评论数:0

urlparse相关知识

urlparse模块主要是把url拆分为6部分,并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。 urlparse.urlparse(urlstring[, scheme[, allow_fragments...

2017-03-07 14:46:14

阅读数:229

评论数:0

Python链接SQLServer数据库--pymssql使用基础

链接数据库 pymssql连接数据库的方式和使用sqlite的方式基本相同: 1、使用connect创建连接对象 2、connect.cursor创建游标对象,SQL语句的执行基本都在游标上进行 3、cursor.executeXXX方法执行SQL语句,cursor.fetchXXX获取查...

2017-02-23 17:35:29

阅读数:4097

评论数:0

Python实现简单的爬虫

先以简单爬虫,爬取应用市场单个页面的APP Logo为例讲解爬虫的基本操作。 一、获取整个页面的数据 首先我们可以先获取要下载的图片的整个页面的信心。import urllib import redef getHtml(url): page = urllib.urlopen(url) ...

2017-02-23 10:59:49

阅读数:447

评论数:2

Django基本配置

Django基本配置

2015-03-26 09:18:52

阅读数:416

评论数:1

python网络爬虫,抓取网页图片

python 爬虫抓取网页图片

2015-03-25 13:22:35

阅读数:757

评论数:0

python爬虫解决403禁止访问错误

python 403禁止访问问题

2015-03-24 17:22:41

阅读数:19601

评论数:0

python自动化获取网页编码方式

python自动获取网页编码方式

2015-03-24 14:58:19

阅读数:1634

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭