D.K专栏

python自动获取网页编码方式

appium自动化测试框架，具体信息不便我重复，网上能够查找的资料也很多我项目中在做自动化测试的过程中，遇到密码键盘，需要进行模拟点击输入的问题，使用appium提供的sent_keys方法不管用，原因是密码键盘必须得点击密码键盘进行输入才能够通过。密码键盘的原理是每次点击一个按键，进行一次加密，点击结束后，按登录才能够登录通过。而send_keys的输入方法是直接使用系统的键盘发

看过我上一篇文章的，都知道写一个爬虫是很容易的。可以参考我的文章：http://blog.csdn.net/jsqfengbao/article/details/56667070但现在网站各种各样，爬虫效率、及容错性等都需要改进。现在对上一个爬虫进行下改进。简单的下载网页的代码：import urllib2def download(url): return urllib2.urlop

urlparse模块主要是把url拆分为6部分，并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。 urlparse.urlparse(urlstring[, scheme[, allow_fragments]])将urlstring解析成6个部分，它从urlstring中取得URL，并返回元组 (scheme

通过前面介绍的几篇文章，知道了爬取一个网页很容易了，python爬虫高级功能那一篇，介绍了爬虫的几种反爬虫措施，这里主要介绍三种抓取其中数据的方法。首先是正则表达式，然后是流行的BeautifulSoup模块，最后是强大的lxml模块**1、正则表达式**如果对正则表达式不熟悉，或是需要一些提示时，可以查阅http://docs.python.org/2/howto/regex.html获得完整

上一篇文章中我们介绍了爬虫的实现，及爬虫爬取数据的功能，这里会遇到几个问题，比如网站中robots.txt文件，里面有禁止爬取的URL，还有爬虫是否支持代理功能，及有些网站对爬虫的风控措施，设计的爬虫下载限速功能。 1、解析robots.txt 首先，我们需要解析robots.txt文件，以避免下载禁止爬取的URL。适用Python自带的robotparser模块，就可以轻松的完成这项工

上一篇文章中，我们只实现了爬虫，爬取网站的源代码，但大多数情况下是我们需要爬取网站的感兴趣的内容。 通过跟踪所有的连接方式，我们可以很容易地下载到整个网站的页面。但是，这种方法会下载大量我们并不需要的网页。例如，我们想要从一个在线论坛中抓取用户帐号的详情页，那么此时我们只需要下载帐号页，而不需要下载讨论帖的页面。下面将使用正则表达式来确定需要下载哪些页面。下面是这段代码的初始版本。impo

链接数据库 pymssql连接数据库的方式和使用sqlite的方式基本相同： 1、使用connect创建连接对象 2、connect.cursor创建游标对象，SQL语句的执行基本都在游标上进行 3、cursor.executeXXX方法执行SQL语句，cursor.fetchXXX获取查询结果等 4、调用close方法关闭游标cursor和数据库连接import pymssql# ser

先以简单爬虫，爬取应用市场单个页面的APP Logo为例讲解爬虫的基本操作。 一、获取整个页面的数据 首先我们可以先获取要下载的图片的整个页面的信心。import urllibimport redef getHtml(url): page = urllib.urlopen(url) html = page.read() return html其中的urlib模块提供了读

Django基本配置

python 爬虫抓取网页图片

python 403禁止访问问题

bpython是轻量级的Python解析器，同时包含了常见的IDE功能。功能包括语法高亮，预计参数列表、自动缩进和自动补全（下面是用法演示）。 bpython并不是一个完整的IDE，它的主要目的是为了快速把灵感用实用又轻量的方式实现出来。bpython可以作为常规Python解析器的替代品，在不需要创建临时文件的情况下，它可以用来快速测试问题解决方案，或者测试方法模块等。 安