python
hongtoushiziyuan
这个作者很懒,什么都没留下…
展开
-
linux/python ImportError: No module named wx
运行一个python的深度探测脚本的时候,报了 ImportError: No module named wx 这个错误,解决方案如下: sudo apt-get install python-wxgtk2.8 python-wxtools wx2.8-doc wx2.8-examples wx2.8-headers wx2.8-i18n 参考文档如下:http://s...原创 2014-03-25 11:11:15 · 583 阅读 · 0 评论 -
ImportError: cannot import name xmlrpc_client
在mac系统下,执行scrapy程序的时候报如下错误: 此错误: “ ImportError: cannot import name xmlrpc_client” 解放方案: export PYTHONPATH=/Library/Python/2.7/site-packages:$PYTHONPATH echo "export PYTHONPATH=/Libra...原创 2016-01-07 12:25:15 · 149 阅读 · 0 评论 -
Python爬虫入门八之Beautiful Soup的用法
转载自: http://cuiqingcai.com/1319.html上一节我们介绍了正则表达式,它的内容其实还是蛮多的,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,而且有的小伙伴们也对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Beautiful Soup,有了它我们可以很方便地提取出HTML或XML标签中的内容,实在是方便,这一节就让我们一...原创 2016-01-07 12:24:49 · 115 阅读 · 0 评论 -
Python爬虫入门七之正则表达式
转载自: http://cuiqingcai.com/977.html在前面我们已经搞定了怎样获取页面的内容,不过还差一步,这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢?下面就开始介绍一个十分强大的工具,正则表达式!1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用...原创 2016-01-07 12:23:58 · 95 阅读 · 0 评论 -
Python爬虫入门六之Cookie的使用
转载自: http://cuiqingcai.com/968.html 大家好哈,上一节我们研究了一下爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢?Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面...原创 2016-01-07 12:23:22 · 87 阅读 · 0 评论 -
Python爬虫入门五之URLError异常处理
转载自: http://cuiqingcai.com/961.html 大家好,本节在这里主要说的是URLError还有HTTPError,以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因:网络无连接,即本机无法上网连接不到特定的服务器服务器不存在在代码中,我们需要用try-except语句来包围并捕获相应的异常。下面是一个...原创 2016-01-06 02:26:39 · 109 阅读 · 0 评论 -
Python爬虫入门四之Urllib库的高级用法
转载自: http://cuiqingcai.com/954.html 1.设置Headers有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登...原创 2016-01-06 02:25:46 · 80 阅读 · 0 评论 -
Python爬虫入门三之Urllib库的基本使用
转载自: http://cuiqingcai.com/947.html 那么接下来,小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架...原创 2016-01-06 02:24:47 · 124 阅读 · 0 评论 -
Python爬虫入门二之爬虫基础了解
转载: http://cuiqingcai.com/942.html 1.什么是爬虫爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它咯。比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据。...原创 2016-01-06 02:23:26 · 80 阅读 · 0 评论 -
Python爬虫入门一之综述
转载自: http://cuiqingcai.com/927.html 大家好哈,最近博主在学习Python,学习期间也遇到一些问题,获得了一些经验,在此将自己的学习系统地整理下来,如果大家有兴趣学习爬虫的话,可以将这些文章作为参考,也欢迎大家一共分享学习经验。Python版本:2.7,Python 3请另寻其他博文。首先爬虫是什么?网络爬虫(又被称为网页蜘蛛,网络机器...原创 2016-01-06 02:22:36 · 95 阅读 · 0 评论 -
使用国内镜像通过pip安装python 包
pip安装python包时超时或是报错“Cannot fetch index base URL http://e.pypi.python.org/simple/”解决方法:加上参数"-i http://pypi.v2ex.com/simple",即换成国内镜像。一劳永逸的办法:~/.pip/ 下创建文件 pip.conf(如果还没有的话),并填入以下内容:...原创 2014-03-26 01:35:00 · 102 阅读 · 0 评论 -
Python yield 使用浅析
转载自: http://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/ 您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波...原创 2016-01-14 15:30:15 · 68 阅读 · 0 评论