Python学习
phoenxior
Chance favors the prepared mind
展开
-
python3.4.4实现网页爬虫基础之网页下载器三种方法
这是是慕课网《Python开发简单爬虫》中网页下载器的三种实现方法,课程用的是python2.7,这里用最新的3.4.4实现出来,分享给新人:import urllib.requestfrom http.cookiejar import CookieJarurl = 'http://www.baidu.com'print('第一种方法')res1 = urllib.request.原创 2016-04-03 19:07:37 · 4578 阅读 · 3 评论 -
Python3.4.4抓取网页图片
这里仅抓取静态非登录的网页,以慕课网python专栏为例:http://www.imooc.com/course/list?c=pythonimport urllib.requestimport rereq = urllib.request.urlopen('http://www.imooc.com/course/list?c=python')buf = req.read()rs =原创 2016-04-04 19:28:43 · 1781 阅读 · 0 评论 -
python抓取360百科踩过的坑!
学习python一周,学着写了一个爬虫,用来抓取360百科的词条,在这个过程中,由于一个小小的改动,程序出现一些问题,又花了几天时间研究,问了各路高手,都没解决,最终还是自己解决了,其实就是对list列表理解不够深入导致的。这个bug很有借鉴意义,分享出现。先看看最终抓取出的结果:下面进入正题,先来看看文件结构,这里有5个模块:spider_main.py是入口函数url_原创 2016-04-07 23:02:31 · 3726 阅读 · 7 评论 -
《python3廖雪峰》正则表达式匹配Email地址练习题答案
《python3廖雪峰》正则表达式章节最后留了这个题目,对于初学者还是要折腾一下才能做出来的,我作为初学者,花了1个小时研究出来了,当然只是针对题目中的3种Email地址的正则匹配,如果想写出通用的Email地址正则表达式,就太复杂也没必要了。原创 2016-05-24 13:07:15 · 9446 阅读 · 0 评论 -
《Python3廖雪峰》datetime转timestamp练习题答案
**这题是对datetime和timestamp的简单应用,首先你要知道datetime是带时区信息的,因此基本思路是:将用户输入的字符串格式的日期转换成datetime。利用正则表达式从第2个参数提取出时区值。将提取出的时区值转换成时区。利用tzinfo属性将datetime强制设置成指定时区。最后返回timestamp。跟着上面的思路做,代码就很容易理解了:**import ref原创 2016-05-28 21:33:30 · 4167 阅读 · 0 评论 -
base64编码原理及简单Python实现
廖老师的Python3教程中对base64编码的讲解讲得不是很清楚,我经过搜索和询问研究生同学,把一些有用的资料结合起来了,希望对你们有用。一、产生原因及作用用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,所以,如果要让记事本这样的文本处理软件能处理二进制数据,就需要一个二进制到字符串的转换方法。Base64是一种最常见的二进制编码方原创 2016-05-31 22:17:30 · 5314 阅读 · 1 评论 -
Python知识结构图
对于从宏观上了解Python知识体系很有帮助:翻译 2016-06-30 23:43:31 · 6834 阅读 · 2 评论 -
通过“生产者-消费者模型”理解Python协程和yield关键字
最近学习廖老师的Python3教程,关于协程那块讲得不是很详细,相信很多人像我一样看不懂,经过研究终于弄懂了,现在把学习成果分享给大家。 首先看看教程中提到的经典”生产者-消费者“模型,传统的解决方案是使用多线程,但是存在占用内存高、死锁等问题。 如果改用协程,生产者生产消息后,直接通过yield 跳转到消费者开始执行,待消费者执行完毕后,切换回生产者继续生产,效率极高。看代码:def cons原创 2016-07-04 12:39:15 · 5125 阅读 · 0 评论