python学习
文章平均质量分 65
15zhazhahe
打杂小能手/吃/喝/睡/胖/菜/
展开
-
爬虫学习记录(二)
设置Headers其实对于许多网站都是有反爬虫机制的,如果直接用之前的程序进行访问,可能站点直接就不会响应,不如爬取糗事百科的时候,代码如下:#coding:utf-8from urllib.request import urlopenfrom urllib.request import Requesthtml = 'http://www.qiushibaike.com/hot/page/1'原创 2017-02-21 18:42:21 · 296 阅读 · 0 评论 -
urllib库python2和python3具体区别
Python 2 namePython 3 nameurllib.urlretrieve()urllib.request.urlretrieve()urllib.urlcleanup()urllib.request.urlcleanup()urllib.quote()urllib.parse.quote() urllib.quot转载 2017-02-13 09:50:13 · 1200 阅读 · 0 评论 -
爬虫学习记录(一)
网络爬虫 爬虫,即网络爬虫,可以简单的理解为,行走在互联网这张网上的爬虫, 你可以通过爬虫来抓取你在这张网上你想要的资源原创 2017-02-13 14:31:53 · 544 阅读 · 0 评论 -
爬取百思不得姐上面的视频
之前有了爬取糗事百科的经验,先想试着爬取一下视频,并下载到本地。 爬取目标: + 爬取百思不得姐上面的视频 + 把视频下载到本地 + 敲一次回车就下载一个视频0、爬取效果 1、确定所要爬去的视频由于这次爬取的网页也是多页的,所以先分析url,规律是http://www.budejie.com/video/ + 页面数,然后观察页面代码的分布 这次爬取采用正则表达式来原创 2017-02-23 19:45:33 · 1643 阅读 · 0 评论 -
爬取糗事百科上的段子(BeautifulSoup)
爬取目标: 爬取糗事百科上的段子 过滤掉有图片的段子 实现每敲一次回车就显示一个段子的发布人,页数,内容,发布人的性别和点赞数 一、确定所要爬取的URL并抓取当前页面糗事百科的网址是:http://www.qiushibaike.com/hot/page/1,后面的/1是代表所浏览的页面数,所以我们可以传入一个不同的值来获取每一面的段子内容,先尝试把整个页面爬下来,代码原创 2017-02-15 11:37:39 · 1095 阅读 · 0 评论 -
爬取豆瓣Top250图书【Beautiful】
由于我有一个喜欢看书的室友,最近比较闹书荒,我觉得爬取一下豆瓣评分Top250的图书,看看他有没有想看的(并不是为了装那啥。。。爬取目标 + 爬取豆瓣评分Top250的图书 + 获取每本图书的详细信息 + 把爬取结果存入Excel中0、爬取效果 1、分析URL爬取的目标url为,https://book.douban.com/top250?start=0,这也是一个多页的爬取,url的规则原创 2017-03-03 17:17:20 · 3704 阅读 · 2 评论 -
爬取抗压吧的《猪狗恩仇录》
逛抗压吧的时候,看到了一篇有趣的的帖子, 《猪狗恩仇录》明凯与简自豪的江湖往事!,于是本着没事爬一爬的原则(吃饱了那啥),就试着爬取一下,并存储到本地爬取目标: + 对抗压吧进行爬取(理论上可以爬取任意贴) + 指定是否只抓取楼主的发帖内容 + 将抓取到的内容进行分析并保存成文件0、爬取效果明明在pycharm中打开txt看得那么顺眼,在本地打开就GG了,所以把他转成了pdf格式原创 2017-02-25 16:37:26 · 844 阅读 · 0 评论 -
爬取拉勾网招聘信息
爬取拉勾网感兴趣的招聘信息,并用自己的抠脚技术分析下? 爬取目标: + 爬取拉勾网上自己感兴趣的职位 + 获取每个职位的大致信息 + 凭想象分析爬取结果(MySql+Excel)0、爬取效果: 1、分析爬取的目标url为:’https://www.lagou.com/zhaopin/‘+ language + ‘/’+ pageIndex +’/?filterOption原创 2017-03-22 08:43:30 · 1442 阅读 · 0 评论 -
python图像处理模块Pillow的学习
今天抽空学习了一下之前了解过的pillow库,以前看到的记得这个库可以给图片上加文字加数字,还可以将图片转化成字符画,不过一直没有找时间去学习一下这个模块,由于放假不用训练,所以就瞎搞了一下0、工欲善其事,必先利其器关于pillow库的安装有几种方式 0、使用pip安装$ pip install pillow1、使用easy_install$ easy_inst原创 2017-04-04 20:52:34 · 12463 阅读 · 1 评论