python爬虫专题
文章平均质量分 81
这里收集各种爬虫文章,专注python爬虫
博主尽自己最大努力写出或者搜集python爬虫文章
枫奇
这个作者很懒,什么都没留下…
展开
-
python爬虫(22)获取必应主页的背景当壁纸
前言虽然微软一直推的必应浏览器不怎么用,但是发现它主页的图片确实精致的,那把它拿下来当作壁纸怎么样。今天来小小的实践一下环境操作系统:Ubuntu18.04编程语言:python3.6获取壁纸网页分析打开必应主页https://www.bing.com,并点击国际版(为什么不点国内版,国内版找不到加载图片的内容,直接从网页上找费劲),然后打开F12工具然后发现有...原创 2019-08-01 16:28:54 · 944 阅读 · 0 评论 -
python爬虫(21)给微信好友发送天气预报
用微信定时给好友发送天气预报环境系 统:windows10系统编 辑 器:Sublime3编程语言:python3库 :wxpy、tkinter前言之前写过一个程序,获取7天内天气预报的,但是仅仅是获取到七天内某个城市的天气预报,没有想过具体的实际案例。随后看了一些其他的模块,感觉跟微信结合起来的应用场景还是挺实用的,然后就把它折腾出来...原创 2019-02-28 16:48:29 · 4994 阅读 · 2 评论 -
python爬虫(20)获取酷我音乐排行榜榜单作品
获取酷我音乐榜单歌曲共分为三步第一步,在榜单主页,获取各个榜单的名字以及bangid酷我榜单主页:http://www.kuwo.cn/bang/index从这里可以看到有三类榜单,全球榜,分类榜还有特色榜,每一个分类榜单再包含几个榜单然后我们就可以使用F12工具查看一下网页元素我们需要获得的元素是榜单名字,以及bangid,这两个元素是关键因为我们可以在网络视...原创 2018-10-24 15:13:59 · 5853 阅读 · 2 评论 -
python爬虫(19)爬取论坛网站——网络上常见的gif动态图
写在前面的话~有段时间没有写爬虫相关的文章了,今天抽时间把之前做的一个程序分享给大家。经常逛A站和B站的人,肯定对一个节目不陌生《网络上常见的GIF动态图》今天就来分享一下,怎么通过爬虫自动的将这些个动作收藏到自己的电脑中(其实这个程序5月份就写好了,一直拖到现在才想起来将它分享出来)。一.思路分析按照爬虫的基本规律:1.找到目标2.抓取目标3.处理目标内容,获取有...原创 2017-11-10 16:58:21 · 17274 阅读 · 1 评论 -
python爬虫(18)爬取微信公众号内容——绘制词云
写在前面的话前段时间写了一篇通过搜狗引擎获取微信公众号的文章,最近又看了一个网易云歌词绘制词云的程序然后我就想,能否把这两者结合起来呢 还好经历几多波折终于把这个东西给弄出来了。其实中间的实现不是很难, 关键是环境搭建实在是太困难了好了,先把代码以及效果图奉献上吧代码weixin_spider.py #!/usr/bin/python# coding...原创 2017-05-03 17:16:06 · 25812 阅读 · 7 评论 -
在python上使用wordcloud制作自己的词云
前段时间做了一点词云的尝试,然后就想,为什么处理的数据一定是字典呢?他可以是一个text文本,或者是excel表格里面的数据这样就可以做很多东西,比如拿着一群人的名字,或者一句句的诗歌,结合自己选定的图片,可以做出比较漂亮的词云图片 今天先抛出这么一个想法,随后再把这个想法做出来。原创 2017-05-05 18:05:08 · 3786 阅读 · 0 评论 -
python爬虫(16)使用scrapy框架爬取顶点小说网
本文以scrapy 框架来爬取整个顶点小说网的小说原创 2017-03-24 15:51:48 · 21106 阅读 · 0 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(上)
网上看到有获取淘宝MM照片的python程序,于是自己也忍不住照着学习一下不得不说,淘宝网站的网页有所变化,只是纯粹把之前网上的程序down下来,程序还真的运行不起来原创 2017-03-16 16:59:38 · 7001 阅读 · 2 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(中)
在上篇文章中,已经有了基本的爬取策略,这一篇,直接就是整个爬去淘宝MM的所有内容原创 2017-03-17 19:12:28 · 14464 阅读 · 0 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本)
前面基本上将爬取淘宝MM的所有代码都弄完了,但是还有一个问题,那个代码只能再linux系统下面跑,那在windows上怎么办呢本文就讲解一下怎么再windows下面跑通这个代码原创 2017-03-18 00:14:01 · 10343 阅读 · 1 评论 -
python爬虫——爬取链家房价信息(未完待续)
爬取链家房价信息(未完待续)items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclas原创 2017-04-01 15:23:31 · 8890 阅读 · 1 评论 -
python爬虫(12)获取七天内的天气
通过python脚本,来获取最近的天气情况这样就不必每次打开网站查询天气了原创 2017-03-15 20:23:54 · 7517 阅读 · 0 评论 -
python爬虫(10)身边的翻译专家——获取有道翻译结果
本文目的:使用python 实现翻译效果思路:有道翻译可以直接翻译内容,观察它的网页内容以及URL可以发现,它的基本url 和将要翻译的内容组合起来就是最后翻译的页面比如: 有道中英文翻译的网址是:http://dict.youdao.com/ 将要翻译的内容是: I'm a Chinese点击一下翻译,然后出现的含有翻译结果页面的地址是: http://dict.youda原创 2017-05-11 16:31:41 · 4809 阅读 · 2 评论 -
python爬虫(9)获取动态搞笑图片
有时候看到一些喜欢的动图,如果一个个取保存挺麻烦,有的网站还不支持右键保存,因此使用python来获取动态图,就看看就很有意思了本次爬取的网站是 居然搞笑网思路:获取当前页面内容查找页面中动图所代表的url地址保存这个地址内容到本地如果想爬取多页,就可以加上一个循环条件原创 2017-03-16 11:29:04 · 14440 阅读 · 3 评论 -
python爬虫(8)爬取tuchong网站美图
05_python爬虫——爬取tuchong网站美图图虫网站的图片质量非常搞,、私人珍藏也好,做壁纸也好,都是非常不错的选择 图虫主页传送门本文从这个网站的标签页中的题材类型为例来进行爬取原创 2017-03-15 17:27:51 · 8728 阅读 · 5 评论 -
python爬虫(7)爬取糗事百科段子(UI版)
之前写了一个爬取糗事百科段子的程序,但是看着感觉还能改进一下,为什么非得终端进行呢 , 加一个UI界面会更好玩一点,所以就自己改了改了然后实现了这个功能原创 2017-03-21 21:32:09 · 5263 阅读 · 0 评论 -
python爬虫(6)爬取糗事百科
亲测有效,不管是windows 还是linux都能运行原创 2017-03-06 17:12:34 · 10650 阅读 · 0 评论 -
python爬虫(5)黑板客第三关
黑板客第三关原创 2017-03-06 17:10:06 · 5127 阅读 · 0 评论 -
python爬虫(4)四种方法通过黑板客第二关
黑板客第二关网址是 http://www.heibanke.com/lesson/crawler_ex01/ 第一种方法 通过urllib 提交内容第二种方法 通过urllib2 的方式,用urllib 打包数据第三种方法 使用request 的post 方法来提交数据第四种方法 使用webdriver的方式,直接相当于通过页面点击原创 2017-03-06 11:31:06 · 6766 阅读 · 0 评论 -
python爬虫(3)五种方法通过黑板客第一关
在网上找到了一个练习爬虫的网站,挺有意思的第一关的规则就是 在网址后面输入数字,然后打开下一个页面,之后重复如此,直到通关为止,因此手动的输入有些繁琐,就需要用爬虫来完成原创 2017-03-03 18:34:50 · 6092 阅读 · 0 评论 -
python爬虫(2)爬取游民星空网的图片
python 入门级别爬虫目的:爬取游民星空的图片前两天在游民星空看到几张美图,然后就想把它保存下来,但是一个一个的右键保存,太不爽了,身为一个程序源,一个码农,怎么能这么低级的保存呢?然后最近在学python,刚入门,然后就忍不住用python把图片都给抓下来了,哈哈,python就是这么顺手话不多说,源码奉上:# !/usr/bin/python# -*- coding:UTF-8 -*-...原创 2016-07-01 15:40:25 · 15827 阅读 · 3 评论 -
python爬虫(1)下载任意网页图片
可以下载任意网页图片原创 2016-07-11 11:28:27 · 18146 阅读 · 1 评论