python爬虫
文章平均质量分 81
枫奇
这个作者很懒,什么都没留下…
展开
-
python——一个投票器
一个投票#!/usr/bin/python#coding=utf-8from selenium import webdriverfrom selenium.webdriver import DesiredCapabilitiesimport sys,timereload(sys)sys.setdefaultencoding('utf-8')desired_capabi原创 2017-03-31 15:50:05 · 7444 阅读 · 0 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(上)
网上看到有获取淘宝MM照片的python程序,于是自己也忍不住照着学习一下不得不说,淘宝网站的网页有所变化,只是纯粹把之前网上的程序down下来,程序还真的运行不起来原创 2017-03-16 16:59:38 · 7023 阅读 · 2 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(中)
在上篇文章中,已经有了基本的爬取策略,这一篇,直接就是整个爬去淘宝MM的所有内容原创 2017-03-17 19:12:28 · 14468 阅读 · 0 评论 -
python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本)
前面基本上将爬取淘宝MM的所有代码都弄完了,但是还有一个问题,那个代码只能再linux系统下面跑,那在windows上怎么办呢本文就讲解一下怎么再windows下面跑通这个代码原创 2017-03-18 00:14:01 · 10357 阅读 · 1 评论 -
python爬虫(16)使用scrapy框架爬取顶点小说网
本文以scrapy 框架来爬取整个顶点小说网的小说原创 2017-03-24 15:51:48 · 21115 阅读 · 0 评论 -
python爬虫(18)爬取微信公众号内容——绘制词云
写在前面的话前段时间写了一篇通过搜狗引擎获取微信公众号的文章,最近又看了一个网易云歌词绘制词云的程序然后我就想,能否把这两者结合起来呢 还好经历几多波折终于把这个东西给弄出来了。其实中间的实现不是很难, 关键是环境搭建实在是太困难了好了,先把代码以及效果图奉献上吧代码weixin_spider.py #!/usr/bin/python# coding...原创 2017-05-03 17:16:06 · 25832 阅读 · 7 评论 -
python爬虫(19)爬取论坛网站——网络上常见的gif动态图
写在前面的话~有段时间没有写爬虫相关的文章了,今天抽时间把之前做的一个程序分享给大家。经常逛A站和B站的人,肯定对一个节目不陌生《网络上常见的GIF动态图》今天就来分享一下,怎么通过爬虫自动的将这些个动作收藏到自己的电脑中(其实这个程序5月份就写好了,一直拖到现在才想起来将它分享出来)。一.思路分析按照爬虫的基本规律:1.找到目标2.抓取目标3.处理目标内容,获取有...原创 2017-11-10 16:58:21 · 17446 阅读 · 1 评论 -
python爬虫(20)获取酷我音乐排行榜榜单作品
获取酷我音乐榜单歌曲共分为三步第一步,在榜单主页,获取各个榜单的名字以及bangid酷我榜单主页:http://www.kuwo.cn/bang/index从这里可以看到有三类榜单,全球榜,分类榜还有特色榜,每一个分类榜单再包含几个榜单然后我们就可以使用F12工具查看一下网页元素我们需要获得的元素是榜单名字,以及bangid,这两个元素是关键因为我们可以在网络视...原创 2018-10-24 15:13:59 · 5875 阅读 · 2 评论 -
python爬虫(21)给微信好友发送天气预报
用微信定时给好友发送天气预报环境系 统:windows10系统编 辑 器:Sublime3编程语言:python3库 :wxpy、tkinter前言之前写过一个程序,获取7天内天气预报的,但是仅仅是获取到七天内某个城市的天气预报,没有想过具体的实际案例。随后看了一些其他的模块,感觉跟微信结合起来的应用场景还是挺实用的,然后就把它折腾出来...原创 2019-02-28 16:48:29 · 4997 阅读 · 2 评论 -
这可能是你见过的最全的网络爬虫干货总结!
转载自公众号:进击的Coder:总括整个分享的主题叫做《健壮高效的网络爬虫》,本次分享从抓取、解析、存储、反爬、加速五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧,介绍了不同场景下如何采取不同措施高效地进行数据抓取的方法,包括 Web 抓取、App 抓取、数据存储、代理选购、验证码破解、分布式抓取及管理、智能解析等多方面的内容,另外还结合了不同场景介绍了常用的一些工具...转载 2019-05-14 11:20:03 · 339 阅读 · 0 评论 -
python自动发表情包
Python 自动斗图小老弟,听说你喜欢斗图,来来来,我们来PK一下,谁的图少算谁输!我一句话来几十张图,就问你怕不怕!这个怎么实现呢,我们要分三步:下载表情包到本地 设计查询表情包 自动根据表情包发送表情下载表情包有个网站叫斗图啦:http://www.doutula.com里面的表情挺多的2000多页、一万多个表情图片,足够你使用了简单的看了一下这个网页...原创 2019-05-24 17:24:05 · 3636 阅读 · 0 评论 -
python实现诗词接龙
前言在之前的《中国诗词大会》上面,曾经出现过诗词接龙的规则,当然诗词接龙肯定不是现在才有的内容,它应该是来源于飞花令飞花令飞花令是古人行酒令时的一个文字游戏,得名于唐代诗人韩翃(hóng)《寒食》中的春城无处不飞花”。行飞花令时可选用诗词曲中的句子,但选择的句子一般不超过7个字。一般而言,对于成语接龙大家或多或少都还能接上一些,但是对于诗词接龙,如果不是特别研究诗词的人,那么一般...原创 2019-05-16 17:40:58 · 2580 阅读 · 1 评论 -
32个Python爬虫项目慢慢学吧
找到好东西大家一起来学习整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)OWechatSogou[1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。DouBanSpider[2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有...转载 2019-05-13 16:38:08 · 410 阅读 · 0 评论 -
python爬虫(6)爬取糗事百科
亲测有效,不管是windows 还是linux都能运行原创 2017-03-06 17:12:34 · 10659 阅读 · 0 评论 -
python爬虫(5)黑板客第三关
黑板客第三关原创 2017-03-06 17:10:06 · 5132 阅读 · 0 评论 -
python爬虫(3)五种方法通过黑板客第一关
在网上找到了一个练习爬虫的网站,挺有意思的第一关的规则就是 在网址后面输入数字,然后打开下一个页面,之后重复如此,直到通关为止,因此手动的输入有些繁琐,就需要用爬虫来完成原创 2017-03-03 18:34:50 · 6106 阅读 · 0 评论 -
python爬虫——爬取链家房价信息(未完待续)
爬取链家房价信息(未完待续)items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclas原创 2017-04-01 15:23:31 · 8892 阅读 · 1 评论 -
python爬虫(8)爬取tuchong网站美图
05_python爬虫——爬取tuchong网站美图图虫网站的图片质量非常搞,、私人珍藏也好,做壁纸也好,都是非常不错的选择 图虫主页传送门本文从这个网站的标签页中的题材类型为例来进行爬取原创 2017-03-15 17:27:51 · 8731 阅读 · 5 评论 -
python爬虫(7)爬取糗事百科段子(UI版)
之前写了一个爬取糗事百科段子的程序,但是看着感觉还能改进一下,为什么非得终端进行呢 , 加一个UI界面会更好玩一点,所以就自己改了改了然后实现了这个功能原创 2017-03-21 21:32:09 · 5266 阅读 · 0 评论 -
python爬虫(9)获取动态搞笑图片
有时候看到一些喜欢的动图,如果一个个取保存挺麻烦,有的网站还不支持右键保存,因此使用python来获取动态图,就看看就很有意思了本次爬取的网站是 居然搞笑网思路:获取当前页面内容查找页面中动图所代表的url地址保存这个地址内容到本地如果想爬取多页,就可以加上一个循环条件原创 2017-03-16 11:29:04 · 14443 阅读 · 3 评论 -
python爬虫(10)身边的翻译专家——获取有道翻译结果
本文目的:使用python 实现翻译效果思路:有道翻译可以直接翻译内容,观察它的网页内容以及URL可以发现,它的基本url 和将要翻译的内容组合起来就是最后翻译的页面比如: 有道中英文翻译的网址是:http://dict.youdao.com/ 将要翻译的内容是: I'm a Chinese点击一下翻译,然后出现的含有翻译结果页面的地址是: http://dict.youda原创 2017-05-11 16:31:41 · 4825 阅读 · 2 评论 -
python爬虫(12)获取七天内的天气
通过python脚本,来获取最近的天气情况这样就不必每次打开网站查询天气了原创 2017-03-15 20:23:54 · 7520 阅读 · 0 评论 -
python——利用python通过浏览器打开博客页面
自动打开浏览器,并打开指定的网页内容PS:本程序缺陷, 只能打开一页的博客内容,翻页内容待扩展 # coding:utf-8import webbrowser as webimport osimport timeimport randomimport urllib2from bs4 import BeautifulSoupdef getPa...原创 2017-03-02 12:31:35 · 5035 阅读 · 0 评论 -
在python上使用wordcloud制作自己的词云
前段时间做了一点词云的尝试,然后就想,为什么处理的数据一定是字典呢?他可以是一个text文本,或者是excel表格里面的数据这样就可以做很多东西,比如拿着一群人的名字,或者一句句的诗歌,结合自己选定的图片,可以做出比较漂亮的词云图片 今天先抛出这么一个想法,随后再把这个想法做出来。原创 2017-05-05 18:05:08 · 3791 阅读 · 0 评论 -
使用python一键登录博客
既然python可以获取数据, 那自然也能实现登陆了今天尝试一下,一键登录博客。后续还需要再改,这个版本也能成功, 但是太慢了# -*- coding: utf-8 -*-from selenium import webdriverimport timeprint 'Please wait...Firefox loading...'#reload(sys)Url原创 2017-05-05 19:16:55 · 2990 阅读 · 2 评论 -
12_python爬虫——下载个人CSDN博客内容
下载个人博客内容可以是主页的内容, 也可以是每个分类下的内容只需要把传入的URL地址修改一下就OK了但是修改传入的URL时,记得检查一下如果 传入的URL 不带’?viewmode=contents‘, 那么只能得到五篇内容原创 2017-03-28 20:06:28 · 5159 阅读 · 2 评论 -
抓取网易云音乐歌曲热门评论生成词云(转)
非原创作品,转载自:http://blog.csdn.net/marksinoberg/article/details/70809830前言网易云音乐一直是我向往的“神坛“,听音乐看到走心的评论的那一刻,高山流水。于是今天来抓取一下歌曲的热门评论。并做成词云来展示,看看相对于这首歌最让人有感受的评论内容是什么。做成词云的好处就是直观以及美观, 其他的转载 2017-04-27 15:07:36 · 9682 阅读 · 7 评论 -
python的一个好玩模块wordcloud
非原创作品,转载自:http://blog.csdn.net/fyuanfena/article/details/52038984Python真的超级超级好玩呐,不管是爬虫还是数据挖掘,真的都超级有意思。今天,来说一说python一个好玩的模块wordcloud构建词云的方法很多, 但是个人觉得python的wordcloud包功能最为强大,可以自定义图片.转载 2017-04-27 15:13:23 · 5388 阅读 · 0 评论 -
python爬虫(1)下载任意网页图片
可以下载任意网页图片原创 2016-07-11 11:28:27 · 18149 阅读 · 1 评论 -
python爬虫(2)爬取游民星空网的图片
python 入门级别爬虫目的:爬取游民星空的图片前两天在游民星空看到几张美图,然后就想把它保存下来,但是一个一个的右键保存,太不爽了,身为一个程序源,一个码农,怎么能这么低级的保存呢?然后最近在学python,刚入门,然后就忍不住用python把图片都给抓下来了,哈哈,python就是这么顺手话不多说,源码奉上:# !/usr/bin/python# -*- coding:UTF-8 -*-...原创 2016-07-01 15:40:25 · 15835 阅读 · 3 评论 -
python爬虫(4)四种方法通过黑板客第二关
黑板客第二关网址是 http://www.heibanke.com/lesson/crawler_ex01/ 第一种方法 通过urllib 提交内容第二种方法 通过urllib2 的方式,用urllib 打包数据第三种方法 使用request 的post 方法来提交数据第四种方法 使用webdriver的方式,直接相当于通过页面点击原创 2017-03-06 11:31:06 · 6771 阅读 · 0 评论 -
python爬虫(22)获取必应主页的背景当壁纸
前言虽然微软一直推的必应浏览器不怎么用,但是发现它主页的图片确实精致的,那把它拿下来当作壁纸怎么样。今天来小小的实践一下环境操作系统:Ubuntu18.04编程语言:python3.6获取壁纸网页分析打开必应主页https://www.bing.com,并点击国际版(为什么不点国内版,国内版找不到加载图片的内容,直接从网页上找费劲),然后打开F12工具然后发现有...原创 2019-08-01 16:28:54 · 948 阅读 · 0 评论