2018年01月_快乐糖果屋

原创 Python2 爬虫（九） -- Scrapy & BeautifulSoup之再爬CSDN博文

序我的Python3爬虫（五）博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务。链接：Python3 爬虫（五） -- 单线程爬取我的CSDN全部博文上一篇Python3 爬虫（八） -- BeautifulSoup之再次爬取CSDN博文，我们就利用BeautifulSoup4重新实现了一次爬取csdn博文的任务。那么，既然认识

2018-01-03 15:35:38 627

原创 Python3 爬虫（八） -- BeautifulSoup之再次爬取CSDN博文

序在Python3爬虫（五）博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务。链接：Python3 爬虫（五） -- 单线程爬取我的CSDN全部博文上一篇，我们学习了BeautifulSoup这样一个优秀的Python库，必须有效利用起来。那么我们就利用BeautifulSoup4重新实现一次爬取csdn博文的任务。由于我修改了博客配置，首

2018-01-03 15:32:58 560

原创 Python3 爬虫（七） -- 配置BeautifulSoup4+lxml+html5lib

序Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml 。另一个可供选择的解析器是纯Python

2018-01-03 15:29:00 3068

原创 Python2 爬虫（六） -- 初尝Scrapy框架

1、Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy官网文档 --

2018-01-03 15:27:52 987

原创 Python3 爬虫（五） -- 单线程爬取某人CSDN全部博文

序本文我实现的是一个CSDN博文爬虫，将某人csdn博客http://blog.csdn.net/fly_yr/article/list/1 中的全部博文基本信息抓取下来，每一页保存到一个文件中。先来看一下他的博客页面（与选择的主题有关系哦，不同主题网页样式与源码是不同的~）：确定要提取的信息：发表日期是否原创标记博文标题博文

2018-01-03 15:23:47 512

原创 Python3 爬虫（四） -- 登录知乎

序有些网站需要用户登录，利用python实现知乎网站的模拟登录。用Cookies记录登录信息, 然后就可以抓取登录之后才能看到的信息。知乎登录首页第一、使用Fiddler观察“登录”浏览器行为打开工具Fiddler，在浏览器中访问https://www.zhihu.com，Fiddler 中就能看到捕捉到的所有连接信息。在左侧选择登录的那一条：观察右侧

2018-01-03 15:18:52 872

原创 Python3 爬虫（三） -- 爬取豆瓣首页图片

序前面已经完成了简单网页以及伪装浏览器的学习。下面，实现对豆瓣首页所有图片爬取程序，把图片保存到本地一个路径下。首先，豆瓣首页部分图片展示这只是截取的一部分。下面给出，整个爬虫程序。爬虫程序这个爬取图片的程序采用伪装浏览器的方式，只不过是加了处理图片的模块。[python] view plain copy

2018-01-03 15:16:54 581

原创 Python3 爬虫（二） -- 伪装浏览器

一、伪装浏览器对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。具体实现：自定义网页请求报头。二、使用Fiddler查看请求和响应报头打开工具Fiddler，然后再浏览器访问“https://www.douban.com/”，在Fiddler左侧访问记录中，找到“200 HTTPS w

2018-01-03 15:14:06 635

原创 Python3 爬虫（一）-- 简单网页抓取

序一直想好好学习一下Python爬虫，之前断断续续的把Python基础学了一下，悲剧的是学的没有忘的快。只能再次拿出来滤了一遍，趁热打铁，借鉴众多大神的爬虫案例，加入Python网络爬虫的学习大军~~~ 爬虫之前在着手写爬虫之前，要先把其需要的知识线路理清楚。第一：了解相关Http协议知识HTTP是Hyper Text Transfer

2018-01-03 15:02:32 1005 2

weixin_41059146的博客