qq_40407729的博客

前面我们都是从头开始编写爬虫，发送请求、解析网页、数据存储等每一个功能模块都需要自己实现。这一章我们学习的Scrapy是一个爬虫框架，它将上述的所有功能都封装到框架里。这样我们使用较少的代码就能完成爬虫的工作。爬虫者往往会经历一个不用框架，到使用框架，再到不用框架的过程。初学者最开始只需要一个简单的小房子，所以使用Requests和bs4很方便。在学会使用Requests和bs4后，再使用Scrapy框架，你会发现一个新大路，原来只需要几行代码就可以完成爬虫，发现Scrapy很好用。但是渐渐地，你需要

一、Redis环境搭建二、Redis交互环境的使用三、Redis-py的使用四、使用Redis存储管理爬虫数据

一、MongoDB的安装二、PyMongo的安装与使用三、使用RoboMongo执行MongoDB命令四、使用MongoDB存储管理爬虫数据

一、Selenium介绍二、Selenium安装三、Selenium使用

一、AJAX技术介绍二、JSON介绍与使用三、异步Get与Post请求四、特殊的异步加载五、多次请求的异步加载六、基于异步加载的登陆

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，支持你使用喜欢的解析器实现对文档的导航、查找、修改等操作。一、安装BeautifulSoup4pipinstallbeautifulsoup4二、导入BeautifulSoup4from bs4 import BeautifulSoup三、生成BeautifulSoup对象解析源代码生成BeautifulSoup对象，使用以下代码：soup = BeautifulSoup...

学习重点：（1）HTML基础结构（2）使用XPath从HTML源代码中提取有用信息（3）使用Beautiful Soup4从HTML源代码中提取有用信息

多线程爬虫前面我们所讲的爬虫都只有一个进程、一个线程，因此称为单线程爬虫。单线程爬虫每次只访问一个页面，而每个页面的内容最多几百KB，相对于计算机的网络带宽来说小太多，多出来的网速被浪费掉了。如果可以让爬虫同时访问10个页面，那计算机爬取的速度就提高了10倍。为此，我们就可以使用多线程技术。一、多进程库multiprocessing二、开发多线程爬虫三、爬虫的常见搜索方法1.深度优先搜索2.广度优先搜索3.爬虫搜索算法的选择...

学习重点：（1）requests的安装和使用（2）多线程爬虫的开发（3）爬虫的常见算法一、使用Python获取网页源代码1.Python的第三方库安装与使用2.requests介绍与安装3.使用requests获取网页源代码（1）GET方式（2）POST方式二、多线程爬虫1.多进程库multiprocessing2.开发多线程爬虫三、爬虫的常见搜索方法1.深度优先搜索2.广度优先搜索3.爬虫搜索算法的选择四、实例：小说网站爬取开发.

寻找规律使用正则符号表示规律提取信息一、正则表达式的基本符号二、在Python中使用正则表达式三、正则表达式的提取技巧1.先抓大再抓小2.括号内和括号外四、实例：半自动爬虫开发选择一遍百度贴吧的热门帖子，抓取关键信息并保存到文本中。...

一、爬虫是什么？二、爬虫可以做什么？三、爬虫开发中有哪些技术？