sdu_hao的博客

在本篇博客中，我们将使用Flask+Redis维护代理池。在之前的Python爬虫实战(18)中，我们曾搭建过IP代理池，本次搭建的IP代理池是对之前的升级，获取代理的范围更加广泛。 目录 1. 为什么要用代理池？ 2. 代理池要求 3. 代理池架构 4. 代理池的实现 5. 使用方法 6. 完整项目 1. 为什么要用代理池？ 许多网站有专门的反爬⾍措施，可能遇到封IP等问题。使...

在本篇博客中，我们以今日头条为例通过分析ajax请求来抓取网页数据。本次我们将抓取今日头条街拍美图，完成后，每一组图存放在以标题为名的本地文件夹中。 首先我们打开今日头条，搜索街拍： 右键查看网页源代码，我们发现原始网页代码中并不包含，当前页面的内容，如搜索上图中的洪爷： 可以初步判断这些内容通过ajax加载，然后用javascript渲染出来。 接下来，我们右键检查，选择Netw...

在本篇博客中，我们将使用requests+正则表达式来爬取猫眼电影官网的TOP100电影榜单，获取每部电影的序号，片名，主演，上映日期，评分和封面等内容。 之前在Python爬虫实战(1)中我们曾爬取过，本篇博客将对上次内容进行升级，使用yield和多线程。 打开猫眼Top100，分析URL的变化：发现Top100榜总共包含10页，每页10部电影，并且每一页的URL都是有规律的，如第2页为ht...

本篇博客，我们将介绍selenium的使用。Selenium是一个自动化测试工具，支持多种浏览器，在爬虫程序中主要用来解决Javascript的渲染问题。 目录 1. 基本使用 2. 查找元素 3. 元素交互操作 4. 获取元素信息 5. Frame 6. 等待 7. 其他 1. 基本使用 from selenium import webdriver from seleniu...

在本篇博客中，我们将介绍PyQuery的用法。它是一个强大又灵活的网页解析库，如果觉得正则表达式太麻烦，BeautifulSoup语法太难记，而如果你熟悉jquery的语法，那么pyquery是最佳的选择。 安装： pip install pyquery 目录 1. 初始化 2. 基本CSS选择器 3. 遍历 4. 获取信息 5. DOM操作 6. 伪类选择器 7. 官方文档 ...

本篇博客我们将介绍BeautifulSoup解析库的使用，BeautifulSoup是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 目录 1. 解析库 2. 标签选择器 3. 方法选择器 4. CSS选择器 5. 总结 1. 解析库 我们比较常用的是lxml HTML解析器。 安装 pip install beau...

本篇博客我们将介绍正则表达式，它是处理字符串，如查找、替换等，解析HTML代码、数据清洗等操作的强大工具。 目录 1. 什么是正则表达式？ 2. 常见匹配模式 3. re.match 4. re.search 5. re.findall 6. re.sub 7. re.compile 8. 实战 1. 什么是正则表达式？ 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义...

在本篇博客中，我们将介绍requests库的详细用法，相比于之前的urllib库，requests库的接口更加简洁，如ip代理、cookie设置等操作，使用起来也更加方便，实际使用也更加广泛。 目录 1. 什么是requests 2. 实例引入 3. 请求 4. 响应 5. 高级操作 6. 异常处理 1. 什么是requests Requests是⽤Python语言编写，基于...

本篇博客，我们将详细的介绍Urllib库，虽然在实际使用中我们更常用request库，它更强大；但是requests库也是基于urllib的，所以我们需要对他做一些了解。 目录 1. 什么是Urllib 2. urlopen 3. 响应 4. Request 5. Handler 6. 异常处理 7. URL解析 1. 什么是Urllib Python内置的HTTP请求库。包含...

目录 1. 什么是爬虫？ 2. 什么是Request和Response？ 3. 能抓什么样的数据？ 4. 怎么来解析？ 5. Javascript渲染问题 6. 如何保存数据？ 1. 什么是爬虫？ 请求网站并提取数据的自动化程序 基本流程 发送请求： 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。 获取响应...