2021年05月_松鼠爱吃饼干

原创 Python爬虫基础讲解（十六）：多线程简介

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593什么是多任务?什么叫"多任务"呢?简单地说，就是操作系统可以同时运行多个任务。打个比方，你一边在用浏览器上网，一边在听MP3，一边在用Word赶作业，这就是多任务，至少同时v有3个任务正在运行。还有很多任务悄悄地在后台同时运行着，只是桌面上没有显示而已。在了解多任务具体实现方式之前，我们先来了解并发和并

2021-05-31 16:06:11 1370 10

原创 Python爬虫基础讲解（十五）：selenium——浏览器对象的常用方法

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593浏览器对象的常用方法当我们通过selenium实例化一个浏览器对象时，可以针对此对象进行操作，常见的操作如下所示：driver.get('url') 根据url地址访问站点 driver.page_source 查看页面渲染之后的html数据 driver.get_cookies() 查看页面请求

2021-05-30 15:58:48 659

原创 Python爬虫基础讲解（十四）：初探selenium——元素提取

元素提取通过selenium的基本使用可以简单定位元素和获取对应的数据,接下来我们再来学习下定位元素的方法find_element_by_id #(根据id属性值获取元素)find_element_by_name #(根据标签的name属性)find_element_by_class_name #（根据类名获取元素)find_element_by_link_text #(根据标签的文本获取元素，精确定位)find_element_by_partial_link_text#（根据标签包含的文

2021-05-29 18:58:03 3457

原创 Python爬虫基础讲解（十三）：初探selenium

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593SeleniumSelenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网.

2021-05-28 19:27:12 1005 9

原创 Python爬虫基础讲解（十二）：初探selenium——动态网页&静态网页

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593Selenium采集数据Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7，8,9,10,11)，Mozilla Chrome，Safari，GoogleChrome，Opera等。动态网页&静态网页.

2021-05-27 15:46:04 680

原创 Python爬虫基础讲解（十一）：数据持久化——CSV模块简介

csv文件格式是一种通用的电子表格和数据库导入导出格式。最近我调用RPC处理服务器数据时，经常需要将数据做个存档便使用了这一方便的格式。python中有一个读写csv文件的包，直接import csv即可。利用这个python包可以很方便对csv文件进行操作，一些简单的用法如下。Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：10396495931. 写入文件我们把需要

2021-05-26 21:37:40 326

原创 Python爬虫基础讲解（十）：数据持久化——json

目的：将Python对象编码为JSON字符串，并将JSON字符串解码为Python对象。json模块提供了API，将内存中的Python对象转换为」JSON序列。JSON具有以多种语言（尤其是JavaScript)实现的优点。它在RESTAPI中 Web服务端和客户端之间的通信被广泛应用，同时对于应用程序间通信需求也很有用。下面演示如何将一个Python数据结构转换为JSON:关注微信公众号，每天都有免费的Python项目案例教学讲解1. 编码和解码Python 的默认原生类型(s.

2021-05-24 16:27:19 744 8

原创 Python爬虫基础讲解（九）：数据持久化——Excel

openpyxl是一个Python库，用于读取/写入Excel 2010 xlsx / xlsm / xltx / xltm文件。它的诞生是因为缺少可从Python本地读取/写入Office Open XML格式的库。官方文档:https://openpyxl.readthedocs.io/en/stable/Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649.

2021-05-20 16:11:47 298

原创 Python爬虫基础讲解（八）：数据持久化——文件操作

计算机的文件，就是存储在某种长期储存设备上的一段数据长期存储设备包括:硬盘、U盘、移动硬盘、光盘...文本文件和二进制文件文本文件：可以使用文本编辑软件查看o本质上还是二进制文件例如: python的源程序二进制文件：保存的内容不是给人直接阅读的，而是提供给其他软件使用的。例如:图片文件、音频文件、视频文件等等二进制文件不能使用文本编辑软件查看关注微信公众号，免费领取资料1. 文件的基本操作操作文件的函数/方法在Python中要操作文件需要记住1个函数和.

2021-05-18 15:48:37 371 1

原创 Python爬虫基础讲解（七）：xpath的语法

欢迎关注微信公众号：松鼠爱吃饼干每天都有一个Python案例的详细教学xpath语法XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。下面列出了最有用的表达式：在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：选取未知节点在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：案例import parsel # str --&...

2021-05-15 19:44:05 946 1

原创 Python爬虫基础讲解（六）：什么是xpath

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593XPath(XML Path Language)是一门在 HTML\XML文档中查找信息的语言，可用来在HTML\XML文档中对元素和属性进行遍历。html和xml的区别xml的树结构<bookstore><book category="COOKING"> <.

2021-05-14 15:02:19 409

原创 Python爬虫基础讲解（五）：响应

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：10396495931. HTTP响应报文HTTP响应报文也由三部分组成：响应行、响应头、响应体响应行响应行一般由协议版本、状态码及其描述组成比如HTTP/1.1 200 OK其中协议版本HTTP/1.1或者HTTP/1.0，200就是它的状态码，OK则为它的描述。响应头响应头用于描述服务器的基本信息，以及数据

2021-05-13 14:36:29 625

原创 Python爬虫基础讲解（四）：请求

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：10396495931. 请求目标(URL)URL又叫作统一资源定位符，是用于完整地描述Internet上网页和其他资源的地址的一种方法。类似于windows的文件路径。个网址的组成: http://:这个是协议，也就是HTTP超文本传输协议，也就是网页在网上传输的协议。 mail:这个是服务器名，代表着是

2021-05-12 19:10:07 619 6

原创 Python爬虫基础讲解（三）：网络面板

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593网络(Network)面板记录页面上每个网络操作的相关信息，包括详细的耗时数据、HTTP请求与响应标头和Cookie，等等。这就是我们通常说的抓包。工具箱Stop recording network log默认情况下，只要开发者工具在开启状态，会记录所有的网络请求，当然，记录都是在Network

2021-05-11 20:36:55 668 1

原创 Python爬虫基础讲解（二）：chrome开发者工具

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看https://space.bilibili.com/523606542 Python学习交流群：1039649593当我们爬取不同的网站是，每个网站页面的实现方式各不相同，我们需要对每个网站都进行分析。那是否有一些通用的分析方法?我分享下自己爬取分析的“套路”。在某个网站上，分析页面以及抓取数据，我用得最多的工具是Chrome开发者工具。Chrome开发者工具是一套内置于Google Chrome 中的 Web 开发和调试工

2021-05-08 14:41:49 624 2

原创 Python爬虫基础讲解（一）：爬虫的分类

通用爬虫通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。第一步搜索引擎去成千上万个网站抓取数据。第二步搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库(也就是文档库)。其中的页面数据与用户浏览器得到的HTML是完全—样的。第三步搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理:中文分词，消除噪音，索引处理。。。搜索引擎在对信息.

2021-05-07 15:37:50 975

Python案例分享，B站视频教程：https://space.bilibili.com/523606542