一行书辞-CSDN博客

原创 Python爬虫教程-Requests: 让 HTTP 服务人类

在网络时代，与服务器进行数据交互是许多应用程序不可或缺的一部分。为了满足这一需求，Python提供了一款强大而简单易用的库——Requests。通过Requests，我们能够以人类友好的方式发送HTTP请求，并轻松处理服务器的响应。本教程旨在为初学者提供Requests库的基础知识，帮助大家快速上手并应用于实际项目中。在这里，你将学习到如何安装Requests库、发送基本的GET请求以及添加headers和查询参数等核心操作。同时，我们还会介绍响应对象的常用属性，让你能够更全面地掌握服务器的响应信息。

2023-11-24 20:21:44 124

原创 Python爬虫教程-网络通信（补习,不熟悉的同学赶紧看!）

在迈入爬虫学习的旅程之前，我们首先需要理解一个核心前提：网络爬虫的工作方式本质上是模拟人类与网络服务器进行通信。因此，为了能够高效、准确地抓取数据并遵守网络协议，我们必须掌握网络通信的基本原理。熟悉HTTP协议、TCP/IP协议等相关技术也是必不可少的，这能让我们在处理请求响应、管理Cookies和Sessions等爬虫关键环节中更加得心应手。同时，我们还需要理解网络通信的安全性和优化原理，确保我们的爬虫行为合法且高效。因此，接下来让我们一起深入学习网络通信的基础知识，为掌握爬虫技术打下坚实的基础。

2023-11-24 19:25:41 187

原创 Python爬虫教程-网络爬虫分类

本章将重点介绍爬虫的分类，并详细阐述通用爬虫的原理。我们有两个主要目的。首先，通过了解通用爬虫，我们可以更深入地认识爬虫技术，尽管它在日常工作中并不常用，但我们仍然需要对其有一定了解。其次，通过学习通用爬虫的原理和应用场景，我们可以认识到聚焦爬虫的优势和适用场景，为后续的学习打下坚实的基础。

2023-11-15 16:53:49 741

原创 Python爬虫教程-认识网络爬虫

网络爬虫是一种自动化程序，用于从互联网上获取信息。它可以模拟人类浏览网页的行为，自动访问网页并提取所需的数据。在大数据时代，网络爬虫可以帮助我们从各种渠道获取数据，包括企业产生的用户数据、数据平台购买的数据、政府/机构公开的数据以及爬取网络数据。除了获取数据外，爬虫还可以用于12306抢票、网站上的头票和短信轰炸等场景。学习Python网络爬虫需要掌握Python基础语法、HTML页面的内容抓取和数据提取、Scrapy框架以及应对反爬虫策略等知识。

2023-11-15 16:02:14 1396

原创 Python爬虫教程-前言

掌握网络爬虫，开启数据获取之门！本教程将带您深入学习Python爬虫，探索互联网数据的无限可能。无论您是初学者还是有一定编程经验，我们将为您提供全面的指导和实践项目，助您成为专业的爬虫工程师。网络爬虫的基本原理和应用场景：了解爬虫的工作原理，探索它在市场调研、商业决策、数据分析等领域的广泛应用。Python爬虫基础知识：掌握Python编程语言的基本语法和常用库，为后续的学习打下坚实的基础。

2023-11-15 15:01:13 1239

原创高频初级软件测试面试题20道

软件测试，高频面试题，助你提高面试通过率。

2023-10-31 16:05:21 44

原创 Docker系列文章3-Docker容器

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。容器是一种轻量级、可移植、并将应用程序进行打包的技术，使应用程序可以在几乎任何地方以相同的方式运行。Docker将镜像文件运行起来后，产生的对象就是容器。容器相当于是镜像运行起来的一个实例。容器具备一定的生命周期。通过docker ps命令查看运行的容器，如同在linux上利用ps命令查看运行的进程一样。

2023-05-12 10:40:18 128 1

原创 Docker系列文章2-Docker镜像

镜像是一个Docker的可执行文件，其中包括运行程序所需要的所有代码内容、依赖库、环境变量和配置文件等，通过镜像可以创建一个或者多个容器。

2022-05-03 18:57:53 592

原创 Docker系列文章1-Docker介绍

Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。

2022-04-15 15:22:07 343

原创只需两步就能实现JWT认证

使用 djangorestframework-jwt 不需要定义视图函数吗？一般情况下，DRF-JWT在登陆功能中应用最为广泛。而登陆视图的功能就是生成签证token ，然后将其返回给前端。而生成签证token的事情，已有 djangorestframewo

2022-04-04 17:55:06 855

原创 Django结合七牛云实现对象云储存

掌握 storage 类的导入方式掌握 storage 类的操作模式学会查看七牛的文档，并为自己所用掌握七牛的空间的创建、秘钥的获取文章目录目标前言1. 思路一2. 思路二2.学习 Storage 类的使用2.1 创建存储类2.2 添加装饰器2.3 了解Storage类2.4 获取参数2.5 完整代码前言在Django中结合第三方实现图片、文件上传的功能，现在能够实现的思路有两个，分析如下：1. 思路一思路：利用七牛现有的api，单独实现一个功能模块，来完成文件对象存储。

2022-03-28 15:16:28 1256

原创 pip安装下载太慢，一行代码让你提高速度

使用pip默认的地址下载稍微大一点的包，例如：opencv_python、numpy等超过10M、20M的安装包，经常会出现在下载几秒后出现Read timed out.的情况，比如下面的报错信息pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.如果遇到这种情况，只需要我们将下载源切换到国内的就可以了。

2021-11-29 19:27:27 795

原创 Python Beautiful Soup教程-CSS选择器

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-基本使用Beautiful Soup教程-认识选择器Beautiful Soup教程-节点选择器之选择元素的方法Beautiful Soup教程-节点选择器之提取信息的方法Beautiful Soup教程-节点选择器之嵌套选择的方法Beautiful Soup教程-节点选择器之关联选择的方法Beautiful Soup教程-方法选择器Beautiful Soup教程-CSS选择器文章目录系列文章目

2021-11-21 23:23:39 4209

原创 Python Beautiful Soup教程-方法选择器

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-基本使用Beautiful Soup教程-认识选择器Beautiful Soup教程-节点选择器之选择元素的方法Beautiful Soup教程-节点选择器之提取信息的方法Beautiful Soup教程-节点选择器之嵌套选择的方法文章目录系列文章目录前言1. 了解Beautiful Soup的方法选择器2.方法选择器之 find_all() 方法2.1 作用及范围：1.2 用法介绍：(1.) name

2021-11-18 22:08:18 3927

原创 Python Beautiful Soup教程-节点选择器之关联选择的方法

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-基本使用Beautiful Soup教程-认识选择器Beautiful Soup教程-节点选择器之选择元素的方法Beautiful Soup教程-节点选择器之提取信息的方法Beautiful Soup教程-节点选择器之嵌套选择的方法文章目录系列文章目录前言节点选择器——关联选择的方法1. 关联选择1. 子节点2. 子孙节点3. 父节点4. 祖先节点5. 兄弟节点2. 总结前言Beautiful

2021-11-18 21:32:44 4555

原创 Python Beautiful Soup教程-节点选择器之嵌套选择的方法

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-认识选择器文章目录系列文章目录前言节点选择器——嵌套选择的方法1. 嵌套选择的方法2. 总结前言Beautiful Soup是一个API简单、功能强大、支持多种解析器，能够实现编码转化的解析工具。本教程就用来介绍Beautiful Soup的简单使用。节点选择器——嵌套选择的方法学习目标掌握节点选择器嵌套选择的方法1. 嵌套选择的方法我们可以使用soup.tag获取bs4.element

2021-11-18 21:06:10 4732

原创 Python Beautiful Soup教程-节点选择器之提取信息的方法

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-认识选择器提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言节点选择器——提取信息的方法1. 提取信息的方法2. 总结前言Beautiful Soup是一个API简单、功能强大、支持多种解析器，能够实现编码转化的解析工具。本教程就用来介绍Beautiful Soup的简单使用。节点选择器——提取信息的方法学习目标掌握节点选择器提取信息的方法1. 提取

2021-11-18 21:03:49 5240 2

原创 Python Beautiful Soup教程-节点选择器之选择元素的方法

系列文章目录Beautiful Soup教程-简介及安装Beautiful Soup教程-认识选择器提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言节点选择器——选择元素的方法1. 选取元素的方法1.1 格式1.2 示例1.3 结论2. 总结前言Beautiful Soup是一个API简单、功能强大、支持多种解析器，能够实现编码转化的解析工具。本教程就用来介绍Beautiful Soup的简单使用。提示：以下是本篇文章正文内容，下面案例可供参考节

2021-11-18 20:54:04 5464

原创 Python Beautiful Soup教程-基本使用

Beautiful Soup基本使用Beautiful Soup教程-简介及安装Beautiful Soup教程-认识选择器文章目录Beautiful Soup基本使用前言1. 使用Beautiful Soup的步骤2. 初始化Beautiful Soup对象1. 第一个参数：markup2. 第二个参数：features3. 总结前言Beautiful Soup是一个API简单、功能强大、支持多种解析器，能够实现编码转化的解析工具。本教程就用来介绍Beautiful Soup的简单使用。

2021-11-18 13:33:59 7624

原创 Python Beautiful Soup教程-认识选择器

Beautiful Soup教程-认识选择器文章目录Beautiful Soup教程-认识选择器前言1. Beautiful Soup选择器的作用2. Beautiful Soup选择器的分类3. 总结前言Beautiful Soup是一个API简单、功能强大、支持多种解析器，能够实现编码转化的解析工具。本教程就用来介绍Beautiful Soup的简单使用。1. Beautiful Soup选择器的作用Beautiful Soup选择器用来查找、定位元素，并获取数据。因此，学会Beaut

2021-11-17 16:16:24 4048

原创 Python Beautiful Soup教程-简介及安装

1. 简介Beautiful Soup的特点：API简单，功能强大Beautiful Soup提供一些简单的方法和Python式函数，用于浏览，搜索和修改解析树，它是一个工具箱，通过解析文档为用户提供需要抓取的数据。支持多种解析器Beautiful Soup支持多种解析器，包括Python标准库中的HTML解析器，还支持一些第三方的解析器。自动实现编码的转换Beautiful Soup 自动将输入文档转换成Unicode类型，输出文档转换为UTF-8编码。如果文档中没有指

2021-11-17 15:54:33 13688

原创在Ubuntu、Mac中创建虚拟环境的步骤

问题：在开发过程中，使用Python安装包时，需要使用可以使用pip install 包名或者sudo pip install 包名来安装。问题是在开发多个项目的时候，使用的依赖包是不一样的或者依赖包的版本是不一样的。这时候如果还把所有的包放到一个开发环境中，就会造成开发环境的臃肿、混乱(包的版本不一样)，更甚者会是环境无法运行。

2021-11-17 15:46:12 3741

原创 Python中通过property实现属性的修改、删除、查看

1. property的作用在Python中，属性可以完成赋值、取值、删除的操作。如果我们想要在完成这些操作前，进行属性的校验工作（例如：赋值前判断数据的有效性、删除前判断合法性身份），则需要在方法中完成。那么有没有既能检查参数，又可以用类似属性这样简单的方式来访问类的变量呢？有的，我们可以通过property，来实现既能检查属性，还能用属性的方式来访问该属性的功能。2. property的本质——property类property()的实例化方式：property(fget=None, fset

2021-11-12 11:59:55 8197

ares_beyong的博客