python
文章平均质量分 71
某x?
这个作者很懒,什么都没留下…
展开
-
爬虫基础概述
对于爬虫的一些简单概述原创 2022-01-21 12:33:07 · 520 阅读 · 0 评论 -
python爬虫之异步与协程(附带实例)
异步爬虫目的:在爬虫中使用异步实现实现方式:多进程,多线程(不建议)好处:可以为相关阻塞单独开启线程或者进程,阻塞操作就可以异步执行弊端:无法无限制开启多线程或者多进程进程池:(适当使用)好处:可以减低系统对进程创建和销毁的一个频率,从而很好的减低系统的开销弊端:进程池线程或进程的数量是有限的实例:import timefrom multiprocessing.dummy import Poolstart_time=time.time()def get_page(st原创 2022-01-29 18:30:03 · 2495 阅读 · 0 评论 -
聚焦爬虫之正则解析
聚焦爬虫概述: 爬取页面中指定的页面内容编码流程指定url发起请求获取响应数据数据解析持久化存储1. 数据解析1.1 数据解析分类正则bs4xpath(主要)1.2 数据解析原理概述:解析的局部文本内容都会在标签之间或者标签对应的属性中进行存储方法:进行指定标签的定位标签或者标签对应的属性中存储的数据值进行提取(解析)2. 正则解析2.1 正则表达式正则:用来匹配字符串的一门表达式语言2.2 常用正则表达式2.2 实战之暴走漫原创 2022-01-24 16:11:28 · 226 阅读 · 0 评论 -
python基础【二】:必备python知识
5 标识符标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。以下划线开头的标识符有特殊含义_xxx ,表示不能直接访问的类属性,需通过类提供的接口进行访问,不能用 from xxx import * 导入双下划线开头的标识符,如:__xx,表示私有成员双下划线开头和结尾的标识符,如:xx,表示 Python 中内置标识,如:init() 表示类的构造函数5.1 关键字andexecnot原创 2022-02-18 11:14:28 · 177 阅读 · 0 评论 -
python基础【四】:列表、字典、元组与集合
文章目录15 列表15.1 列表的基本操作16 字典16.1 字典的基本操作16.2 字典总结17 元组17.1 元组的基本操作18 集合18.1 集合的基本操作18.2 元组与集合总结19 序列总结15 列表列表可存储不同类型的值15.1 列表的基本操作创建列表:r=[12,"i"]print(r)# [12, 'i']r=list('1234')print(r)# ['1', '2', '3', '4']列表的特点:获取列表指定元素的索引(index()函数)原创 2022-02-20 11:13:23 · 306 阅读 · 0 评论 -
python基础【三】:必备python知识
文章目录11 数据类型11.1 数据类型转换12 python运算符12.1 算术运算符的优先级12.2 对象的布尔值13 选择结构13.1 条件表达式13.2 pass语句14 循环结构14.1 range函数14.2 while循环14.3 for-in循环14.4 流程控制语句14.5 循环总结11 数据类型python常用数据类型:类型类型名实例整数类型int88浮点类型float3.123布尔类型boolTrue,False字符串类型原创 2022-02-19 11:56:58 · 489 阅读 · 0 评论 -
python基础【一】:必备入门知识
1 Python简介Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。解释性:这意味python在运行过程中没有编译这个过程交互式:意味着可以直接运行代码而不用像c语言一样在main函数中执行代码面向对象的语言:意味着python支持面向对象或代码封装的编程技术2 Python编码如果 python 源码文件 没有声明编码格式,python 解释器会默认使用 ASCII 编码可以在文件头写#encoding=gbk等修改python默认的编码格式若文件中出现与原创 2022-02-17 12:36:40 · 97 阅读 · 0 评论 -
python之selenium模块【操纵浏览器】
selenium模块为什么需要使用selenium模块?selenium可以更快捷的获取网站中动态加载的数据便捷的实现模拟登录什么是selenium模块?基于浏览器自动化的一个模块selenium使用环境安装:pip install selenium下载一个浏览器的驱动程序https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/(edge浏览器)可以自己查找对应浏览器的驱动下载网站实原创 2022-01-30 19:36:52 · 904 阅读 · 0 评论 -
超详细爬虫入门教学
1. python网络请求模块requests模块(主要)urllib模块2. requests模块python中原生的一款基于网络请求的模块,功能强大,简单快捷,效率极高作用:模拟浏览器发请求2.1 环境安装pip install requestsps:pycharm自带python环境,所以在电脑命令中安转可能在pycharm中导包不了,所以最好在pycharm的终端中进行安转2.2 如何使用指定url向指定url发起请求get请求post请求获取响应对象原创 2022-01-22 16:31:38 · 1556 阅读 · 0 评论 -
python基础【五】:必备python知识
文章目录20 字符串20.1 字符串的驻留机制20.2 字符串的操作21 函数21.1 递归函数22 异常处理机制22.1 BUG总结23 python类23.1 类总结24 面向对象的三大特征24.1 封装24.2 继承24.3 object类24,4 多态24.5 面向对象总结25 类的浅拷贝与深拷贝20 字符串python基本数据类型,是一个不可变序列20.1 字符串的驻留机制基本概述pycharm中对字符串的驻留机制进行了优化,只要是字符串都可以驻留驻留机制优缺点2原创 2022-02-23 16:26:27 · 370 阅读 · 0 评论 -
bs4解析
bs4解析只能在python用bs4数据解析原理实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取环境安装:pip install bs4pip install lxml如何实例化BeautifulSoup对象from bs4 import BeautifulSoup对象实例化将本地的HTML文档中的数据加载到该对象中from bs4 import原创 2022-01-26 17:01:49 · 1015 阅读 · 0 评论 -
python-pyautogui模块[控制鼠标键盘]
文章目录pyautogui模块概述安装pyauto库基础功能鼠标功能屏幕处理键盘键盘映射框内容pyautogui模块概述安装pyauto库pip install pyautogui基础功能报错机制pyautogui.FAILSAFE=False# 默认为True,当鼠标的指针在屏幕的最上方程序会报错停顿功能pyautogui.PAUSE=1# 每条pyauto指令会暂停一秒,其他指令不会停止鼠标功能获取屏幕分辨率x,y=pyautogui.size()# 获取屏幕的原创 2022-03-01 12:03:26 · 716 阅读 · 0 评论 -
python爬虫之xpath详解(附加实战代码)
xpath解析最常用切最便捷高效的一种方式xpath解析原理:实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获环境安装pip install lxml如何实例化一个etree对象导包:from lxml import etree将本地的HTML文档中的数据加载到该对象中:etree.parse(filePath,etree.HTMLParser())解析本地本件第二原创 2022-01-27 21:09:26 · 3973 阅读 · 0 评论 -
万字超详细python基础解析
文章目录1 Python简介2 Python编码3 python模块安装之pip4 python的缩进规则5 标识符5.1 关键字6 转义字符7 注释7.1 单行注释7.2 多行注释8 输出函数8.1 格式化输出8.2 精度和宽度控制8.3 转换标志8.4 格式字符归纳控制输出字体样色9 输入函数10 变量与常量11 数据类型11.1 数据类型转换12 python运算符12.1 算术运算符的优先级12.2 对象的布尔值13 选择结构13.1 条件表达式13.2 pass语句14 循环结构14.1 rang原创 2022-02-22 14:56:44 · 4902 阅读 · 2 评论 -
aiohttp模块
aiohttp是python基于异步的网络请求第三方模块,而requests是基于同步的,所以要写出异步爬虫,必须熟悉aiohttp模块原创 2022-08-04 20:43:35 · 876 阅读 · 0 评论 -
正则表达式-re模块
在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。re模块是python独有的匹配字符串的模块,但是很多功能是基于正则表达式实现的,所以re模块多用于正则匹配。和findall类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回。如果字符串开头的零个或多个字符与正则表达式模式匹配,则返回相应的匹配对象。sub是substitute的所写,表示替换,将匹配到的数据进⾏替换。跟sub函数系统,但是返回一个元组。...原创 2022-07-30 20:14:33 · 201 阅读 · 0 评论 -
python常用库
python文件处理常用的os和pathlib库,以及处理时间常用的time库原创 2022-07-29 11:17:17 · 171 阅读 · 0 评论 -
python - 日志库
日志在许多项目中都有应用,熟练使用日志可以更加方便直观的debug原创 2022-07-29 10:54:50 · 444 阅读 · 1 评论 -
functools模块
functools 模块可以说主要是为函数式编程而设计,用于增强函数功能。functools模块用以为可调用对象(callable objects)定义高阶函数或操作。原创 2022-07-26 21:13:07 · 770 阅读 · 0 评论 -
python浅拷贝与深拷贝
python浅拷贝与深拷贝主要是对于python可变对象与不可变对象的深度理解原创 2022-07-26 18:16:37 · 248 阅读 · 0 评论 -
python泛型
指定类型的时候用list、set、dict、tuple也是可以的,但是不能指定里面的元素类型。当你传入参数与设置的参数类型不一样时,只会warning,而不会报错。Tuple[T]指定一个类型的时候,仅针对同一个索引下的元素类型。如果想向List[T]一样指定全部的类型,可以Tuple[T,…Dict[T,T]第一个参数指定键的类型,第二个参数指定值得类型。Union[int,str]表示既可以是int,也可以是str。且List[T]、Set[T]只能传一个类型,传多个会报错。...原创 2022-07-26 11:11:55 · 1444 阅读 · 0 评论 -
python进阶语法
python闭包、迭代器、装饰器、生成器知识原创 2022-07-25 19:24:40 · 140 阅读 · 0 评论 -
python常用内置函数
Python中内置了许多好用的函数,熟练掌握可以更好的解决问题。原创 2022-07-24 11:53:40 · 72 阅读 · 0 评论 -
python协程编程
因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不用加锁,只需要判断状态就好了,所以执行效率比多线程高很多。如果想要充分利用CPU的多核特性,最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。在Python语言中,单线程+异步I/O的编程模型称为协程,有了协程的支持,就可以基于事件驱动编写高效的多任务程序。很多时候,我们的事件循环用于注册协程,而有的协程需要动态的添加到事件循环中。嵌套的协程,即一个协程中await了另外一个协程,如此连接起来。...原创 2022-07-22 16:05:58 · 208 阅读 · 0 评论 -
UUID与secrets模块
UUID是Universally Unique IDentifier(普遍唯一的标识)UUID代表通用唯一标识符,是一个128位的值,用于软件开发的唯一标识UUID的生成基于当前时间戳和生成UUID的工作站的唯一属性 uuid1 uuid4 uuid3 uuid5...原创 2022-07-14 09:53:50 · 186 阅读 · 0 评论