- 博客(16)
- 收藏
- 关注
RSS订阅原创 python3+selenium爬取笔记本电脑详情信息
python3+selenium爬取京东准备工作分析urlxpath附完整代码准备工作# 用到的包selenium #Web自动化测试工具urllib #URL地址中查询参数进行编码 xlwt # 存储execl文件 time # 加载数据缓冲时间selenium未安装的可通过以下方式安装Linux: sudo pip3 install seleniumWindows: python -m pip install selenium浏览器驱动 需提前下载驱动chrom
2022-04-15 10:05:30
1429
1
原创 python3之Scrapy+Selenium切换iframe抓取网易云音乐排行榜
Scrapy+Selenium切换iframe抓取网易云音乐排行榜iframe标签Selenium (WEB自动化工具)Scrapy 框架iframe标签了解一下iframe百度百科介绍的iframe网易云音乐的iframe标签如图所示:Selenium (WEB自动化工具)selenium爬虫百度百科介绍的seleniumselenium官网有疑惑的同学可以了解一下博主的这篇文章python3+selenium爬取京东笔记本电脑详情信息Scrapy 框架Scrapy
2021-01-12 11:41:59
1142
1
原创 python3之爬虫代理IP的使用+建立代理IP池
爬虫代理IP的使用+建立代理IP池代理IP的使用建立代理IP池完整代码代理IP的使用先了解一下百度百科定义的IP为什么要使用代理IP?反爬(反网络爬虫)示例:测试网址http://httpbin.org/get浏览器先访问下看看再用我们写的代码简单请求一下网页看看import requestsurl='http://httpbin.org/get'html=requests.get(url=url).textprint(html)"""{ "a
2021-01-10 13:49:56
120278
16
原创 python3之帮隔壁小张爬取动漫壁纸
帮隔壁小张获取动漫壁纸步入正题正篇来了完整代码机缘巧合下得知小张的喜好二次元 美女 动漫 …图片做电脑壁纸, 而选择壁纸成为小张的难题正好遇到我这种有乐于助人的精神的人, 怎不会出手相助呢?咳咳…步入正题以下本次所用到的模块import requestsimport timeimport randomfrom lxml import etreefrom fake_useragent import UserAgent # 伪造 User-Agent的值以上缺少模块的小伙伴可通过
2021-01-07 11:12:05
294
1
原创 python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)
python3+re 爬虫爬取笔趣阁小说 斗罗大陆IV终极斗罗爬取前准备导入的模块分析正则的贪婪与非贪婪附完整代码示例爬取前准备导入的模块import redis #redis数据库 存储指纹import re #正则查询import pymongo # mongo数据库 存储数据import requests #发请求from hashlib import md5 #生成指纹(加密)from fake_useragent import UserAgent #伪造 headers
2021-01-01 13:25:56
1407
1
原创 Python3文件传输
Ftp 文件传输文档分析服务端代码客户端代码文档分析需求 ：* 分为服务端和客户端，要求可以有多个客户端同时操作。* 客户端可以查看服务器文件库中有什么文件。* 客户端可以从文件库中下载文件到本地。* 客户端可以上传一个本地文件到文件库。* 使用print在客户端打印命令输入提示，引导操作1. 文件库可能为空,此时看不了文件库2. 要下载的文件不存在3. 上传时文件库有同名的文件技术点 ：网络： tcp并发模型 ： 多进程 多线程 并发功能划分和封装： 封装框架搭建 ：
2020-10-24 09:31:09
591
原创 Python3群聊聊天室
类似群聊需求有人进入聊天室需要输入姓名，姓名不能重复有人进入聊天室时，其他人会收到通知：xxx 进入了聊天室一个人发消息，其他人会收到：xxx ： xxxxxxxxxxx有人退出聊天室，则其他人也会收到通知:xxx退出了聊天室技术分析客户端/服务端client/server存储人员信息： 服务端 存什么 ： 名字 地址 怎么存 ： {name:address} [(name,address),...] class Perso
2020-10-24 08:34:09
802
原创 Python3 数据库MySQL(4)
Python MySql视图函数和存储过程函数创建存储过程创建存储过程和存储函数操作函数和存储过程区别事务控制事务概述事务操作事务四大特性事务隔离级别数据库优化数据库设计范式MySQL存储引擎字段数据类型选择键的设置explain语句SQL优化表的拆分数据库备份和用户管理表的复制数据备份用户权限管理pymysql模块视图视图概念视图是存储的查询语句,当调用的时候,产生结果集,视图充当的是虚拟表的角色。其实视图可以理解为一个表或多个表中导出来的表，作用和真实表一样，包含一系列带有行和列的数据 视图中
2020-09-16 19:22:27
123
原创 Python3 数据库MySQL(3)
Python Mysql聚合操作聚合函数聚合分组聚合筛选去重语句聚合运算索引操作概述索引分类索引创建外键约束和表关联关系外键约束表关联设计聚合操作聚合函数方法功能avg(字段名)该字段的平均值max(字段名)该字段的最大值min(字段名)该字段的最小值sum(字段名)该字段所有记录的和count(字段名)统计该字段记录的个数eg1 : 找出表中的最大年龄的值？select max(age) from employee;eg2 : 表
2020-08-12 21:00:31
397
原创 Python3 数据库MySQL(2)
MySQL更新表记录（update）删除表记录（delete）表字段的操作（alter）时间类型数据更新表记录（update）update 表名 set 字段1=值1,字段2=值2,... where 条件;注意:update语句后如果不加where条件,所有记录全部更新在这里我们把name为Rose的改为Lisa查看已经更新后的表删除表记录（delete）delete from 表名 where 条件;注意:delete语句后如果不加where条件,所有记录全部清空删除
2020-08-08 08:07:09
156
原创 Python3 数据库MySQL(1)
数据库MySQL启动和连接MySQL服务MySQL数据库结构SQL语言数据库管理1.查看已有库2.创建库3.切换库4. 查看当前所在库5. 删除库数据表管理基础数据类型表的基本操作表数据基本操作插入（insert）查询（select）where子句MySQL启动和连接MySQL服务服务端启动查看MySQL状态 : sudo service mysql status启动/停止/重启服务：sudo service mysql start/stop/restart连接数据库
2020-08-07 08:35:50
117
原创 Python3 正则表达式使用
Python 正则表达式正则表达式概述元字符使用匹配规则特殊字符匹配贪婪模式和非贪婪模式正则表达式分组正则表达式匹配原则python re模块使用基础函数使用生成match对象match对象使用flags参数扩展正则表达式概述定义即文本的高级匹配模式，其本质是由一系列字符和特殊符号构成的字串，这个字串即正则表达式。原理通过普通字符和有特定含义的字符，来组成字符串，用以描述一定的字符串规则，比如：重复，位置等，来表达某类特定的字符串，进而匹配。元字符使用普通字符匹配规则：每个普通字符
2020-08-06 11:59:14
234
原创 Python 数据处理 -文件
Python3 数据处理文件处理引入文件读写操作打开文件读取文件写入文件关闭文件with操作缓冲区文件偏移量os 模块文件处理引入文件分类文本文件：打开后会自动解码为字符，如txt文件，word文件，py程序文件。二进制文件：内部编码为二进制码，无法通过文字编码解析，如压缩包，音频，视频，图片等。字节串类型概念 ： 在python3中引入了字节串的概念，与str不同，字节串以字节序列值表达数据，更方便用来处理二进程数据。- 普通的英文字符字符串常量可以在前面加b转换为字节串，
2020-08-05 20:13:51
152
原创 python笔记 Linux
Linux操作系统操作系统（Operation System简称OS）操作系统功能操作系统分类Linux系统特点文件系统普通文件和目录主要目录功能Linux常用命令命令格式帮助命令基础操作命令通配符文件操作压缩解压权限管理显示展示命令其他命令操作系统（Operation System简称OS）操作系统功能管理好硬件设备，为用户提供调用方法是计算机中最重要的系统环境管理各种其他的软件和程序的运行对系统中文件进行管理操作系统分类桌面系统：Windows ，macOS
2020-08-04 20:29:30
150
原创 Python入门笔记（2）
Python初学随堂笔记语句行选择语句if elif else语句if嵌套循环语句while语句for 语句range 函数跳转语句break 语句continue 语句pass 语句容器类型数学运算符成员运算符索引 index切片 slice内建函数附：小练习1小练习2语句行物理行：程序员编写代码的行。逻辑行：python解释器需要执行的指令。建议一个逻辑行在一个物理行上。如果一个物理行中使用多个逻辑行，需要使用分号；隔开。如果逻辑行过长，可以使用隐式换行或显式换行。隐
2020-07-31 13:41:31
548
原创 Python入门笔记（1）
Python初学随堂笔记标识符功能快捷键注释变量函数标准数据类型Number(数字)1.整数 int2.浮点数 float3.布尔 bool字符串 str数据类型转换运算符算术运算符+ 加法- 减法* 乘法/ 除法：结果为浮点数// 整除：除的结果去掉小数部分% 求余** 幂运算优先级从高到低：增强运算符y += x 相当于 y = y + xy -= x 相当于 y = y - xy *= x 相当于 y = y * xy /= x 相当于 y = y / xy //= x 相当于 y = y
2020-07-30 18:02:09
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人