Torres-圣君个人博客

playwright介绍playwright是由微软开发的新一代web自动测试工具，相比selenium它的特点：不需要安装webdriver不需要手动设置等待playwright支持异步selenium底层是http(单向通信)，而playwright则基于websocket(双向通信)重点：自带录制功能，根据录制过程中的操作，自带生成代码playwright codegen www.xxx.complaywright codegen -o script.pyplaywri

wordcloud：安装模块：pip install wordcloud基本使用：WordCloud(font_path, background_color, width, height, max_words).generate(xxx)font_path：文本的字体collocations：是否包含两个词的搭配，默认为true，所以会有重复的数据background_color：背景色width：幕布的宽度height：幕布的高度max_words：显示的最大词个数generat

效果展示：分析目标网站：LOL道聚城网址：https://daoju.qq.com/lol/list/17-0-0-0-0-0-0-0-0-0-0-00-0-0-1-1.shtml在进入网站后，右键网站任意位置点击查看页面源代码，但在源代码中无法找到皮肤相关信息返回网站，右键点检查或审查元素，在弹出的控制台中点网络或network，如果没有显示数据的话，刷新一下网页就有了在网络栏下找到GoodsListApp.php?.....开头的那个名称，然后点击右侧的预览，展开数据后发现其皮

CSV文件的读写基本格式：需要导入模块：import csvimport csv# csv表头headers = []# csv数据rows = []# 写入的数据为列表结构with open('test1.csv', 'w') as w: # 创建一个csv的writer对象 w_csv = csv.writer(w) # 写入csv表头--写入一行 w_csv.writerow(headers) # 写入csv数据--写入多行 f

需要安装pymysql模块 -> pip install pymysql连接数据库：xxx = pymysql.connect(host, user, password, database, charset)host: 数据库IP地址user: 数据库账号password: 数据库密码database: 要连接的数据库名字charset: 字符编码yyy = xxx.cursor(): 创建游标对象yyy.execute(): 执行SQL语句yyy.fetchall(): 获.

MongoDB的基本使用与语法：1.启动MongoDB服务端服务端相关信息：端口号：27017配置文件：/etc/mongod.conf本地测试启动(部分功能)：用于验证数据库能否正常运行启动/停止/重启：sudo service mongod start/stop/restart验证数据库是否正常启动：grep -v '#' /etc/mongod.conf生产方式启动(完整功能)：用于部署启动启动方式：sudo mongod [--dbpath]

安装模块：pip install pymongo基本使用：与MongoDB创建连接：导入模块：from pymongo import MongoClient创建链接：client = MongoClient('ip', 27017)选择数据库：db = client['admin']如果设置用户命名则增添：db.authenticate('uesr','pwd')选择集合：col = client['数据库名']['集合名']对MongoD.

mongodb介绍什么是MongoDB：mongodb是一个功能最丰富的NoSQL非关系型数据库，由c++编写mongodb本身提供server端存储数据，也提供client端操作处理SQL和NoSQL的区别：在SQL中层级关系：数据库>表>数据在NoSQL中则是：数据库>集合>文档MongoDB作为非关系型数据库相较于关系型数据库的优势：易扩展：NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易

环境搭建：selenium -> 自动化测试模块，非必要不建议使用该模块写爬虫安装模块pip install selenium==3.3.1下载浏览器对应的驱动把解压出来的浏览器驱动可执行文件，移动到python解释器的所在文件夹驱动可执行文件改名(selenium4.0之后的版本无需修改)：edge驱动:将msedgedriver.exe文件名改为MicrosoftWebDriver.exechrome驱动：将文件名的最后一位数字删除基本使用：导入模

异步介绍：异步：当一个程序进入I\O时，程序不会一直等待，而是去处理其他工作基本协程&异步的爬虫结构：async def xxx(): passasync def main(): passif __name__ == '__main__': asyncio.run(mian())aiohttp简述:requests.get()是同步的代码，而aiohttp则是强大的异步爬虫asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyn

xpath介绍：xpath 是在XML文档中搜索内容的一门语言html是XML的一个子集导入模块：from lxml import etree生成xpath解析对象：xxx = etree.HTML(需要解析的对象)获取层级关系节点：xxx.xpath("")获取节点内的内容：在结尾加上 /text()xpath检索：选取此节点的所有子节点：nodename表示一个层级，从根节点开始定位：/表示多个层级，从任意位置开始定位：//通配符，选择所有元素节点与元素名：*选取当前

bs4基本使用：它可以从 HTML 或 XML 文档中快速地提取指定的数据导入模块：from bs4 import BeautifulSoup指定html解析器：html.parser基本格式：xxx = BeautifulSoup(xxx, 'html.parser')find()和find_all()：xxx.find(标签, 属性=值)找出一条符合属性=值的数据xxx.fina_all(标签, 属性=值)找出全部符合属性=值的数据避免cla

requests发送请求：导入模块：import requests基本格式：requests.xxx(url,headers,params...)xxx是http的请求类型 -> get,put,post,delete…参数讲解：url：需要发起请求的链接headers：构建请求URL时的消息头，字典格式params：添加请求URL时的参数，字典格式proxies：添加代理服务器，字典格式data：将放进data的数据转换为form表单数据data.encode('ut

- 因使用`pyinstaller`打包exe时，不能打包图片，解决方法： - 采用`base64`动态生成图片 1. 使用以下代码生成图片的`base64`码：

获取网站的基本信息目标网址：https://www.umei.cc/katongdongman/dongmanbizhi/index.htm在进入网站后，右键网站任意位置点击查看页面源代码在源码中发现居然可以直接找到图片的链接，点进链接核实确实是页面对应的图片，那接下来就省事多了用requests对网站发送请求，代码如下：import requestsurl = 'https://www.umei.cc/katongdongman/dongmanbizhi/index.htm'res

GUI介绍GraphicalUserInterface，简称GUI–图形化界面python的GUI: Tkinter, wxPython, PyQtTKinter:Python标准库，绑定的是TK GUI工具集，简单易用PyGTK:Tkinter的替代品wxPython:跨平台的Python GUI，开源免费PyQt:跨平台，开源，商用收费功能强大但相对复杂Tkinter常用组件按钮Button 按钮组件RadioButton

Python基础篇第一章：基础语法输出相关：基本输出案例print("HelloWorld")# 执行结果：'''HelloWorld'''转义字符# 转义字符"/"# 输出前加"r"，输出原始字符串，即去除转义字符# 输出前加"f"，输出填补字符串，和format相似name = 'c:\\user'x = '路径c:\\user'y = r"路径c:\user"z = f"路径{name}"print(x,"
",y,"
",z)# 执行结果：''

若出现以下提示时，需要依次输入：*** Please tell me who you are.Run git config --global user.email "you@example.com" git config --global user.name "Your Name"`to set your account's default identity.Omit --global to set the identity only in this repository.git

输出相关：基本输出案例print("HelloWorld")# 执行结果：'''HelloWorld'''转义字符# 转义字符"/"# 输出前加"r"，输出原始字符串，即去除转义字符# 输出前加"f"，输出填补字符串，和format相似name = 'c:\\user'x = '路径c:\\user'y = r"路径c:\user"z = f"路径{name}"print(x,"
",y,"
",z)# 执行结果：'''路径c:\user 路径c:\u

①函数的定义和调用：定义函数格式#def 函数名(形参):# 内容def Num(a,b): return a+bprint(Num(5,10))#执行结果：'''15'''②函数的参数:必选参数def sum(a,b): sum = a+b print(sum)sum(333,333)#执行结果：'''666'''缺省参数def sum(a=333,b=111): sum = a+b print(sum