- 博客(81)
- 收藏
- 关注
RSS订阅原创 Python Selenium 本机开启代理，谷歌浏览器关闭代理登录弹窗配置
【代码】Python Selenium 本机开启代理，谷歌浏览器关闭代理登录弹窗配置。
2024-05-23 11:13:41
151
转载 python装饰器@wraps(func)详解
python装饰器的作用是在不改变原函数结构的情况下，对一个目标函数功能的扩展。但是被装饰器修饰的函数，其函数名等函数属性会发生改变，这就相当于另外一个函数了。所以在python中提供了装饰器wraps(func)来解决这个问题。
2024-03-26 09:04:15
201
原创 SQL查询每个类别价格前3的数据
是窗口函数（Window Function）中的两个不同的排名函数，它们在处理相同排序条件时有一些区别。通常情况下，如果你希望处理相同排序值的行并确保连续的排名，可以选择使用。如果你希望每个行都有唯一的排名，不考虑相同排序值的行，可以选择使用。选择哪个函数取决于你的具体需求。
2024-02-22 18:00:16
643
转载 果断收藏！看过的最棒的一篇对Transformer的理解，适合基础少的小白
如今爆火的大模型，GPT-3，BERT 等，通过大量的参数和数据，为我们提供了前所未有的自然语言处理能力，使得机器能够更好地理解和生成人类的语言。而注意力机制无疑是重要的基石之一，作为一种新的神经网络结构，使得模型能够更好地捕捉序列中的长距离依赖关系，从而大大提高了模型的性能。本文将从通俗和学术两个角度，详细介绍大模型和注意力机制的基础知识。无论你是对人工智能感兴趣的初学者，还是寻求深入理解的开发者，都能在本文中找到你需要的内容。
2023-12-22 11:25:17
172
原创 深度学习——关于adam优化器和交叉熵损失函数介绍
在深度学习中，选择优化器和损失函数是非常重要的决策，因为它们直接影响模型的训练和性能。在你的代码中，使用了Adam优化器和交叉熵（categorical crossentropy）损失函数，这是常见且在许多情况下表现良好的选择。
2023-12-21 17:23:09
1425
原创 【Python深度学习第二版】学习笔记之——神经网络
首先来说对于神经网络这几章看的很懵，虽然作者已经去掉了数学公式相关内容，讲得已经很想让读者容易理解了，奈何读完还是一知半解，下面就以我目前的理解简单记录一下吧，往后了解的多了再回头看一看。
2023-12-04 18:00:11
672
原创 【Python深度学习第二版】学习笔记之——什么是深度学习
通过一系列简单的数据变换（层）来实现这种输入到目标的映射，这些数据变换都是通过观察示例学习得到的。的任务是根据损失值，来对权重值进行微调，以降低当前示例对应的损失值。是将输入（比如图像）映射到目标（比如标签“猫”）的过程。这一过程是通过观察许多输入和目标的示例来完成的。的输出是神经网络的预测值与真实目标值的距离值。
2023-11-28 17:55:40
403
原创 vue项目提交Git如何取消代码检查
才能跳过校验 不想每次提交都输入–no-verify可以进行如下配置。vue项目一般会有一个提交代码时的校验 一般提交需要。
2023-06-12 16:31:48
1998
原创 Vue3中el-table翻页序号连续
需要在el-table中有一列是序号，且翻页时，序号要连续，且删除当前行时，序号需要从后往前递补；且这个序号不是通过后端返回的数组中取到的对应字段，需要纯前端处理。
2023-04-07 15:32:03
591
1
原创 Vue3+Element-plus 导航菜单折叠后不显示图标问题解决
使用最新的element plus版本(v2.3.2)写导航菜单时，发现折叠后图标不显示了，最后降低了版本(v2.2.12)可以了，有大佬介绍下什么原因吗。
2023-04-04 16:23:33
1214
2
原创 情感分析之sklearn基于电影评论数据集
在上面的示例中，我们使用了nltk语料库中的电影评论数据集。我们使用CountVectorizer从文本数据中提取特征，并使用MultinomialNB朴素贝叶斯分类器训练模型。然后，我们使用模型对给定文本进行情感分类。
2023-03-31 10:45:02
318
原创 前端学习日记——Vue之Vuex初识（一）
学习前端一段时间了，因为一直是做Python开发，所以凭借着语言的通性学习Javascript、Vue轻快很多，但一些碎片化的知识及插件的使用方法还是需要记录一下，时而复习，形成系统化的知识体系（PS：主要是年纪大了记不住）
2023-02-24 10:35:22
351
原创 scrapydweb启动报错：sqlite3.OperationalError: no such table: metadata
查了很多有说是python版本的问题，需要降低到3.6，经试验，应该是多个包版本不匹配的问题，最终解决了问题，把过程分享下来，有用的点个赞吧~
2022-12-06 11:36:56
889
4
原创 python GNE 爬虫通用提取文章信息模块
GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE 在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到 100%的准确率。
2022-10-21 17:13:33
971
原创 python appium 自动化测试 send_keys不能输入问题
原因是输入框控件是android.view.View，只能点击，不能sendkeys发送内容
2022-10-10 17:10:36
1663
转载 python js逆向 Hook钩子详解
钩子英文 Hook，在 windows 系统中，所有的都是消息，按了一下键盘，就是一个消息，Hook 的意思就是勾住，在消息过去之前先把消息勾住，不让其执行，然后自己优先处理。也就是这个技术提供了一个入口，能够针对不同的消息或者 api 在执行前，先执行我的操作。“我的操作”就是钩子函数。在开发者工具中以 chrome 插件的方式，在匹配到关键词处插入断点。......
2022-08-03 17:20:32
640
原创 Python js反爬知识点汇总
加载html加载js-运行js初始化-用户触发了某个事件-调用了某段js-明文数据-加密参数-加密数据-给服务器发信息(XHR-send)-接受到服务器数据-解密函数-刷新网页渲染。
2022-08-02 09:55:35
308
原创 Python 荔枝网 signature详解
最近工作上需要对荔枝网进行搜索解析，在研究过程中，发现了一些有意思（WTF）的问题，希望能给踩到坑的同学一点帮助。文中主要涉及请求表单formdata的格式问题及加密参数x-itouchtv-ca-signature获取进行介绍。...............
2022-07-04 10:12:32
1057
原创 Python 教你 4 行代码开发新闻网站通用爬虫
GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。...
2022-06-24 15:36:28
495
原创 Linux环境Docker中搭建Kafka
公司某个数据项目要利用Kafka做数据分发，所以整理了下在centos中利用docker搭建kafka的步骤，根据步骤操作半小时内就能搭建完成~
2022-06-24 11:30:06
1347
转载 selenium关闭左上方Chrome 正受到自动测试软件的控制的提示
老版本： 之前老版本这样操作即可，新版的chrome就不行了。怎么办呢？看下面只需要增加3行代码即可统计了options一些常用参数 使用代理 # 禁止策略化 # 解决DevToolsActivePort文件不存在的报错 # 指定浏览器分辨率 # 谷歌文档提到需要加上这个属性来规避bug # 隐身模式（无痕模式） # 禁用javascript # 最大化运行（全屏窗口）,不设置，取元素会报错 # 隐藏滚动条, 应对一些特殊页面 # 不加载图片, 提升速度 # 浏览
2022-06-22 12:37:11
4277
转载 Python的pip包下载速度太慢解决方法
1、目的: 采用国内源，加速下载模块的速度2、常用pip源：-- 豆瓣：https://pypi.douban.com/simple-- 阿里：https://mirrors.aliyun.com/pypi/simple-- 中科大：https://pypi.mirrors.ustc.edu.cn/simple -- 清华：https://pypi.tuna.tsinghua.edu.cn/simple3、加速安装的命令：-- >: pip install 模块名 -i https://pypi.douba
2022-06-15 13:21:02
3940
原创 Python项目部署自定义模块找不到no module name “xxx“
有时候运行Python程序,如python bob.py会出现报错No module named ‘×××’，这是因为import ×××时发生了错误。该如何解决呢？下面分两种情况分析：（1）如果’×××’是一些python包，比如说numpy、pandas等，这时候在终端输入pip install ×××命令安装相应的包即可（2）如果’×××’是非python的包, 比如说自己写了个alice.py文件，然后在bob.py的文件里要调用a，即import alice或者from alice impor
2022-05-05 16:29:07
1721
转载 Python | Flask 解决跨域问题
一.引入库pip install flask-cors二.配置flask-cors 有两种用法，一种为全局使用，一种对指定的路由使用1. 使用 CORS函数 配置全局路由from flask import Flask, requestfrom flask_cors import CORS app = Flask(__name__)CORS(app, supports_credentials=True)其中 CORS 提供了一些参数帮助我们定制一下操作。常用的我们可以配置 origi
2022-04-06 16:46:32
4186
转载 使用openpyxl模块向Excel中插入图片
向一个Excel表格中A1位置插入一张图片。Python实现from openpyxl import load_workbookfrom openpyxl.drawing.image import Imagedef insertimg2excel(imgPath, excelPath): imgsize = (720 / 4, 1280 / 4) # 设置一个图像缩小的比例 wb = load_workbook(excelPath) ws = wb.active
2022-01-10 15:25:35
1881
原创 Python 爬虫时，如何替换 URL 中的 query 字段？
在我们写爬虫的时候，可能会需要在爬虫里面基于当前url生成一个新的url。下一页的链接需要上一页响应里面的参数，例如：https://xxx.cn/comments/hotflow?mid=456116456616146&max_id=123456789&count=20当我们拿到下一页的max_id要替换链接中原来的值，大家可以试一试，如果用正则表达式，怎么覆盖这4种情况，生成下一页的网址。实际上，我们不需要使用正则表达式。Python自带的urllib模块已经提供了解决这个问题
2021-10-27 15:10:41
760
2
转载 太赞了！最全的 Python 处理日期与时间的全面总结！
Python 的时间处理模块在日常的使用中用的较多多，但是使用的时候基本上都是要查资料，还是有些麻烦的，梳理下，便于以后方便的使用目录时间相关概念Python time 模块时间格式化计时器功能time模块其他内置函数time模块包含的属性datetime模块date类time类datetime类timedelta类tzinfo类pytz模块时区转换夏令时处理dateutil模块parser.parse()rrule.rrule()ArrowUTC 时间当地时间解析时间Unix 时间戳格式化日期和时间转换为
2021-10-27 14:34:37
475
转载 Python itertools库
很多人都致力于把Python代码写得更Pythonic，一来更符合规范且容易阅读，二来一般Pythonic的代码在执行上也更有效率。今天就先给大家介绍一个很Pythonic的Python系统库：itertools。itertools库迭代器（生成器）在Python中是一种很常用也很好用的数据结构，比起列表(list)来说，迭代器最大的优势就是延迟计算，按需使用，从而提高开发体验和运行效率，以至于在Python 3中map,filter等操作返回的不再是列表而是迭代器。话虽这么说，但大家平时用到的迭代器大概只
2021-09-15 14:14:47
327
转载 Python requests 如何突破反爬虫指纹 JA3算法
这是「进击的Coder」的第 466 篇技术分享 作者：kingname 来源：未闻 Code “ 阅读本文大概需要 6 分钟。 ” 在前几天的文章《为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运》里面，我介绍了 JA3 指纹算法。这个算法可以在你改掉 IP 和 UA 的情况下依然识别到你。 今天，我们来介绍如何在 Python 里面，使用 requests 请求网站的时候，修改 JA3指纹。 requests 是基于 urllib3 实现的。要修改 JA3 相关的底...
2021-09-03 15:41:35
4544
转载 忘记虚拟机中Linux的登录密码的解决办法
一、重启系统，在开机过程中，快速按下键盘上的方向键↑和↓。目的是告知引导程序，我们需要在引导页面选择不同的操作，以便让引导程序暂停。 2.使用↑和↓将选择行设置为第一行（背景高亮即为选中），按下键盘上的e，进入编辑模式 3.将光标一直移动到 LANG=zh_CN.UTF-8 后面，空格，再追加init=/bin/sh。这里特别注意，需要写在UTF-8后，保持在同一行，并注意空格。有些虚拟机由于屏太小，会自动添加\换行，这个是正常的。 &nb...
2021-08-02 11:35:53
3034
1
转载 python fake-useragent 报错：Maximum amount of retries reached
前言fake-useragent是爬虫中伪装useragent参数的常用模块。然而，从中导入UserAgent模块，并对其实例化时ua=UserAgent()会出现错误：fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached问题分析进入UserAgent源代码，可以进入setting.py文件，里面包含了fake-useragent在线获取useragent的逻辑。: return '{:.1f}'.format(num)def run(): # 请求下载地址，以流式的。打开要下载的文件位置。 with requests.get('https://vault.centos.org/5.0/updates/SRPMS/autofs-5.0.1-0.rc2.43.0.2.
2021-07-07 14:46:58
3001
1
原创 Python 好用的发送邮件模块yagmail
import yagmailyag = yagmail.SMTP(user="*@163.com", password="授权码", host='smtp.163.com')contents = [errorstr]yag.send('*@qq.com', 'title', contents)yag.close()上方授权码获取方法（以163邮箱为例）：登录‘user’邮箱点击‘新增授权密码’，获取到的码填到password处即可...
2021-06-07 15:34:48
298
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人