![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
没有竹蜻蜓的小叮当
觉得有用的博文知识点个赞+关注吧 博主将不定期更新文章
展开
-
【Python深度学习第二版】学习笔记之——什么是深度学习
通过一系列简单的数据变换(层)来实现这种输入到目标的映射,这些数据变换都是通过观察示例学习得到的。的任务是根据损失值,来对权重值进行微调,以降低当前示例对应的损失值。是将输入(比如图像)映射到目标(比如标签“猫”)的过程。这一过程是通过观察许多输入和目标的示例来完成的。的输出是神经网络的预测值与真实目标值的距离值。原创 2023-11-28 17:55:40 · 400 阅读 · 0 评论 -
情感分析之sklearn基于电影评论数据集
在上面的示例中,我们使用了nltk语料库中的电影评论数据集。我们使用CountVectorizer从文本数据中提取特征,并使用MultinomialNB朴素贝叶斯分类器训练模型。然后,我们使用模型对给定文本进行情感分类。原创 2023-03-31 10:45:02 · 283 阅读 · 0 评论 -
python3 执行AES加密及解密方法
python3 执行AES加密及解密方法转载 2022-12-19 13:40:19 · 1472 阅读 · 0 评论 -
scrapydweb启动报错:sqlite3.OperationalError: no such table: metadata
查了很多有说是python版本的问题,需要降低到3.6,经试验,应该是多个包版本不匹配的问题,最终解决了问题,把过程分享下来,有用的点个赞吧~原创 2022-12-06 11:36:56 · 860 阅读 · 4 评论 -
python GNE 爬虫通用提取文章信息模块
GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE 在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到 100%的准确率。原创 2022-10-21 17:13:33 · 939 阅读 · 0 评论 -
python 装饰器
本文罗列一些装饰器的多种用法。原创 2022-10-12 14:12:29 · 173 阅读 · 0 评论 -
python appium 自动化测试 send_keys不能输入问题
原因是输入框控件是android.view.View,只能点击,不能sendkeys发送内容原创 2022-10-10 17:10:36 · 1640 阅读 · 0 评论 -
python js逆向 Hook钩子详解
钩子英文 Hook,在 windows 系统中,所有的都是消息,按了一下键盘,就是一个消息,Hook 的意思就是勾住,在消息过去之前先把消息勾住,不让其执行,然后自己优先处理。也就是这个技术提供了一个入口,能够针对不同的消息或者 api 在执行前,先执行我的操作。“我的操作”就是钩子函数。在开发者工具中以 chrome 插件的方式,在匹配到关键词处插入断点。......转载 2022-08-03 17:20:32 · 624 阅读 · 0 评论 -
Python js反爬知识点汇总
加载html加载js-运行js初始化-用户触发了某个事件-调用了某段js-明文数据-加密参数-加密数据-给服务器发信息(XHR-send)-接受到服务器数据-解密函数-刷新网页渲染。原创 2022-08-02 09:55:35 · 303 阅读 · 0 评论 -
Python 荔枝网 signature详解
最近工作上需要对荔枝网进行搜索解析,在研究过程中,发现了一些有意思(WTF)的问题,希望能给踩到坑的同学一点帮助。文中主要涉及请求表单formdata的格式问题及加密参数x-itouchtv-ca-signature获取进行介绍。...............原创 2022-07-04 10:12:32 · 1023 阅读 · 0 评论 -
Python 教你 4 行代码开发新闻网站通用爬虫
GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。...原创 2022-06-24 15:36:28 · 484 阅读 · 0 评论 -
selenium关闭左上方Chrome 正受到自动测试软件的控制的提示
老版本: 之前老版本这样操作即可,新版的chrome就不行了。怎么办呢?看下面只需要增加3行代码即可统计了options一些常用参数 使用代理 # 禁止策略化 # 解决DevToolsActivePort文件不存在的报错 # 指定浏览器分辨率 # 谷歌文档提到需要加上这个属性来规避bug # 隐身模式(无痕模式) # 禁用javascript # 最大化运行(全屏窗口),不设置,取元素会报错 # 隐藏滚动条, 应对一些特殊页面 # 不加载图片, 提升速度 # 浏览转载 2022-06-22 12:37:11 · 4114 阅读 · 0 评论 -
Python的pip包下载速度太慢解决方法
1、目的: 采用国内源,加速下载模块的速度2、常用pip源:-- 豆瓣:https://pypi.douban.com/simple-- 阿里:https://mirrors.aliyun.com/pypi/simple-- 中科大:https://pypi.mirrors.ustc.edu.cn/simple -- 清华:https://pypi.tuna.tsinghua.edu.cn/simple3、加速安装的命令:-- >: pip install 模块名 -i https://pypi.douba转载 2022-06-15 13:21:02 · 3929 阅读 · 0 评论 -
Python项目部署自定义模块找不到no module name “xxx“
有时候运行Python程序,如python bob.py会出现报错No module named ‘×××’,这是因为import ×××时发生了错误。该如何解决呢?下面分两种情况分析:(1)如果’×××’是一些python包,比如说numpy、pandas等,这时候在终端输入pip install ×××命令安装相应的包即可(2)如果’×××’是非python的包, 比如说自己写了个alice.py文件,然后在bob.py的文件里要调用a,即import alice或者from alice impor原创 2022-05-05 16:29:07 · 1674 阅读 · 0 评论 -
Python | Flask 解决跨域问题
一.引入库pip install flask-cors二.配置flask-cors 有两种用法,一种为全局使用,一种对指定的路由使用1. 使用 CORS函数 配置全局路由from flask import Flask, requestfrom flask_cors import CORS app = Flask(__name__)CORS(app, supports_credentials=True)其中 CORS 提供了一些参数帮助我们定制一下操作。常用的我们可以配置 origi转载 2022-04-06 16:46:32 · 4148 阅读 · 0 评论 -
使用openpyxl模块向Excel中插入图片
向一个Excel表格中A1位置插入一张图片。Python实现from openpyxl import load_workbookfrom openpyxl.drawing.image import Imagedef insertimg2excel(imgPath, excelPath): imgsize = (720 / 4, 1280 / 4) # 设置一个图像缩小的比例 wb = load_workbook(excelPath) ws = wb.active转载 2022-01-10 15:25:35 · 1866 阅读 · 0 评论 -
Python 爬虫时,如何替换 URL 中的 query 字段?
在我们写爬虫的时候,可能会需要在爬虫里面基于当前url生成一个新的url。下一页的链接需要上一页响应里面的参数,例如:https://xxx.cn/comments/hotflow?mid=456116456616146&max_id=123456789&count=20当我们拿到下一页的max_id要替换链接中原来的值,大家可以试一试,如果用正则表达式,怎么覆盖这4种情况,生成下一页的网址。实际上,我们不需要使用正则表达式。Python自带的urllib模块已经提供了解决这个问题原创 2021-10-27 15:10:41 · 743 阅读 · 2 评论 -
太赞了!最全的 Python 处理日期与时间的全面总结!
Python 的时间处理模块在日常的使用中用的较多多,但是使用的时候基本上都是要查资料,还是有些麻烦的,梳理下,便于以后方便的使用目录时间相关概念Python time 模块时间格式化计时器功能time模块其他内置函数time模块包含的属性datetime模块date类time类datetime类timedelta类tzinfo类pytz模块时区转换夏令时处理dateutil模块parser.parse()rrule.rrule()ArrowUTC 时间当地时间解析时间Unix 时间戳格式化日期和时间转换为转载 2021-10-27 14:34:37 · 465 阅读 · 0 评论 -
pymongo查询条件语句
find({'$or': [{'tag': 0}, {'tag': 4}]}) # 查询tag=0或tag=4原创 2021-09-23 11:26:16 · 1156 阅读 · 0 评论 -
Python itertools库
很多人都致力于把Python代码写得更Pythonic,一来更符合规范且容易阅读,二来一般Pythonic的代码在执行上也更有效率。今天就先给大家介绍一个很Pythonic的Python系统库:itertools。itertools库迭代器(生成器)在Python中是一种很常用也很好用的数据结构,比起列表(list)来说,迭代器最大的优势就是延迟计算,按需使用,从而提高开发体验和运行效率,以至于在Python 3中map,filter等操作返回的不再是列表而是迭代器。话虽这么说,但大家平时用到的迭代器大概只转载 2021-09-15 14:14:47 · 307 阅读 · 0 评论 -
Python requests 如何突破反爬虫指纹 JA3算法
这是「进击的Coder」的第 466 篇技术分享 作者:kingname 来源:未闻 Code “ 阅读本文大概需要 6 分钟。 ” 在前几天的文章《为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运》里面,我介绍了 JA3 指纹算法。这个算法可以在你改掉 IP 和 UA 的情况下依然识别到你。 今天,我们来介绍如何在 Python 里面,使用 requests 请求网站的时候,修改 JA3指纹。 requests 是基于 urllib3 实现的。要修改 JA3 相关的底...转载 2021-09-03 15:41:35 · 4389 阅读 · 0 评论 -
Python requests流式下载文件 显示下载速度及百分比
# coding: utf-8# -*- coding: utf-8 -*-import timeimport requestsdef onefloat(num): return '{:.1f}'.format(num)def run(): # 请求下载地址,以流式的。打开要下载的文件位置。 with requests.get('https://vault.centos.org/5.0/updates/SRPMS/autofs-5.0.1-0.rc2.43.0.2.原创 2021-07-07 14:46:58 · 2958 阅读 · 1 评论 -
Python 好用的发送邮件模块yagmail
import yagmailyag = yagmail.SMTP(user="*@163.com", password="授权码", host='smtp.163.com')contents = [errorstr]yag.send('*@qq.com', 'title', contents)yag.close()上方授权码获取方法(以163邮箱为例):登录‘user’邮箱点击‘新增授权密码’,获取到的码填到password处即可...原创 2021-06-07 15:34:48 · 295 阅读 · 1 评论 -
Python3以上版本安装sqlite3的解决方案
首先大概会报一下两个问题:no mudole named _sqlite3mportError: dynamic module does not define module export function (PyInit__caffe)其实这两个问题都是因为python3以上版本不太支持sqlite3,下面的方法是亲测没问题,来自( sparkexpert大神)(1)安装sqlite3的包$ wget https://www.sqlite.org/2017/sqlite-autocon转载 2021-03-25 17:38:42 · 2657 阅读 · 0 评论 -
PaddlePaddle测试模型报Intel MKL function load error: cpu specific dynamic library is not loaded.
经过我这边的测试,使用conda install nomkl安装完之后就可以了原创 2021-03-22 16:35:06 · 4551 阅读 · 0 评论 -
python-pptx 图表样式
from pptx import Presentationfrom pptx.util import Inchesfrom pptx.chart.data import ChartDatafrom pptx.enum.chart import XL_TICK_MARKfrom pptx.util import Ptfrom pptx.dml.color import RGBColorfrom pptx.enum.chart import XL_DATA_LABEL_POSITIONfrom p转载 2020-07-30 11:52:26 · 1305 阅读 · 0 评论 -
Python 字典同key 值相加
需要导入 collections 模块from collections import Counterdict1 = {'a': 1, 'b': 2}dict2 = {'a': 2, 'b': 4}x, y = Counter(dict1), Counter(dict2)result = dict(x+y)print(result)输出:{'a': 3, 'b': 6}原创 2020-07-18 16:04:00 · 1376 阅读 · 0 评论 -
Python 统计list列表中元素的重复次数
需要导入 collections 模块from collections import Countera = ['a', 'b', 'b', 'b', 'c', 'c']test = {key: value for key, value in dict(Counter(a)).items() if value > 0}输出:{'a': 1, 'b': 3, 'c': 2}原创 2020-07-18 16:01:09 · 874 阅读 · 0 评论 -
Python md5加密
import hashlibdef md5(data): m = hashlib.md5(data.encode(encoding='gb2312')) data_md5=m.hexdigest() return data_md5原创 2020-05-19 09:33:35 · 112 阅读 · 0 评论 -
xpath抓取去除数据空白符
XPATH中使用string()可以获取标签下的所有字符string(//*[@id="discuss"])往往取得的字符中会充斥着大量空白符,使用normalize-space()即可去掉所有空白符normalize-space(string(//*[@id="discuss"]))...原创 2020-04-28 11:15:43 · 3678 阅读 · 0 评论 -
Centos7安装opencv_python库导入cv2报错:libXext.so.6
**ImportError: libXext.so.6: cannot open shared object file: No such file or directory**最近新装了台虚拟机,在Centos7上配置环境,安装opencv_python库,导入cv2报错解决方法:安装以下包解决问题sudo yum install libXext libSM libXrender...原创 2020-04-10 09:37:16 · 1662 阅读 · 1 评论 -
Python-列表转为字典的两个方法
1、现在有一个列表,list1 = [‘key1’,‘key2’,‘key3’],把他转为这样的字典:{‘key1’:‘1’,‘key2’:‘2’,‘key3’:‘3’}方法:再构造一个列表list2 = [‘1’,‘2’,‘3’],使用zip转换为元组后,在将元组转换为字典list1 = ['key1','key2','key3']list2 = ['1','2','3']dict(zi...转载 2020-02-27 15:18:39 · 781 阅读 · 0 评论 -
python生成requirements.txt
使用 pipreqs ,github地址为: https://github.com/bndr/pipreqs# 安装pip install pipreqs# 在当前目录生成pipreqs . --encoding=utf8 --force原创 2020-02-20 15:27:03 · 277 阅读 · 0 评论 -
Scrapy 只有在重试的时候使用代理
判断当前retry_times不为空def process_request(self, request, spider): if request.meta.get('retry_times'): proxy = self.get_random_proxy()原创 2020-01-14 23:51:05 · 447 阅读 · 0 评论 -
scrapy---twisted异步IO框架(实现数据的异步写入)
1.引导数据库pymysql的commit()和execute()在提交数据时,都是同步提交至数据库,由于scrapy框架数据的解析和异步是多线程的,所以scrapy的数据解析速度,要远高于数据写入数据库的速度。如果数据写入过慢,会造成数据库写入的阻塞,影响数据库写入的效率。通过多线程异步的形式对数据进行写入...转载 2020-01-14 16:20:37 · 434 阅读 · 0 评论 -
关于Scrapy请求报错捕获异常的解决方法
Scrapy请求报错捕获异常解决对于设置了代理的爬取,可能会出现TimeoutError, TCPTimedOutError, ConnectionRefusedError, ResponseNeverReceived, TunnelError等错误。对此我的解决方式是在下载中间件中设置捕获异常来解决。打开Middleware文件,找到下载中间件,在process_exception中自定义...原创 2020-01-06 10:50:33 · 3054 阅读 · 0 评论 -
Scrapy爬取微博Crawled (302)重定向的坑
搞了一天多的Scrapy重定向问题,终于找到了问题所在。一开始加上请求头 UA、COOKIE就重定向到登录页面,然后又在setting里面设置请求头也不起作用。。。崩溃-_- 再要放弃采取其他途径的时候想着再试一下,最后终于发现的问题所在,不啰嗦了直接上:当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False...原创 2019-11-06 14:25:52 · 3179 阅读 · 3 评论 -
本地项目上传至GitHub
上传本地项目至GitHub步骤我们使用git需要先安装git工具,这里给出下载地址,下载后一路直接安装即可:https://git-for-windows.github.io/1.去github上创建自己的Repository,创建页面如下图所示:创建完存储库后,copy仓库的https地址。2.接下来就到本地操作了,首先右键你的项目,如果你之前安装git成功的话,右键会出现两个新选...原创 2018-12-13 15:13:55 · 147 阅读 · 0 评论 -
pandas to_csv存储数据打开文件乱码问题
修改为如下例所示,即可解决乱码问题frame = DataFrame(frdslist)frame.to_csv('F:\CSV\mywechat.csv', encoding='utf_8_sig')原创 2019-01-24 15:33:27 · 157 阅读 · 0 评论 -
Python爬虫小偏方:如何用robots.txt快速抓取网站?
作者 | 王平,一个IT老码农,写Python十年有余,喜欢分享通过爬虫技术挣钱和Python开发经验。来源 | 猿人学Python在我抓取网站遇到瓶颈,想剑走偏锋去解决时,常常会先去看下该网站的robots.txt文件,有时会给你打开另一扇抓取之门。写爬虫有很多苦恼的事情,比如:1.访问频次太高被限制;2.如何大量发现该网站的URL;3.如何抓取一个网站新产生的URL,等等;这些问题都困扰着爬虫...转载 2019-01-28 09:20:03 · 219 阅读 · 0 评论