Python相关
文章平均质量分 70
代码讲故事
这个作者很懒,什么都没留下…
展开
-
在电脑或Android手机上实现自动化爬虫规避风控反爬,掌握 ScrapeGraphAI:让AI帮你实现数据爬虫自动化,自动执行 Chromium、Firefox、WebKit 等主流浏览器自动化操作
在电脑或Android手机上实现自动化爬虫规避风控反爬,掌握 ScrapeGraphAI:让AI帮你实现数据爬虫自动化,自动执行 Chromium、Firefox、WebKit 等主流浏览器自动化操作。ScrapeGraphAI 是一个功能强大的 Python 库,旨在简化从网站、文档和 XML 文件中提取信息的过程。利用大型语言模型(LLM)和直接图逻辑,ScrapeGraphAI 可以创建高效的抓取管道。无论您是需要从复杂的网站中提取数据,还是需要处理文档和 XML 文件,都能为您提供便捷的解决方案。原创 2024-09-04 10:24:12 · 2980 阅读 · 0 评论 -
最全面的Python自动化教程,包括:word、excel、ppt、pdf、视频等自动化代码生成,以及编辑音视频并添加字幕、添加水印、取消水印、加密文档、解密文档,十万字图文详细讲解使用方法(附源码)
最全面的Python自动化教程,包括:word、excel、ppt、pdf、视频等自动化代码生成,以及编辑音视频并添加字幕、添加水印、取消水印、加密文档、解密文档,十万字图文详细讲解使用方法(附源码)主要分为几类:1、自动化办公:对excel、word、ppt等office文档或pdf进行批量化、自动化等处理。2、自动化媒体处理:对图片、视频等媒体文件进行批量化、自动化等处理。3、自动化机器人:比如微信客服/聊天机器人、网站操作/录入、网络爬虫/网页信息抓取、自动化数据服务等原创 2024-06-13 07:05:20 · 1428 阅读 · 0 评论 -
非常优秀的一个开源库Gradio,几行代码完成部署快速搭建AI算法可视化部署演示,直接启动零配置实现微信分享、公网分享、内网穿透,包含项目搭建和案例分享
非常优秀的一个开源库Gradio,几行代码完成部署快速搭建AI算法可视化部署演示,直接启动零配置实现微信分享、公网分享、内网穿透,包含项目搭建和案例分享。Gradio(现在称为gr.Interface)是一个开源的Python库,它允许开发者快速创建可与机器学习模型交互的Web应用程序。Gradio的主要优势在于其易用性和灵活性,使得即使是没有前端开发经验的数据科学家和机器学习工程师也能够轻松地将他们的模型部署为用户友好的界面。原创 2024-03-05 16:31:30 · 2765 阅读 · 0 评论 -
掌握Python 99 个实用实例,其中精选算法高频题目以及答案,助力求职Python工程师面试不慌拿offer
掌握Python 99 个实用实例,其中精选算法高频题目以及答案,助力求职Python工程师面试不慌拿offer。原创 2024-01-17 19:04:19 · 2057 阅读 · 0 评论 -
使用playwright爬取头条热榜,使用mechanicalsoup开发超级好用的磁力搜索工具(附完整源码)
使用playwright爬取头条热榜,使用mechanicalsoup开发超级好用的磁力搜索工具(附完整源码)。原创 2024-01-08 08:44:55 · 1582 阅读 · 0 评论 -
MacOS下的各种疑难杂症, error: command ‘/usr/bin/clang‘ failed with exit code 1,安装各种依赖库失败,例如lxml、python-docx
MacOS下的各种疑难杂症, error: command '/usr/bin/clang' failed with exit code 1,安装各种依赖库失败,例如lxml、python-docx。原创 2023-12-22 17:16:34 · 1060 阅读 · 0 评论 -
爬虫代理请求转换selenium添加带有账密的socks5代理
爬虫代理请求转换selenium添加带有账密的socks5代理。原创 2023-09-26 07:08:37 · 605 阅读 · 0 评论 -
json数据传输压缩以及数据切片分割分块传输多种实现方法,大数据量情况下zlib压缩以及bytes指定长度分割
json数据传输压缩以及数据切片分割分块传输多种实现方法,大数据量情况下zlib压缩以及bytes指定长度分割。原创 2023-09-19 21:01:41 · 1407 阅读 · 0 评论 -
几行代码实现自动下单“13香”、Apple等系列产品的高并发购物系统(亲测可用)。
几行代码实现自动下单“13香”、Apple等系列产品的高并发购物系统(亲测可用)。原创 2022-06-17 09:29:30 · 1048 阅读 · 1 评论 -
解决python出现 import urllib.parse as urlparse ImportError: No module named parse等问题
解决python出现 import urllib.parse as urlparse ImportError: No module named parse等问题。原创 2022-05-10 08:19:00 · 1593 阅读 · 0 评论 -
最近很火的在线文件预览txt、doc、ppt、pdf、excel、jpg、png、zip、tar.gz等各种文件及压缩文件在线解压和预览,包括前后端设计和源码,编写搜索引擎多关键词检索名称和内容(一)
最近很火的在线文件预览txt、doc、ppt、pdf、excel、jpg、mp4、png、zip、tar.gz等各种文件及压缩文件在线解压和预览,包括前后端设计和源码,编写一个文件搜索引擎实现多关键词检索,标记文件名称和文件内容内容(一)。原创 2021-12-22 09:56:39 · 516 阅读 · 0 评论 -
通过web系统实现淘宝营销引流,小说或者视频上传之后自动生成二维码,通过二维码分享之后引入微信或者扣扣加群,群满自动切换到下一个,以及数据统计分析和若干个小工具集成
通过web系统实现淘宝营销引流,小说或者视频上传之后自动生成二维码,通过二维码分享之后引入微信或者扣扣加群,群满自动切换到下一个,以及数据统计分析和若干个小工具集成。主要实现技术:1、大文件视频分割上传,实现多线程传输、断点续传、动态文件合并算法,主要参考:超大文件上传下载以及秒传、提速和限速方案完整(包含前后端)2、实现了小说阅读器,上传文本文件后自动生成链接和二维码,自动排版阅读、支持背景换肤、字体大小等调节;3、QQ群和微信群自动代理功能,一个二维码或者链接实现自动加群,群满后自动跳转到下一原创 2021-12-14 09:24:27 · 2983 阅读 · 0 评论 -
python开发配置使用autopep8语法规则检查,命令行使用及pycharm配置使用方法
python开发配置使用autopep8语法规则检查,命令行使用及pycharm配置使用方法。关于PEP 8PEP 8,Style Guide forpythonCode,是Python官方推出编码约定,主要是为了保证 Python 编码的风格一致,提高代码的可读性。官网地址:https://www.python.org/dev/peps/pep-0008/关于Autopep8关于autopep8官网的描述是:autopep8 automatically formats Python code原创 2021-10-27 15:34:04 · 1001 阅读 · 0 评论 -
程序员每天自动填写周报日报工时脚本完整脚本(附源码)
程序员每天自动填写周报日报工时脚本完整脚本(附源码),仅供参考。现在公司都要求填每天写周报、日报、工时之类的信息,有时候弄着弄着就忘记了。导致工时异常,被领导点名啥的。索性写个自动填写的脚本+定时任务+工作日判断+自动启动服务,完整的自动填写。通过对工作日志平台的分析,发现都是加密安全https请求,有些公司是内网,不排除有http的这种简单一点,本想通过 shell 脚本写一个比较通用一点的脚本,不过多依赖任何外部的资源,但是发现,如果用简单的 sh 脚本做 https 请求需要在请求的时候带入相关的原创 2021-10-24 09:23:37 · 4637 阅读 · 0 评论 -
python 多种定时任务实现方法和举例,包括sleep、Timer、schedule、APScheduler等
python 多种定时任务实现方法和举例,包括sleep、Timer、schedule、APScheduler等,python有很多定时任务框架,包括调用同步方法和异步方法,主要整理一下,除此之外,还有很多其他的实现,例如 celery 等等。while True: + sleep()threading.Timer定时器调度模块schedule任务框架APScheduler1、while循环中使用sleep缺点:不容易控制,而且是个阻塞函数def timer(n): '''''原创 2021-10-21 15:02:32 · 1913 阅读 · 0 评论 -
jinja2模版的基本使用以及防止模版漏洞注入的方案
jinja2模版的使用以及防止模版漏洞注入的方案,提出了实现类似效果的替代方案。jinja2是Flask作者开发的一个模板系统,起初是仿django模板的一个模板引擎,为Flask提供模板支持,由于其灵活,快速和安全等优点被广泛使用。官网地址:https://jinja.palletsprojects.com/en/3.0.x/Jinja2是Python下一个被广泛应用的模版引擎,他的设计思想来源于Django的模板引擎,并扩展了其语法和一系列强大的功能。其中最显著的一个是增加了沙箱执行功能和可选的自原创 2021-08-16 19:14:28 · 296 阅读 · 0 评论 -
超大文件上传下载以及秒传、提速和限速方案完整(包含前后端)
最近遇到项目需要使用大文件上传功能,几十个G的文件需要进行上传和下载,采用普通的上传方案已经不再适用,会导致很多问题,例如:文件上传很慢无法支持断点续传经常超时或失败……目前实现方案最多的是通过 大文件分片 来解决上传下载问题,原理:将需要上传的文件按照一定的分割规则,分割成相同大小的数据块;初始化一个分片上传任务,返回本次分片上传唯一标识;按照一定的策略(串行或并行)发送各个分片数据块;发送完成后,服务端根据判断数据上传是否完整,如果完整,则进行数据块合成得到原始文件。实现和解原创 2021-07-29 19:32:03 · 3737 阅读 · 0 评论 -
解决Operation not supported: ‘/home/public‘,TypeError:write_error() got an unexpected keyword argument
Operation not supported: ‘/home/public’,TypeError: write_error() got an unexpected keyword argument ‘exc_info’.在程序中进行文件相关操作时遇到类似下面的问题。[E 210728 14:30:54 web:2242] 500 POST /api/file/upload (127.0.0.1) 143.92ms[E 210728 14:30:54 web:1784] Uncaught excep原创 2021-07-29 08:41:45 · 1882 阅读 · 1 评论 -
Python、Django、Mysql详细搭建开发,model操作数据库以及执行原生SQL
1.搭建Django开发环境1.安装python(版本3.5.1) 官网下载:https://www.python.org/downloads/release/python-351/2.更新pip 命令:python -m pip install --upgrade pip3.使用pip安装virtualenv 命令:pip install virtualenv 如需指定版本 pip install virtualenv==15.0.14.创建虚拟环境 命令:virtualenv x原创 2021-06-24 17:28:28 · 451 阅读 · 0 评论 -
Linux系统centos简单安装pyenv,构建独立的可管理的Python开发环境
Linux系统centos简单安装pyenv,构建独立的可管理的Python开发环境。一.安装pyenv1.>安装依赖包:yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y2.>安装pyenv包:git clone https://github.原创 2021-01-02 11:28:09 · 422 阅读 · 2 评论 -
python web开发基于正则的动态路由映射和通过路径/路由传参(Tornado框架、Django框架)
python web开发基于正则的动态路由映射和通过路径/路由传参(Tornado框架、Django框架)。安装tornado:pip install tornadopip install Djangotornado使用:1、在路由映射条件里用正则匹配访问路径后缀2、给每一个正则匹配规则(?P<设置名称>)设置一个名称3、在逻辑处理的get()方法或post()方法,接收这个正则名称,就会接收到用户访问的后缀路径路由映射app=tornado.web.Application原创 2020-12-07 09:18:49 · 585 阅读 · 0 评论 -
TensorFlow 、Caffe等9大人工智能框架对比介绍
TensorFlow 、Caffe等9大人工智能框架对比介绍。Tensor Flowhttps://www.tensorflow.orgTensor Flow来自谷歌家族,是一个强大的开源框架,支持深度学习,甚至可以通过移动设备访问。Tensor Flow是一个适用于统计程序开发的工具。由于它提供分布式训练,所以可以在用户喜欢的任何抽象级别上更有效地训练机器模型。特性• 可扩展的多编程接口,便于编程。• 强劲的增长动力,拥有强大的开源社区。• 为人们提供广泛且有详细记录的手册。优点• T原创 2020-11-29 10:35:59 · 2359 阅读 · 0 评论 -
pip install pylibmc 失败方案error: command ‘clang‘ faile error command ‘clang‘ failed with exit status 1
pip install pylibmc 安装失败,及其解决方案。安装的时候,报出如下的错误,可能还有其他的错误,类似于如下所示:pip install pylibmc==1.6.1Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting pylibmc==1.6.1 Using cached https://pypi.tuna.tsinghua.edu.cn/packages/a7/0c/f7a3af34b05c1原创 2020-11-26 20:00:47 · 1384 阅读 · 0 评论 -
Linux或者Windows上安装lxml失败解决方法
Linux或者Windows上安装lxml失败解决方法。在Windows上安装失败,失败原因及解决方法总结如下:1.pip版本未更新解决方法:通过pip安装时,需保证pip的版本没有问题,更新方法:在系统框(cmd中)输入:python -m pip install --upgrade pip命令进行更新2.下载的.whl版本不正确:lxml的版本跟python的版本有关,个人使用的python版本如下,是64位的3.7版本。根据网上资料所述,64位的python版本也需装32位原创 2020-10-26 10:38:57 · 3003 阅读 · 0 评论 -
Python与Django项目开发,使用inspect、signature、装饰器进行参数检查,QuerySet转List、Dict,以及数据操作方法的二次封装,解决业务和数据存储之间的耦合
Python与Django项目开发,使用inspect、signature、装饰器进行参数检查,QuerySet转List、Dict,以及数据操作方法的二次封装,解决业务和数据存储之间的耦合,通过封装的方法,快速实现数据的增删改查,以及返回给前端json数据。一、装饰器的使用python3中有个inspect模块,其中有个signature()方法,形式如下:def signature(obj, *, follow_wrapped=True): """Get a signature objec原创 2020-09-28 09:06:34 · 547 阅读 · 0 评论 -
面向中小型企业设计的轻量级无 Agent 的自动化运维平台
一、简介Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、文件在线上传下载、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。特性批量执行: 主机命令在线批量执行在线终端: 主机支持浏览器在线终端登录文件管理: 主机文件在线上传下载任务计划: 灵活的在线任务计划发布部署: 支持自定义发布部署流程配置中心: 支持 KV、文本、json 等格式的配置监控中心: 支持站点、端口、进程、自定义等监控报警中心: 支持短信、原创 2020-09-26 21:28:19 · 329 阅读 · 0 评论 -
快速搭建Python开发环境,通过Celery完成异步任务、定时任务调用,设置重试次数并把失败的任务发送邮件异常提醒
快速搭建Python开发环境,通过Celery完成异步任务、定时任务调用,设置重试次数并把失败的任务发送邮件异常提醒。Celery 是什么?Celery 是一个由 Python 编写的简单、灵活、可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。Celery 专注于实时任务处理,支持任务调度。它是一个分布式队列的管理工具,我们可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列。利用 Celery 进行分布式队列管理、开发将会大幅提升开发效率,关于 Celer原创 2020-09-26 16:20:56 · 523 阅读 · 1 评论 -
深度学习入门之模型训练到移植使用全过程
深度学习入门之模型训练到移植使用全过程。通过Keras和tesorflow简单的几行代码,训练自己需要的模型,实现图像识别。包含数据集处理、模型训练、模型测试、模型查看、模型转换、模型迁移等等。Android实现智能识别,把Keras或Tensorflow训练的深度学习模型移植到Android上进行使用。一、视频结果1、模型训练 通过Keras和tesorflow简单的几行代码,训练自己需要的模型,实现图像识别。包含数据原创 2020-09-23 22:28:47 · 2040 阅读 · 1 评论 -
项目开发中常用的精华Python库介绍与整理
项目开发中常用的精华Python库介绍与整理.环境管理管理 Python 版本和环境的工具• p – 非常简单的交互式 python 版本管理工具。• pyenv – 简单的 Python 版本管理工具。• Vex – 可以在虚拟环境中执行命令。• virtualenv – 创建独立 Python 环境的工具。• virtualenvwrapper- virtualenv 的一组扩展。包管理管理包和依赖的工具• pip – Python 包和依赖关系管理工具。• pip-tools –原创 2020-09-12 16:10:46 · 3156 阅读 · 2 评论 -
免费视频制作工具满足非专业用户的视频处理需求:压缩视频、转码视频、倒放视频、合并片段、根据字幕裁切片段、自动配字幕、自动剪辑等
免费视频制作工具满足非专业用户的视频处理需求:压缩视频、转码视频、倒放视频、合并片段、根据字幕裁切片段、自动配字幕、自动剪辑等。有了它你也可以做出优秀的视频啦~Quick Cut 是一款轻量、强大、好用的视频处理软件。它是一个轻量的工具,而不是像 Davinci Resolve、Adobe Premiere 那样专业的、复杂的庞然大物。Quick Cut 可以满足普通人一般的视频处理需求:压缩视频、转码视频、倒放视频、合并片段、根据字幕裁切片段、自动配字幕、自动剪辑……Quick Cut 开源的,你可以原创 2020-09-12 15:57:45 · 2492 阅读 · 1 评论 -
高效率使用PyCharm中文指南
PyCharm 是一种 Python IDE,可以帮助程序员节约时间,提高生产效率。那么具体如何使用呢?本文从 PyCharm 安装到插件、外部工具、专业版功能等进行了一一介绍。很多读者应该非常了解 JetBrains 开发的 PyCharm 了,它差不多是 Python 最常用的 IDE。PyCharm 可以为我们节省大量时间,它能够管理代码,并完成大量其他任务,如 debug 和可视化等。(1)第1章:下载与安装(2)第2章:试调与运行(3)第3章:界面与排版(4)第4章:代码的编辑(5)第5原创 2020-09-12 15:42:48 · 996 阅读 · 0 评论 -
整理了一下Python中时间的格式化、date(时间)和str(文本)之间的相互转换、以及相关的时间转换方法
整理了一下Python中时间的格式化、date(时间)和str(文本)之间的相互转换、以及相关的时间转换方法.1、字符串类型转换成秒可以将其用 ‘:’ 分隔开,分别得出时、分、秒,即可计算出秒数。所以我们定义如下函数:def str2sec(x): ''' 字符串时分秒转换成秒 ''' h, m, s = x.strip().split(':') #.split()函数将其通过':'分隔开,.strip()函数用来除去空格 return int(h)*3600原创 2020-09-10 16:53:57 · 15256 阅读 · 0 评论 -
最新系统centos安装最新版python 3.8.5以及pip换源、临时指定源,pytest安装后的使用以及出现pytest命令not found无法识别
1、如果是从网站上单独下载的centos镜像,大多数一般都带有python2或者python3,如果是使用的docker中的centos镜像,那是不带任何东西的,比较纯净。通过输入 python 查看是否有安装。2、安装依赖包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-develyum install gcc gc原创 2020-09-02 23:20:08 · 1609 阅读 · 3 评论 -
python安装pyhash遇到的问题,pip install pyhash,ERROR: Command errored out with exit status 1
pip install pyhash==0.9.3 :ERROR: Command errored out with exit status 1: command: /usr/local/python3/bin/python3.8 -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-jrxu7aqx/pyhash/setup.py'"'"'; __file__='"'"'/tmp/pip-insta原创 2020-09-02 18:39:29 · 3435 阅读 · 0 评论 -
轻松解决 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-4: ordinal not in range
UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-4: ordinal not in range(128)解决方法:一、大众方法网上很多方法在python文件头添加几行代码如下所示:import sysreload(sys)sys.setdefaultencoding( "utf-8" )二、简单方法直接使用str()函数,例如:print "文件名:",str(am.name)三、字符编码原创 2020-08-19 09:40:43 · 12634 阅读 · 1 评论 -
真正实现一个命令搭建好个人博客,适用于Linux、MacOS、Windows相关环境,带有源码可自己进行修改
真正实现一个命令搭建好个人博客,记录一下这个命令的作用。主要优势,基本上拥有博客所需要的所有功能,能够完全自定义自己的风格,还有内容和发布都没有限制。一、命令docker run -itd --name blog -p 3307:3306 -p 80:80 -p 2222:22 --privileged ycj520/blog:1.0.2 init 注意,这个命令是在docker中使用,没安装docker的需要安装一下,安装起来非常的简单,随便百度一下都会,Linux、MacOS、Windows都能原创 2020-07-18 10:57:59 · 317 阅读 · 0 评论 -
人人都能做的机器学习——autokeras项目,3行代码就能训练一个模型,傻瓜式操作,分分钟学会训练模型
人人都能做的机器学习——autokeras项目,3行代码就能训练一个模型,傻瓜式操作,分分钟学会训练模型。Keras 官方出品基于 Keras 的 AutoML 系统。支持 CPU 和 GPU 训练,傻瓜式 API,3 行代码就能训练一个模型。目前支持的任务:图像分类、图像回归、文本分类、结构化数据分类等。将人从手工选择超参数中解放出来,快速开发原型,官方口号“所有人都能使用机器学习”。# 安装命令 pip install autokerasimport autokeras as akclf =原创 2020-05-18 11:21:48 · 687 阅读 · 2 评论 -
Django开发示例配置及系列常见错误,如:AttributeError: module 'django.core.serializers.json' has no attribute 'loads'
关于Django开发中系列常见的错误,比如:AttributeError: module ‘django.core.serializers.json’ has no attribute ‘loads’。1、提交表单报错:RuntimeError: You called this URL via POST, but the URL doesn’t end in a slash and you ha...原创 2020-05-09 08:20:12 · 3457 阅读 · 0 评论 -
最值得学习和最具潜力的 44 个顶级开源项目,包括关于机器学习、深度学习、强化学习、语音识别、自然语言处理、计算机视觉、自动建模和分布式平台等等
最值得学习和最具潜力的 44 个顶级开源项目,包括关于机器学习、深度学习、强化学习、语音识别、自然语言处理、计算机视觉、自动建模和分布式平台等等。I . 适用于经典机器学习的工具一、SciKit-learn star 39.2k fork 19.2kscikit-learn 是一种强大的基于 Python 语言的机器学习算法库(https://scikit-learn.org/stabl...原创 2020-03-03 09:18:58 · 3548 阅读 · 0 评论 -
Python乐园提供Python学习的基地,免费分享与提供基础学习、高级开发、有趣的爬虫、人工智能、系统网站开发、前沿的最新技术、项目架构、以及配套的资料、视频、源码、笔记等等
Python乐园提供Python学习的基地,免费分享与提供基础学习、高级开发、有趣的爬虫、人工智能、系统网站开发、前沿的最新技术、项目架构、以及配套的资料、视频、源码、笔记等等。Python相关文章整理:https://www.toutiao.com/c/user/70393526564/#mid=1579600678464526点击传送个人主页:https://blog.csdn....原创 2020-01-07 16:50:02 · 524 阅读 · 0 评论