Python
文章平均质量分 83
xiejava1018
信息系统项目管理师、高级通信工程师、网络信息安全工程师,喜欢打鼓、看书、写代码、旅行。
展开
-
django应用JWT(JSON Web Token)实战
在前后端分离的项目中,前后端进行身份验证通常用JWT来进行,JWT 提供了一个理想的认证解决方案,用来保护 RESTful API,确保只有经过认证的用户才能访问受保护的资源。基于前端框架(如React, Angular, Vue.js)的单页面应用 (SPA),开发者通过使用 JWT可以获得一种简单、安全、高效的方式来处理用户认证和授权的问题。本文通过django项目的实战来说明如何应用和使用JWT。原创 2024-09-22 12:09:41 · 969 阅读 · 0 评论 -
django实现开发、测试、生产环境配置区分
任何实际的软件项目中都要经过开发、测试、然后上生产的阶段,在开发、测试的过程中往往会要频繁的切换开发、测试、生产等不同的环境。每个环境的配置有可能不一样,本文介绍如何实现django项目配置环境变量实现开发、测试、生产灵活便捷的切换。原创 2024-09-16 10:36:25 · 1061 阅读 · 0 评论 -
django+markdown2+pygments实现markdown解析及代码高亮
随着markdown的流行,web应用系统常常会要碰到有使用markdown编辑器进行富文本编辑,然后在前台web页面进行显示。常见的博客系统当然也需要支持markdown的编辑与显示。本文就通过一个真实的博客系统来说明django+markdown2+pygments实现markdown解析及代码高亮。原创 2024-08-14 18:31:51 · 761 阅读 · 0 评论 -
一个人活成一个团队:python的django项目devops实战
DevOps(Development和Operations的组合),旨在通过自动化、协作和共享责任来提高软件开发和运维的效率、质量和安全性。作为一个人的团队,也可通过devops实践来提高对自己项目的效率和质量,使产品持续开发、持续集成、持续测试、持续部署、持续监控,非常频繁地发布新版本。本文就以一个实际的python的django项目来运用阿里的云效devops平台来进行实战。原创 2024-08-11 16:49:00 · 1181 阅读 · 0 评论 -
django快速实现个人博客(附源码)
Django作为一款成熟的Python Web开发框架提供了丰富的内置功能,如ORM(对象关系映射)、Admin管理界面、URL分发、模板系统、表单处理等,使得开发者能够快速搭建Web应用,大幅提高了开发效率。本文介绍如何快速的通过django模板系统快速实现个人博客。原创 2024-08-10 14:11:47 · 787 阅读 · 0 评论 -
django集成pytest进行自动化单元测试实战
在Django项目中集成Pytest进行单元测试可以提高测试的灵活性和效率,相比于Django自带的测试框架,Pytest提供了更为丰富和强大的测试功能。本文通过一个实际项目ishareblog介绍django集成pytest进行自动化单元测试实战。原创 2024-08-03 17:16:50 · 1302 阅读 · 0 评论 -
解决django与sqlite3不兼容报SQLite 3.9.0 or later is required错的问题
解决django与sqlite3不兼容报django.core.exceptions.ImproperlyConfigured: SQLite 3.9.0 or later is required (found 3.8.2)错的问题原创 2024-07-21 21:56:56 · 517 阅读 · 0 评论 -
django.db.utils.OperationalError: (1366, “Incorrect string value: ‘\\xF0\\x9F\\x9....报错解决办法
django.db.utils.OperationalError: (1366, "Incorrect string value: '\\xF0\\x9F\\x98\\x82\\xE5\\x93...' 报错解决办法原创 2024-05-29 19:48:47 · 245 阅读 · 1 评论 -
Python爬虫如何快速入门
写了几篇网络爬虫的博文后,有网友留言问Python爬虫如何入门?今天就来了解一下什么是爬虫,如何快速的上手Python爬虫。原创 2024-03-27 17:38:20 · 1927 阅读 · 0 评论 -
通过jsDelivr实现Github的图床CDN加速
jsdelivr是一个免费的公共CDN(内容分发网络)服务,它允许网站开发者将他们的代码库、JavaScript库、字体和其他资源托管在jsdelivr上,并通过jsdelivr的CDN网络进行快速分发。使用jsdelivr可以有效地减少用户下载资源的时间,提高网页加载速度,同时减轻原始服务器的负载。原创 2024-03-20 16:56:38 · 862 阅读 · 0 评论 -
Python爬取淘宝商品评价信息实战
最近又有网友提到要出一个爬淘宝商品评论的教程。说实话淘宝的反爬机制做得比京东要严,所以用爬取京东商品评价信息的方式取爬取淘宝商品评价不太可行。本文还是介绍通过Selenium模拟登录后来进行淘宝商品评价信息的爬取。原创 2024-03-16 18:58:51 · 5044 阅读 · 10 评论 -
爬取京东商品评价信息实战
上期介绍了通过《mitmproxy实战-通过mitmdump爬取京东金榜数据》,能够上京东金榜的商品一般评价都是比较好的,这次介绍如何爬取京东商品的评价信息。原创 2024-03-11 12:51:46 · 1449 阅读 · 4 评论 -
mitmproxy实战-通过mitmdump爬取京东金榜排行数据
对于APP的数据爬取或需要构建复杂的接口参数数据的爬取可以通过mitmproxy抓包还原流量,解析流量数据包来获取。mitmproxy是一个免费的开源交互式的HTTPS代理工具。它类似于其他抓包工具如WireShark和Fiddler,支持抓取HTTP和HTTPS协议的数据包,并可以通过控制台形式进行操作。mitmproxy具有两个非常有用的组件:mitmdump和mitmweb。mitmdump是mitmproxy的命令行接口,可以直接抓取请求数据。本文介绍通过通过mitmdump爬取京东金榜数据。原创 2024-03-04 13:03:25 · 852 阅读 · 0 评论 -
mitmproxy安装与配置
mitmproxy是一个免费的开源交互式的HTTPS代理工具。它类似于其他抓包工具如WireShark和Fiddler,支持抓取HTTP和HTTPS协议的数据包,并可以通过控制台形式进行操作。mitmproxy具有两个非常有用的组件:mitmdump和mitmweb。mitmdump是mitmproxy的命令行接口,可以直接抓取请求数据,而mitmweb是一个web程序,可以清楚地观察mitmproxy抓取的请求数据。本文介绍mitmproxy的安装与配置,通过mitmproxy代理进行抓包。原创 2024-02-29 18:29:27 · 2950 阅读 · 1 评论 -
Selenium实战-模拟登录淘宝并爬取商品信息
现在很多网站要获取数据都得要先登录。Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中,模拟真实用户的操作。本文介绍如何通过Selenium来登录淘宝并自动爬取商品信息。原创 2024-02-26 12:59:22 · 6239 阅读 · 29 评论 -
Selenium安装与配置
Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中,模拟真实用户的操作。Selenium支持多种主流浏览器,如IE、Mozilla Firefox、Safari、Google Chrome、Opera和Edge等。在爬取数据的时候对于需要登录后才能爬取的情况往往可以利用Selenium来进行模拟登录,登录后进行数据的获取。这里先介绍Selenium的安装与配置,实现通过python来驱动浏览器进行操作。原创 2024-02-22 22:34:02 · 3433 阅读 · 0 评论 -
Python实现avif图片转jpg格式并识别图片中的文字
在做数据分析的时候有些数据是从图片上去获取的,这就需要去识别图片上的文字。Python有很多库可以很方便的实现OCR识别图片中的文字。这里介绍用EasyOCR库进行图片文字识别。easyocr是一个比较流行的库,支持超过80种语言,识别率高,速度也比较快。原创 2024-01-31 21:01:33 · 1844 阅读 · 0 评论 -
pandas将dataframe列中的list转换为多列
在应用机器学习的过程中,很大一部分工作都是在做数据的处理,一个非常常见的场景就是将一个list序列的特征数据拆成多个单独的特征数据。本文通过几个实例来将dataframe列中的list序列转换为多列。原创 2023-12-26 16:51:13 · 964 阅读 · 0 评论 -
pandas对波形异常数据处理实战
做数据分析很大一部分工作量都是在对数据处理,因为数据来源的质量问题,不能保证所有的数据都是正常的。对于数据分析和处理来说pandas无疑是常用的利器。下面通过一个实例来用pandas对波形异常数据进行实战处理。原创 2023-12-18 11:20:41 · 443 阅读 · 0 评论 -
Python将列表中的数据写入csv并正确解析出来
用Python做数据处理常常会将数据写到文件中进行保存,又或将保存在文件中的数据读出来进行使用。通过Python将列表中的数据写入到csv文件中很多人都会,可以通过Python直接写文件或借助pandas很方便的实现将列表中的数据写入到csv文件中,但是写进去以后取出有些字段会有变化有些坑还是要避免。本文通过实例来介绍如何将列表中的数据写入文件如csv并正确解析出来使用。原创 2023-12-16 21:10:46 · 924 阅读 · 0 评论 -
Python与正则表达式
我们在做机器学习项目的时候,很大部分的精力都在做数据的整理,不管是用爬虫在网上爬取数据还是对已有的数据进行整理,往往需要对一些特定的字符串进行处理,正则表达式则是进行数据处理的利器。原创 2023-10-06 11:55:53 · 349 阅读 · 0 评论 -
Scrapy爬虫框架实战
Python实现爬虫是很容易的,一般来说就是获取目标网站的页面,对目标页面的分析、解析、识别,提取有用的信息,然后该入库的入库,该下载的下载。以前写过一篇文章《Python爬虫获取电子书资源实战》,以一个电子书的网站为例来实现python爬虫获取电子书资源。爬取整站的电子书资源,按目录保存到本地,并形成索引文件方便查找。这次介绍通过Scrapy爬虫框架来实现同样的功能。原创 2023-09-12 22:53:22 · 3337 阅读 · 2 评论 -
Python进行数据相关性分析实战
平时在做数据分析的时候,会要对特征进行相关性分析,分析某些特征之间是否存在相关性。本文将通过一个实例来对数据进行相关性分析与展示。原创 2023-08-31 17:55:11 · 2186 阅读 · 0 评论 -
Python三行代码实现json转Excel
最近重保,经常需要通过Excel上报威胁事件。安全设备的告警很多都是json格式的,就需要将json转成Excel。用Python将json转成excel也就三行代码的事,先将json串导入形成字典对象,再通过pandas转成DataFrame直接输出excel。原创 2023-08-18 11:04:14 · 652 阅读 · 0 评论 -
Python日志logging实战教程
Python日志logging实战教程,从一个简单的日志记录实战,一步一步实现了自定义日志格式、写日志文件、抽出公共日志模块让其他模块用、同时写多个日志文件并进行日志文件切割、通过配置文件实现日志参数的定义、解决日志中文显示问题。基本覆盖了真实应用场景日志的使用。原创 2023-03-19 14:00:29 · 3181 阅读 · 2 评论 -
Python实现简单信号滤波实战
在有些项目中需要对信号进行滤波处理,尤其是在医疗的设备中如心跳、脉搏等设备的采样后进行处理。滤波的目的就是除去某些频率的信号如噪声。常见的包括有低通滤波、高通滤波、带通滤波,通过滤波可以过滤到一些无用的噪音,得到的比较平滑的波形,用来进行分析。scipy模块提供了常用简单的信号滤波方法包括低通滤波、高通滤波、带通滤波、带阻滤波等。本文以一个真实的心电数据为例,来实战对心电图某一段时间采样的信号数据进行高通滤波处理,对比一下原始的信号和高通滤波后的信号波形,然后输出成图片文件。原创 2023-03-13 15:11:44 · 1856 阅读 · 0 评论 -
AI机器学习时序序列特征提取实现分类预测实战
最近有位做医疗项目的同学咨询有一批人员的身高、体重、性别、年龄、心电图、是否有心脏病等数据是否可以根据这些数据预测某个人是否有心脏病的迹象。这当然是可以的,AI机器学习不就是干这事的吗?这是一个典型的分类算法。根据这些人体特征来判断是否存在潜在的疾病。问题是如何对心电图进行特征提取,提取出相关的特征,让模型进行学习和训练。本文通过心电图分类模型介绍了从数据处理、时序特征提取、模型训练和效果评估。验证了对于小数据量,通过tsfresh提取时序特征,往往能够取得很好的效果。原创 2023-01-06 20:38:15 · 1351 阅读 · 4 评论 -
Django+Celery+Flower实现异步和定时任务及其监控告警
用Django框架进行web开发非常的快捷方便,但Django框架请求/响应是同步的。但我们在实际项目中经常会碰到一些耗时的不能立即返回请求结果任务如:数据爬取、发邮件等,如果常时间等待对用户体验不是很好,在这种情况下就需要实现异步实现,马上返回响应请求,但真正的耗时任务在后台异步执行。Django框架本身无法实现异步响应但可以通过Celery很快的实现异步和定时任务。本文将介绍如何通过Django+Celery+Flower实现异步和定时任务及其任务的监控告警。原创 2022-12-30 21:33:37 · 2827 阅读 · 3 评论 -
通过Django发送邮件
通过Django发送邮件非常的简单,在Python中已经内置了一个smtplib邮件发送模块,Django在此基础上进行了简单地封装,我们可以在Django的环境中方便的发送邮件。大部分邮件发送成功主要是邮件的参数配置,本文以常用的126邮箱和QQ邮箱为例介绍Django发送邮件的配置,其他提供smtp邮件服务的邮箱都是一样的。原创 2022-12-30 14:54:13 · 4347 阅读 · 0 评论 -
Django自定义manage.py命令实现hexo博客迁移
实现了hexo的md文件格式解析,通过什么方式怎么来迁移hexo的博客到django的博客呢?开始想到的是通过Django的manage.py的shell命令,通过shell可以执行写好的python脚本进行hexo的md文件格式解析并入库。后来想想为啥不直接自定义一个manage.py的命令直接进行迁移呢?就如我们新建Django工程迁移数据库一样,执行python manage.py migrate来迁移数据库。我们可以定义python manage.py xxx来执行的迁移hexo博客。...原创 2022-07-27 16:12:24 · 579 阅读 · 0 评论 -
Python二十行代码实现hexo的md文件格式解析
最近用django+Vue实现了一个博客应用,原来的hexo的博客用着也挺好,想继续留着用,于是就想将hexo生成的.md的博客内容文件解析后直接写到django的博客数据库里做同步显示。原创 2022-07-27 09:33:40 · 893 阅读 · 0 评论 -
Django+Vue快速实现博客网站
Django是一个开放源代码的Web应用框架,由Python写成。采用了MTV的框架模式,即模型M,视图V和模版T。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是CMS(内容管理系统)软件。对于博客网站来说是典型的CMS应用。本文介绍通过Django+Vue的博客模版快速实现一个可用的博客网站。......原创 2022-07-22 20:54:16 · 1696 阅读 · 0 评论 -
Python3.9环境安装mysqlclient报python setup.py egg_info did not run successfully错避坑
MySQL是常用的开源数据库,Python环境下django框架连接MySQL数据库用的是mysqlclient库,今天在用pip安装mysqlclient库时报错,特记录一下,避免后续继续踩坑。原创 2022-07-16 11:18:21 · 11635 阅读 · 0 评论 -
Django加入markdown编辑器及markdown上传图片不回显避坑
一般来说一个CMS系统如博客系统都需要一个好的富文本编辑器,现在大家更多的是选择MarkDown编辑器来编辑内容。Django作为python的主流web开发框架当然少不了markdown的插件。本文介绍如何在Django框架中引入markdown编辑器及在使用markdown时的注意事项。......原创 2022-07-15 23:17:11 · 1737 阅读 · 1 评论 -
Django的restframework接口框架自定义返回数据格式
在前后端分离是大趋势的背景下,前端获取数据都是通过调用后台的接口来获取数据微服务的应用越来越多。Django是Python进行web应用开发常用的web框架,用Django框架进行web应用框架减少了很多工作,通常用很少量的代码就可以实现数据的增、删、改、查的业务应用,同样用Django的restframework的框架对外发布接口也是非常的简单方便,几行代码就可以将数据对象通过接口的方式提供服务。......原创 2022-07-13 22:22:09 · 2213 阅读 · 0 评论 -
PyCharm在用Django开发时,debug模式启动失败,显示can‘t find ‘__main__‘ module”的解决方法
初次用Django开发web应用,在试图用Pycharm进行debug的时候,出现了一个奇怪的问题。以正常模式启动或者在terminal启动都没有问题。但是以debug模式启动时,显示报错。在网上找了很久都没有看到解决方法,最后在某乎上看到一篇文章,在启动时加上--noreload参数,既可以debug模式启动。记录一下,希望能帮到碰到同样问题的人。...原创 2022-06-05 23:24:17 · 856 阅读 · 1 评论 -
Python使用BeautifulSoup4修改网页内容实战
最近有个小项目,需要爬取页面上相应的资源数据后,保存到本地,然后将原始的HTML源文件保存下来,对HTML页面的内容进行修改将某些标签整个给替换掉。对于这类需要对HTML进行操作的需要,最方便的莫过于BeautifulSoup4的库了。样例的HTML代码如下:<html><body> <a class="videoslide" href="http://www.test.com/wp-content/uploads/1020/1381824922.JPG">原创 2022-05-18 20:50:13 · 2326 阅读 · 1 评论 -
pandas快速入门指南
Pandas 是一个开源的第三方 Python 库,从 Numpy 和 Matplotlib 的基础上构建而来,享有数据分析“三剑客之一”的盛名(NumPy、Matplotlib、Pandas)。是学习数据分析、AI机器学习必学组件之一。Pandas 这个名字来源于面板数据(Panel Data)与数据分析(data analysis)这两个名词的组合。在经济学中,Panel Data 是一个关于多维数据集的术语。Pandas 对数据的处理是为数据的分析服务的,它所提供的各种数据处理方法、工具是基于数理.原创 2022-02-23 10:18:19 · 2012 阅读 · 0 评论 -
pandas数据分析之数据绘图
一图胜千言,将信息可视化(绘图)是数据分析中最重要的工作之一。它除了让人们对数据更加直观以外,还可以帮助我们找出异常值、必要的数据转换、得出有关模型的想法等等。pandas 在数据分析、数据可视化方面有着较为广泛的应用。本文将通过实例介绍pandas的数据绘图。原创 2022-02-16 11:28:02 · 5189 阅读 · 0 评论 -
pandas数据分析之数据重塑透视(stack、unstack、melt、pivot)
在数据分析的过程中,分析师常常希望通过多个维度多种方式来观察分析数据,重塑和透视是常用的手段。数据的重塑简单说就是对原数据进行变形,为什么需要变形,因为当前数据的展示形式不是我们期望的维度,也可以说索引不符合我们的需求。对数据的重塑不是仅改变形状那么简单,在变形过程中,数据的内在数据意义不能变化,但数据的提示逻辑则发生了重大的改变。数据透视是最常用的数据汇总工具,它可以根据一个或者多个指定的维度来聚合数据。pandas 也提供了数据透视函数来实现这些功能。如果能熟练区分原创 2022-02-14 00:27:58 · 4302 阅读 · 0 评论