Python
文章平均质量分 95
Python
四月天03
能用钱解决的问题,千万别花时间
展开
-
Python爬虫:原理与实战
在当今的信息时代,互联网上的数据如同浩瀚的海洋,充满了无尽的宝藏。Python爬虫作为一种高效的数据抓取工具,能够帮助我们轻松地获取这些数据,并进行后续的分析和处理。本文将深入探讨Python爬虫的原理,并结合实战案例,帮助读者快速掌握爬虫技术。如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/J原创 2024-03-15 11:23:41 · 2366 阅读 · 0 评论 -
权限管理系统设计方案
用户和角色,角色和权限都是多对多的关系,这种模型是最通用的权限管理模型,节省了很大的权限维护成本, 但是实际的业务千变万化,权限管理的模型也需要根据不同的业务模型适当的调整,比如一个公司内部的组织架构是分层级的,层级越高权限越大,因为层级高的人不仅要拥有自己下属拥有的权限,二期还要有一些额外的权限。这种模型能够满足权限的基本分配能力,但是随着用户数量的增长,这种模型的弊端就凸显出来了,每一个用户都需要去分配权限,非常的浪费管理员的时间和精力,并且用户和权限杂乱的对应关系会给后期带来巨大的维护成本。原创 2022-08-14 18:14:48 · 4482 阅读 · 0 评论 -
Django--基于Python的Web应用框架
Django 是一个由 Python 编写的一个开放源代码的 Web 应用框架。使用 Django,只要很少的代码,Python 的程序开发人员就可以轻松地完成一个正式网站所需要的大部分内容,并进一步开发出全功能的 Web 服务 Django 本身基于 MVC 模型,即 Model(模型)+ View(视图)+ Controller(控制器)设计模式,MVC 模式使后续对程序的修改和扩展简化,并且使程序某一部分的重复利用成为可能。低耦合开发快捷部署方便可重用性高维护成本低...原创 2022-09-27 19:56:53 · 19466 阅读 · 2 评论 -
python执行spark任务sparksql、Spark 并发量测试
数据治理这个概念已经提出了十多年,由于视角及侧重点不同,业界给出的数据治理定义多达几十种,到目前为止还未形成统一标准的定义,我们暂且以IBM数据治理委员会给出的定义作为本文的理解基础。数据治理是针对数据管理的质量控制规范,它将严密性和纪律性植入企业的数据管理、利用、优化和保护过程中。有意思的是,和数据治理类似,业界对数据中台也并未形成统一的概念定义,比较普遍的看法是:数据中台是一套可持续的“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论转载 2021-11-17 15:42:03 · 1465 阅读 · 2 评论 -
如何使用Python进行批量文件整理
引言 ” 批量文件整理一直是日常工作中令人头疼的事,使用 Python 进行大批量文件整理,可以大大提升工作效率。我们在制作文件清单后,可以使用excel进行便捷的文件名统一调整(如去空格,增加头尾字段等)。在文件整理统计时,经常要给文件名添加序号,在上面保存文件清单的过程,我们可以看到脚本的默认排序保存是按首位数字排序,在此我们可以通过补零来保证按数字大小排序。我们在excel对文件名进行筛选后,将是否删除列为1的文件删除,保留为0的文件(如图)。获取文件名,并将序号和文件名写入 excel。......原创 2022-08-31 22:12:11 · 3643 阅读 · 0 评论 -
企业微信发送消息--Python
在使用应用消息推送的api时候,发送图片消息需要我们提供图片的media_id值,以此来获取我们要发送的图片。Python代码主要使用requests库,将企业微信API进行简单封装,模拟https的GET、POST操作,向指定的用户发送企业微信消息。Python代码主要使用requests库,将企业微信API进行简单封装,模拟https的GET、POST操作,向指定的用户发送企业微信消息。其中,corpid为企业id,可以在企业微信网页后台的“我的企业”——>“企业信息”——>“企业ID”中看到。原创 2022-09-01 22:03:37 · 7745 阅读 · 1 评论