python
文章平均质量分 60
Go~Go~Go~
Python狂热粉
展开
-
Pandas时序数据
Pandas时序数据前言在数据分析中,时序数据是一类非常重要的数据。事物的发展总是伴随着时间的推移,数据也会在各个时间点上产生。一、python中的时间表示-datetime模块 Python的标准库datetime支持创建和处理时间,Pandas的时间时序模块是在datetime的基础上建立的。换取当前时间import datetimenow = datetime.datetime.now() # 2022-03-06 18:43:49.506048其中now的全貌如下,原创 2022-03-06 19:47:57 · 300 阅读 · 0 评论 -
Linux服务器下PySpark环境安装
Linux服务器下PySpark环境安装一、JDK安装 1. 下载JDK安装包 进入Java官网下载对应的JDK版本,建议下载较早的版本,可能出现不兼容的。这里选择下载jdk-8u321-linux-x64.tar,下载完毕适用Xftp7上传至服务器并解压。tar -zxfv jdk-8u321-linux-x64.tar2. 修改 `/etc/profile` 文件,添加环境变量配置信息。vim /etc/profile 在文件末尾添加如下的配置信息export JAVA_HO原创 2022-01-30 20:05:42 · 11543 阅读 · 5 评论 -
Spark的操作算子
Spark的操作算子一、在Apache Spark中,RDD(弹性分布数据集)是一个非常重要的核心概念,很多计算必须依赖于RDD。一般来说,RDD包括两个操作算子:1. 变换:变换算子的特点是**懒执行**,变换操作并不会立即执行,而是需要等到有**动作操作**的时候才会真正进行计算,并得到结果。2. 动作:动作算子的特点是**立即执行**,动作算子会对`RDD`计算出一个结果,并把结果返回到**驱动器程序**中,或把结果存储到**外部存储系统**(如`HDFS`)中。二、Spark的操作算子(以原创 2022-01-23 15:21:43 · 1740 阅读 · 0 评论 -
动态规划初步
动态规划一、动态规划的核心 最近在力扣上刷多了几道动态规划问题的题,对动态规划形成了初步的了解。 动态规划问题与递归问题类似,都是基于将问题分解成更小的问题,求解小问题后得到最终的答案。动态规划与递归不同的是,动态规划是自底向上地求解问题,其小问题是相对于问题规模而言的,如求解最大子数组和问题,给定长度为n的数组求最大子数组和(问题规模为n),动态规划采用的是从数组长度为1(最小的问题规模)时开始设计,考虑下一阶段(长度为2)与何种因素相关,从而列得状态转移方程,即动态规划巧妙地利用之前计算过的结原创 2022-01-16 20:36:40 · 120 阅读 · 0 评论 -
A*算法及迪杰斯特拉算法求解最短路径问题
A*算法及迪杰斯特拉算法求解最短路径问题一、题目最短路径问题:求各节点到Bucharest的最小距离。二、数据表示在表示图的数据结构中,需要涵盖节点的相连关系和相连节点间的距离,以下为python数据结构表示记录图中的全部节点,用于循环遍历:vertex_list_ = ['Oradea', 'Zerind', 'Arad', 'Sibiu', 'Fagaras', 'Timisoara', 'Rimnicu Vilcea', 'Lugoj', 'Mechadia', 'Pitesti',原创 2022-01-08 17:19:46 · 1833 阅读 · 2 评论 -
python爬取动态页面
一、动态页面概述:在页面中执行某些动作,如翻页、点击等,页面的url不变,对这种类型的页面爬取。原理:动态页面的数据的获取主要有两种(就我目前了解到的),(1)网页先将数据请求放在某个<script></script>中,分页展示;(2)页面通过ajax请求获取数据。二、方法如何判断是哪种?(1)打开控制台的网络部分,:(2)再次触发事件,比如说点击下一页,观察是否接收新的数据包(3)出现的话就是原理的第二种方式,查看数据包的详细信息:(4)原创 2021-12-05 23:14:03 · 4815 阅读 · 0 评论 -
AHP(层次分析法)python实现
一、源代码输入正互反矩阵,先进行一致性检验,判断是否通过,通过后返回权重。def AHP(A) -> np.array: # 平均随机一致性指标。 RI_dict = {1: 0, 2: 0, 3: 0.58, 4: 0.90, 5: 1.12, 6: 1.24, 7: 1.32, 8: 1.41, 9: 1.45, 10: 1.49} n = len(A) for i in range(1, n): for k in range(i):原创 2021-09-12 00:13:01 · 1466 阅读 · 0 评论 -
python装饰器
最近在看python的高级教程,被装饰器这个概念卡了一下,查了许多相关的资料后,对装饰器有了进一步的了解。装饰器本质上是一个的函数,一个比较特殊的函数,是一个参数是函数,返回值也是函数的函数。装饰器的作用是在不改变被装饰函数的前提下,用内部函数(FuncHandler)对被装饰函数进行处理,常用于对一个函数进行安全、性能检测等。一、基础的装饰器函数1.装饰器基础def decorator(func): def funcHandler(): # Do something..原创 2021-09-04 23:07:17 · 110 阅读 · 0 评论 -
Python-基于线程的并行
目前,对于管理并发性,软件应用中使用最广泛的编程模型就是基于多线程。通常,应用包括一个进程,这个进程可以划分为多个独立的线程,分别表示并运行的不同类型的活动。这些线程会相互竞争。如今,使用多线程的现代应用已经得到大规模使用。本文介绍python中的threading库实现基于线程的并发。文章目录一、什么是线程二、Python threading模块1. threading模块的主要组件包括:2. 定义一个线程3.实现过程4.定义一个线程子类三、使用锁的线程同步一、什么是线程 线程是一个独立的执行流原创 2021-08-28 22:40:54 · 380 阅读 · 0 评论 -
SQLAlchemy使用教程
文章目录一、SQLAlchemy简介1.ORM2.SQLAlchemy的优点3.SQLAlchemy分为两部分二、SQLAlchemy的安装和连接1.安装SQLAlchemy2.使用SQLAlchemy连接MySQL数据库三、SQLAlchemy常用数据类型四、创建类五、创建模式1.查看表信息2.创建表3.创建实例4.创建会话六、SQLAlchemy对MySQL数据库的基本操作1.添加对象2.查询对象3.更新对象4.删除对象5.高级查询七、嵌入使用SQL语句1.在查询中嵌入SQL语句2.通过Engine对象原创 2021-08-21 20:50:01 · 13083 阅读 · 4 评论 -
Flask基础(1)
一、Flask框架概述1.Flask与Django的区别 (1)Flask的依赖较小,入门简单,初始较简单,项目加大后依赖加大;Django框架大而全。 (2)Flask是一个轻量级的框架。第三方组件非常齐全。Django是一个重量级的框架。2. 知识内容(1)路由和视图(2)视图内容和模板(3)数据库(4)迁移,蓝图,测试3.Flask核心:(1)Werkzeug工具箱:专门用来处理请求相关的内容,比如:地址(2)Jinjia2模块引擎:页面渲染处理(3)额外的拓展包4.W原创 2021-08-07 20:57:04 · 118 阅读 · 0 评论 -
图论-迪杰斯特拉算法的python实现
迪杰斯特拉算法采用动态规划的算法,从起点开始,遍历子节点并计算两节点之间的距离,并比较,更新数据后继续遍历。该算法适用于边的距离为整数的简单图。下面的算法通过堆的数据结构,通过hd记录两节点之间的距离并更新最小距离。参数(1)s: 起点 (2) vetix_list: 图中的全部节点(3)graph: 图中节点的连接关系 (4)edge: 两节点间的距离def Dijkstra(s, vertx_list, graph, edges): hd = heapdict() # 构建堆字典.原创 2021-07-17 18:05:20 · 956 阅读 · 0 评论 -
Windows自动化运行python脚本
一、 期末又来了,又准备进入紧张的抢课时间,写好了抢课的python脚本,想让它在开抢时间运行。当然,可以在代码中设置记时,但这样要一直让电脑处于开机状态,太耗能和损设备了。可以通过windows的任务管理,让电脑在睡眠状态中唤醒执行脚本。这个方法分为两个步骤。–1. 设置自动化运行。 二、 将Python脚本打包成EXE文件。...原创 2021-07-10 11:27:41 · 2999 阅读 · 2 评论