python
Lens5935
这个作者很懒,什么都没留下…
展开
-
python调用shell的几种姿势
大家都清楚,python是一门易上手、简单灵活的胶水语言,能与多种语言进行交互,易用、入门和上手都比较简单,所以一直都被广泛使用。Python开发一些devops的自动化作业也是非常方便的,在Linux环境下,我们用shell编写自动化脚本,通常自动化作业复杂的话,使用shell脚本就很难搞定了,一方面,shell脚本量大了之后就会比较难以工程化,维护和阅读,另外shell是不具有编程语言丰富的类库,如map list在shell这里有版本影响。因此,这个时候python+shell两者相结合,直接交互原创 2021-07-13 16:15:43 · 297 阅读 · 0 评论 -
spark.createDataFrame()报错Can not merge type
问题:spark_df = spark.createDataFrame(df)pandas df 转换为spark df 时报错如下:TypeError: field id: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.LongType'>原因:并不是数据类型不匹配,而是数据中存在空值,将空值进行替换后成功创建。解决办法:.原创 2021-04-12 17:15:32 · 8077 阅读 · 2 评论 -
python3 date_range实现日期转置(3种方式实现)
需求:某零售门店销售促销数据如下,需要将活动开始时间转为活动时间(形如右表):解决办法:数据展示:import pandas as pddf = pd.read_excel('门店促销数据.xlsx')df方法一:excel_data = pd.read_excel('门店促销数据.xlsx')table = pd.DataFrame()for index , row in excel_data.iterrows(): date = pd.date_ra原创 2021-03-12 18:58:13 · 761 阅读 · 1 评论 -
Python实现arff格式转换
获取数据:the UC Irvine Machine Learning Repository数据格式主要有三个要求,@relation ,文件的名称@attribute,实例的属性@data,实例属性的对应值代码实现def read_arrf(file): with open(file) as f: header = [] for line in f: if line.startswith("@attrib...原创 2020-12-06 11:24:16 · 816 阅读 · 0 评论 -
Python数据结构必知必会
Python常用的数据结构,有如下几种:String 字符串 List 列表 Tuple 元组 Set 集合 Dic 字典字符串的创建方式:① 单引号(‘ ’),创建字符串str = 'l love python'print(str)② 双引号(“ ”),创建字符串str2 = "l love python"print(str2)③连续3个单引号或者3个单引号,创建多行字符串str3 = '...原创 2020-12-05 21:18:23 · 110 阅读 · 1 评论 -
PythonORM框架之SQLAlchemy
SQLAlchemy 是一个功能强大的Python ORM 框架,建立在数据库API之上,使用关系对象映射进行数据库操作,将对象转换成SQL,然后使用数据API执行SQL并获取执行结果更多内容:http://docs.sqlalchemy.org/en/latest/dialects/index.html'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名'## MySQL-Python :mysql+mysqldb://<user>:<pass.原创 2020-11-27 14:30:48 · 163 阅读 · 0 评论 -
Centos7 python3下pip install psycopg2 出现Error: pg_config executable not found 解决办法
出现错误:[root@localhost bin]# pip install psycopg2Collecting psycopg2 Using cached psycopg2-2.8.5.tar.gz (380 kB) ERROR: Command errored out with exit status 1: command: /usr/bin/python -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'.原创 2020-08-26 16:34:06 · 1785 阅读 · 0 评论 -
pycharm 2020.1 连接远程虚拟机centos服务器
版本信息:pycharm 2020.1 Centos7简单配置过程如下:选择Sftp添加sftp连接信息填写本地项目路径 远程服务器路径mapping本地pycharm运行 py文件即可以同步至远程虚拟机服务器上...原创 2020-08-26 13:02:44 · 489 阅读 · 1 评论 -
Python定时任务框架APScheduler(类似crontab)
估计好多朋友Linux中的crontab定时任务并不陌生,其实python中也是有定时任务框架的,接下来一起看看吧。Linux 定时任务crontab简介:APScheduler(Advanced Python Scheduler)是一个轻量级的Python定时任务调度框架(Python库)。APScheduler有三个内置的调度系统,其中包括: cron式调度(可选开始/结束时间) 基于间隔的执行(以偶数间隔运行作业,也可以选择开始/结束时间) 一次性延迟执行原创 2020-08-11 19:15:51 · 1030 阅读 · 0 评论 -
CentOS7 安装python3【全】(附图片问题详解)
linux版本:CentOS Linux release 7.6.1810 (Core)python安装版本:Python-3.6.4centos7自带有python2,现阶段py2已不满足我们需求,想要安装python3怎么办呢?Yum源中并没有现成的python3,所以必须要自己手动编译安装。#查看centos版本[root@localhost python3]# cat /etc/centos-release#查看本机自带python版本[root@localhost原创 2020-08-11 16:13:14 · 207 阅读 · 0 评论 -
python常用时间格式转换
#获取当前的时间curr_time = datetime.datetime.now() #2020-06-13 22:06:25.393880 类型:<class 'datetime.datetime'> 格式化:#格式化(使用strftime()将datetime转换成为2020-06-13、2020/06/13等str目标形式)time_str = curr_time.strftime("%Y-%m-%d") #2020-06-13 类型:<cla...原创 2020-06-14 11:42:48 · 324 阅读 · 0 评论 -
python3 pip install 安装时 No module named 'pip' 问题解决及pip国内源更改、升级
在使用pip install时,出现如下问题:因为这个错误导致 pip找不到,可以首先执行python -m ensurepip ,如下图所示然后执行python -m pip install --upgrade pip 即可更新完毕。pip国内镜像源更改:例如:阿里云: http://mirrors.aliyun.com/pypi/sim...原创 2020-05-06 17:08:42 · 4379 阅读 · 0 评论 -
Anaconda3 安装使用及常见问题详解(附国内清华镜像)
Anaconda(官方网站)是可以便捷获取包且对包能够进行管理,同时对环境可以统一管理的发行版本。 Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 选择自己需要的版本,点击下载就可以。 此处我用的是centos6.5,Anaconda3-5....原创 2020-04-24 22:26:44 · 2235 阅读 · 0 评论