![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python︱基础与数据处理
文章平均质量分 77
悟乙己
心如花木,皆向阳而生!
展开
-
阿里云API网关 产品的使用笔记
阿里云API网关使用笔记原创 2024-05-03 11:28:44 · 1244 阅读 · 0 评论 -
自动化报告pptx-python|如何将pandas的表格写入PPTX(二)
自动化报告pptx-python|如何将pandas的表格写入PPTX(二)原创 2024-02-01 17:04:07 · 569 阅读 · 0 评论 -
PyInstaller打包python程序为exe可执行文件
pyinstaller打包教程原创 2023-11-25 21:56:34 · 1115 阅读 · 0 评论 -
阿里云服务器扩容数据盘/系统盘小记
阿里云服务器扩容原创 2023-08-19 14:12:11 · 364 阅读 · 0 评论 -
关于python依赖错误安装cupy造成的报错
甚至一些依赖如果一旦安装cupy,一些依赖就会默认使用,连带报错,cupy,一种类似numpy,使用CUDA的GPU硬件加速。最简单的办法就是直接删除cupy,免得碍眼。笔者在安装一些依赖,比如。原创 2023-06-19 22:27:23 · 926 阅读 · 0 评论 -
python报错提示以及logger的一些应用
本篇是拆解这篇【name】 将报错 + logger提示拿出来。原创 2023-05-05 22:01:59 · 1397 阅读 · 0 评论 -
转载 | Python中多层List展平为一层
参考:Python中多层List展平为一层使用Python脚本的过程中,偶尔需要使用list多层转一层,又总是忘记怎么写搜索关键词,所以总是找了很久,现在把各种方法记录下来,方便自己也方便大家.方法很多,现在就简单写8种,后面再对这8种方法做基准测试.声明:文中的方法均收集自Making a flat list out of list of lists in Pythonimport functoolsimport itertoolsimport numpyimport operatori转载 2022-05-10 11:37:01 · 1222 阅读 · 0 评论 -
Python-datetime、pandas.Timestamp时间模块
随便记录一下datetime模块的一些使用:文章目录获取当前时间字符到时间格式修改格式获取当前时间import datetime #引入datetime模块now_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')now_time结果为:2021-03-29 15:55:25.779830字符到时间格式import datetime #引入datetime模块str_to_datetime = lam原创 2021-03-29 16:01:14 · 595 阅读 · 0 评论 -
[转载]一个任务超时退出的装饰器,用起来真方便
来源:Python技巧 | 一个任务超时退出的装饰器,用起来真方便~本篇装饰器的写法,倒是蛮值得学习的,贴一下。文章目录1 任务超时退出2 日志记录3 缓存4 约束某个函数的可执行次数1 任务超时退出我们日常在使用的各种网络请求库时都带有timeout参数,例如request库。这个参数可以使请求超时就不再继续了,直接抛出超时错误,避免等太久。如果我们自己开发的方法也希望增加这个功能,该如何做呢?方法很多,但最简单直接的是使用并发库futures,为了使用方便,我将其封装成了一个装饰器,代码转载 2021-03-15 18:47:54 · 655 阅读 · 1 评论 -
python将jwths256加密——pyjwt库
加载对应的库:$ pip install pyjwt文档地址在:https://pyjwt.readthedocs.io/en/stable/一个非常简单的例子:>>> import jwt>>> encoded_jwt = jwt.encode({"some": "payload"}, "secret", algorithm="HS256")>>> print(encoded_jwt)eyJ0eXAiOiJKV1QiLCJhbGciOi原创 2021-01-13 22:43:38 · 2790 阅读 · 0 评论 -
阿里云MaxCompute中pyODPS的使用:多线程上传、下载、分区
文章目录1 初始化入口2 java可实现:SQLTask配合Tunnel实现大量数据导出3 pyODPS3.1 sql读入3.2 DataFrame3.2.1 dataframe读入3.2.2 分区3.3 to_pandas4 与mars融合安装:pip install pyodps1 初始化入口在使用PyODPS前,您需要用阿里云账号初始化一个MaxCompute的入口,执行命令如下。from odps import ODPSodps = ODPS('**your-access-id**原创 2021-01-04 18:41:15 · 6485 阅读 · 0 评论 -
pymysql ︱mysql的基本操作与dbutils+PooledDB使用
之前的一篇:python︱mysql数据库连接——pyodbc0 安装依赖pip3 install --pre pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 install --pre sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple1 连接方式1.1 pymysql.connect直接连import pymysql# 连接databaseuser = "xxx原创 2020-12-15 18:26:39 · 4223 阅读 · 0 评论 -
python定时模块:apscheduler
开个头,有参考:python定时任务最强框架APScheduler详细教程安装:pip install apscheduler一个案例其中 BlockingScheduler是阻塞性的调度器,是最基本的调度器,下面调用 start方法就会阻塞当前进程,所以如果你的程序除了调度进程没有其他后台进程,那么是可以是否的,否则这个调度器会阻塞你程序的正常执行。接下来就是定义一个 my_clock函数,这个函数就是需要定时调度的任务代码。然后就是实例化一个 BlockingScheduler对象,并原创 2020-11-25 17:28:45 · 1082 阅读 · 0 评论 -
Python使用sftp实现上传和下载功能(实例代码)
参考:Python—实现sftp客户端(连接远程服务器)import paramiko transport = paramiko.Transport(("106.15.88.182", 10022)) # 获取Transport实例transport.connect(username="root", password="123456") # 建立连接 # 创建sftp对象,SFTPClient是定义怎么传输文件、怎么交互文件sftp = paramiko.SFTPClient.fr转载 2020-08-07 19:13:18 · 1773 阅读 · 0 评论 -
pyMongo操作指南:增/删/改/查/合并/统计与数据处理
文章目录1 mongodb安装1.1 下载 MongoDB 镜像1.2 运行 MongoDB 镜像1.3 添加管理员账号1.4 用新创建的 root 账户连接,测试一下2 可视化界面Robo 3T3 pymongo增删改查3.1 数据库连接3.2 建表collection3.3 文档插入与删除关于Unicode编码的字符串注意点3.4 数据更新update3.5 数据替换replace3.6 查...原创 2019-08-15 17:22:02 · 8725 阅读 · 0 评论 -
pyRedis - 操作指南:增/删/改/查、管道与发布订阅功能
文章目录1 redis docker 部署与安装2 py - redis的使用2.1 redis的连接2.2 常规属性查看2.3 STRING 字符串的操作1 redis docker 部署与安装参考:一文教你如何通过 Docker 快速搭建各种测试环境首先拉取 Redis 镜像, 这里我选择的是 redis:alpine 轻量级镜像版本:docker pull redis:alpine...原创 2019-08-19 22:42:33 · 2366 阅读 · 1 评论 -
python︱ collections模块(namedtuple/defaultdict/OrderedDict等) + 神奇排列组合函数
collections有的功能:['deque', 'defaultdict', 'namedtuple', 'UserDict', 'UserList', 'UserString',\ 'Counter', 'OrderedDict', 'ChainMap', 'Awaitable', 'Coroutine', 'AsyncIterable', \ 'AsyncIterator', 'A...原创 2018-11-27 11:06:01 · 2266 阅读 · 0 评论 -
Jupyter notebook最简原型界面设计 - ipywidgets与lineup_widget
Tkinter的GUI设计 和 django页面设计,那么笔者只是想快速做个demo原型,以上的内容能不能结合着来,有一些简单的交互 + web可以快速访问的到,于是就看到了jupyter notebook这两个库,非常简单的玩具,来看看呗~文章目录一 ipywidgets1.1 基础组件1.2 interact 简单交互二 lineup_widget一 ipywidgets文档:htt...原创 2018-11-22 22:57:25 · 21594 阅读 · 2 评论 -
pySpark | pySpark.Dataframe使用的坑 与 经历
笔者最近在尝试使用PySpark,发现pyspark.dataframe跟pandas很像,但是数据操作的功能并不强大。由于,pyspark环境非自建,别家工程师也不让改,导致本来想pyspark环境跑一个随机森林,用 《Comprehensive Introduction to Apache Spark, RDDs & Dataframes (using PySpark) 》中的案例,...原创 2018-07-05 16:43:56 · 23589 阅读 · 7 评论 -
python︱mysql数据库连接——pyodbc
直接连接数据库和创建一个游标(cursor)数据查询(SQL语句为 select …from..where)1、pyodbc连接import pyodbccnxn = pyodbc.connect('DRIVER={SQL Server};SERVER=xxx;DATABASE=xxx;UID=xxx;PWD=xxx')cursor = cnxn.cursor()cursor.execute(原创 2017-06-29 17:44:47 · 10887 阅读 · 0 评论 -
python︱numpy、array——高级matrix(替换、重复、格式转换、切片)
先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python,对应写一句R。python中的numpy模块相当于R中的matirx矩阵格式,化为矩阵,很多内容就有矩阵的属性,可以方便计算。以下符号:=R=代表着在R中代码是怎么样的。 array模块定义了一种序列数据结构,看起来和list很相似,但是所有...原创 2016-08-23 15:46:21 · 65174 阅读 · 3 评论 -
R + python︱数据规范化、归一化、Z-Score
笔者寄语:规范化主要是因为数据受着单位的影响较大,需要进行量纲化。大致有:最小-最大规范化、均值标准化、小数定标规范化1、最小-最大规范化也叫离差标准化,是对原始数据的线性变换,将数据映射到[0,1]之间,与功效系数法相同。#最小-最大规范化b1=(data[,1]-min(data[,1]))/(max(data[,1])-min(data[,1]))b2原创 2016-04-23 21:35:32 · 41060 阅读 · 1 评论 -
一句python,一句R︱列表、元组、字典、数据类型、自定义模块导入(格式、去重)
pandas中有类似R中的read.table的功能,而且很像1、python的read_csv#数据导入df = pd.read_csv('./cpu.csv',header=0)#中文encoding = 'gbk'约等于R中的read.csv('./cpu.csv',header=T,encoding= UTF-8)2、python的to_csvto_cs原创 2016-08-23 11:46:08 · 9294 阅读 · 0 评论 -
python︱flashtext高效关键词查找与替换
项目链接:https://github.com/vi3k6i5/flashtext 原文:资源 | 十五分钟完成Regex五天任务:FastText,语料库数据快速清理利器 .性能:案例:字符串查找英文:# pip install flashtextfrom flashtext.keyword import KeywordProcessorkeyword_processor = Keywor原创 2017-11-13 16:41:33 · 11698 阅读 · 4 评论 -
python︱处理与使用json格式的数据(json/UltraJSON/Demjson)、pickle模块、yaml模块
python种关于json有很多,simplejson,cjson,还有ujson(详细内容可见:http://blog.csdn.net/gzlaiyonghao/article/details/6567408). cjson模块只支持string/unicode的key JSON(JavaScript Object Notation)编码格式的数据。1、变量解码、编码为Json格式2、文原创 2017-08-23 18:31:09 · 9062 阅读 · 0 评论 -
python︱Anaconda安装、简介(安装报错问题解决、Jupyter Notebook)
安装完anaconda,就相当于安装了Python、IPython、集成开发环境Spyder、一些包等等。是一个IDE、安装包的大杂烩,很好很强大,官方下载链接:https://www.continuum.io/downloads下载后,直接安装即可,炒鸡方便。————————————————————————————————————————原创 2016-10-26 13:55:38 · 32482 阅读 · 1 评论 -
python︱matplotlib使用(读入、显示、写出、opencv混用、格式转换...)
opencv和matplotlib是比较常用的图像分析模块。在Ipython里面,opencv不能直接显示出来,所以有些时候会借助matplotlib来显示。%matplotlib inline .1、matplotlib的读入与显示import matplotlib.pyplot as plt import numpy as np from PIL import ...原创 2017-11-17 12:07:10 · 13689 阅读 · 0 评论 -
一句python,一句R︱python中的字符串操作、中文乱码、NaN情况(split、zip...)
先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python,对应写一句R。pandas可谓如雷贯耳,数据处理神器。以下符号:=R=代表着在R中代码是怎么样的。速查笔记:string模块,还提供了很多方法,如 S.find(substring, [start [,end]]) #...原创 2016-08-24 17:03:54 · 4651 阅读 · 0 评论 -
python︱函数、for、if、_name_、迭代器、防范报错、类定义、装饰器、argparse模块、yield
新手入门python,开始写一些简单函数,慢慢来,加油~一、函数 +三个内建函数filter,map和reduce + if1、def/lambdadef myadd(a=1,b=100): result = 0 i = a while i # 默认值为1+2+3+……+100 result += i i +原创 2017-01-09 18:59:35 · 1764 阅读 · 1 评论 -
一句Python,一句R︱pandas模块——高级版data.frame
先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python,对应写一句R。pandas可谓如雷贯耳,数据处理神器。以下符号:=R=代表着在R中代码是怎么样的。pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包类似于 Numpy 的核心是 ndarray,pandas 也......原创 2016-08-23 17:29:39 · 16769 阅读 · 4 评论 -
一句Python,一句R︱数据的合并、分组、排序、翻转、集合
先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python,对应写一句R。python中的numpy模块相当于R中的matirx矩阵格式,化为矩阵,很多内容就有矩阵的属性,可以方便计算。以下符号:=R=代表着在R中代码是怎么样的。一、分组.groupbydf.groupby(df.year // 10 *10).max() #=原创 2016-08-23 17:53:28 · 4739 阅读 · 0 评论 -
python︱Python进程、线程、协程详解、运行性能、效率(tqdm)
多进程实践——multiprocessing笔者最近在实践多进程发现multiprocessing,真心很好用,不仅加速了运算,同时可以GPU调用,而且互相之间无关联,这样可以很放心的进行计算。譬如(参考:多进程):from multiprocessing import Poolimport os, time, randomdef long_time_task(name):...原创 2017-04-02 12:58:55 · 7311 阅读 · 1 评论 -
PySpark︱DataFrame操作指南:增/删/改/查/合并/统计与数据处理
笔者最近需要使用pyspark进行数据整理,于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。1、——– 查 ——–— 1.1 行元素查询操作 —像SQL那样打印列表前20元素show函数内可用int类型指定要打印的行数:df.show()df.show(30)以树的形式打印概要df.prin...原创 2018-05-29 18:38:51 · 146960 阅读 · 21 评论 -
python︱模块加载(pip安装)以及pycharm安装与报错解决方式
准备放下R开始学python,真是痛苦,因为找个IDE都好麻烦,调用起来都没Rsudio那么好用。这个IDE下载模块比较方面,非常快pycharm的下载与pandas安装:http://bbs.pinggu.org/thread-3633477-1-1.htmlpycharm官方教学视频:链接:http://pan.baidu.com/s/1sl3WfGL 密码:03ho原创 2016-08-14 17:30:15 · 61540 阅读 · 4 评论