Python
文章平均质量分 54
冰阔落
Stay hungry, Stay foolish, Stop when you are perfect.
展开
-
Datalore 安装使用教程
接下来我们需要去pull一个镜像,在https://hub.docker.com/r/jetbrains/datalore-agent/tags这里,我们需要找到相同版本的datalore-agent,比如上面的配置文件,我们用的版本是jetbrains/datalore-server:2022.2.3,于是就。来启动,等下载完后,进入127.0.0.1:8080,去随便注册一个,然后登陆进去,到admin panel中填密钥,然后就可以使用了。里面步骤很详细就不说了。下载完后,我们就可以直接。转载 2023-08-01 14:17:57 · 399 阅读 · 0 评论 -
【Python】开启Pandas进阶:图解Pandas透视表、交叉表
aggfunc是一个很灵活的参数,它是用来指定我们汇总想用哪种函数,默认是均值mean,我们也可以使用求和sum、最值max等。这个网上非常流行的一张图解Pandas透视表函数的图形,它利用一份简单的数据,清晰明了地讲解了pivot_table函数的每个参数的含义,保存备用!下面是在Excel表格中使用消费数据制作的透视表(部分数据截图),我们统计的是不同性别不同日期下的消费金额和小费,同时还显示了总计的数据。透视表的制作灵活性高,可以随意定制我们想要的的计算统计要求,一般在制作报表神器的时候常用。转载 2023-07-27 15:41:11 · 565 阅读 · 0 评论 -
python 获取指定文件夹下所有文件名
(2)os.listdir()用于返回指定的文件夹下包含的文件或文件夹名字的列表,这个列表按字母顺序排序。使用os模块可以获取指定文件夹下所有文件名,有两个方法os.walk()和os.listdir().(1)os.walk可以用于遍历指定文件下所有的子目录、非目录子文件。转载 2023-01-04 10:21:44 · 3902 阅读 · 0 评论 -
Running Jupyter Notebook on an EC2 Server
【代码】Running Jupyter Notebook on an EC2 Server。转载 2022-11-10 14:46:05 · 108 阅读 · 0 评论 -
点9切图方法
不会点9切图的小伙伴赶快戳进来看看吧最近很多人在微信群问我点9图怎么切的问题,今天u妹把工作中积累的关于点9切图的经验分享给大家,希望大家可以掌握这些切图方法。点九图,是Android开发中用到的一种特殊格式的图片,文件名以”.9.png“命名。这种图片能告诉开发,图像哪一部分可以被拉伸,哪一部分不能被拉伸需要保持原有比列。运用点九图可以保证图片在不模糊变形的前提下做到自适应。点九图常用于对话框和聊天气泡背景图片中。U妹结合一些具体的例子来看下.9.png的具体切图方法。▲- QQ聊天对话框 -▲- 微信转载 2022-07-01 17:42:47 · 5679 阅读 · 0 评论 -
钉钉机器人各消息类型使用示例
#!/usr/bin/env python# _*_ coding:utf-8 _*_# create time: 07/01/2018 11:35__author__ = 'Devin -- http://zhangchuzhao.site'import reimport sysimport jsonimport timeimport loggingimport requestsimport urllibimport hmacimport base64import hashl.转载 2021-08-13 11:27:42 · 3069 阅读 · 1 评论 -
Python 按照指定的权重生成随机数的方法
前言因为别人问了我一个问题当时一两分钟没想上来,后面搜索了下,找到了一个文章写的很全。搬过来记一下。原问题是想设计一个算法在一个集合中随便选一个数,但是选出来这个数的概率要和这个数的大小成正比。也就是说希望越大的数被大概率的选出来。这个问题更清晰点儿描述是,有一组数字,他们都带有不同的权重,现在要从中“随机”抽一个数字,但是抽到某个数字的概率要正比于他的权重。假设这个集合中的元素和其对应权重为{‘A’:50,‘B’:10,‘C’:100,‘D’:3,‘E’:60,‘F’:25}。方法一如果随机转载 2020-12-23 14:39:32 · 3095 阅读 · 1 评论 -
Pandas Groupby Agg 函数中的列顺序
是否有自动方法来维护返回的数据帧的列(‘C’,’B’,’A’)的顺序?g = df.groupby(['people'])g['people'].agg({'C' : len, 'B' : len, 'A' : len, })这将返回A,B,C而不是C,B,A的列.我只能找到示例,但不能找到agg函数本身的文档.这似乎是一种解决方法:g = df.groupby(['people'])g['p转载 2020-12-04 10:45:58 · 778 阅读 · 0 评论 -
AWS Content Type Settings in S3 Using Boto3
bucket.put_object(Key='index.html', Body=data, ContentType='text/html')原创 2020-11-24 11:46:45 · 441 阅读 · 0 评论 -
如何遍历 pandas 当中 dataframe 的行
有如下 Pandas DataFrame:import pandas as pdinp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]df = pd.DataFrame(inp)print df上面代码输出: c1 c20 10 1001 11 1102 12 120现在需要遍历上面DataFrame的行。对于每一行,都希望能够通过列名访问对应的元素(单元格中的值)。也就是说,需要类似转载 2020-09-09 11:05:22 · 1787 阅读 · 0 评论 -
Python 丢弃返回值
函数多个返回值python的函数支持返回多个值。返回多个值时,默认以tuple的方式返回。例如,下面两个函数的定义是完全等价的。12345def f(): return 1,2def f(): return (1,2)如果将函数调用的返回值赋值给对应个数的变量,它会一一对应的赋值,这很容易理解。下面是等价的:12a, b = f() # a=1, b=2(a, b) = f()如果赋值给一个变量,将会把整个元组赋值给变量。下面是等价转载 2020-09-09 10:30:20 · 673 阅读 · 0 评论 -
python random
在本节中继续介绍 Python 提供的常用模块 random 模块,它的主要功能是用来生成伪随机数的。random 模块Python 提供的 random 模块实现了各种分布式的伪随机数生成器。该模块主要包含以下几种常用的函数。random()函数random()函数可以随机生成一个[0,1)的浮点数。例如:import randomprint(random.random())0.7258069853437111randint(a,b)函数randint(a,b)函数可以在指定范围内随转载 2020-06-11 17:25:41 · 870 阅读 · 1 评论 -
使用 python 来操作 redis 用法详解
1、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(or Redis数据库)时,就需要重新创建redis连接实例来获取一个新的连接。同理,python的redis没有实现selec转载 2020-05-20 10:16:46 · 400 阅读 · 0 评论 -
Python 产生特定范围内不重复多个随机数的两种方法
在近期进行的一个实验中,需要将数据按一定比例随机分割为两个部分。这一问题的核心其实就是产生不重复随机数的问题。首先想到的递归的方法,然后才发现Python中居然已经提供了此方法的函数,可以直接使用。具体代码如下:#生成某区间内不重复的N个随机数的方法import random; #1、利用递归生成resultList=[];#用于存放结果的ListA=1; #最小随机数B=10 #最大随机数COUNT=10 #生成随机数的递归数学,参数counter表示当前准备要生成的第几个有效随机数转载 2020-05-20 10:11:09 · 11847 阅读 · 0 评论 -
Python 中实现获取两个日期相差的月份数
Python 中处理日期时间的标准库有time、datetime、calendar ,但是这三个库都没有获取两个日期相差多少个月的函数,如果用datetime中的strptime()直接进行两个日期相减,返回值的最大单位是天,如下代码所示:interval=datetime.strptime('201907','%Y%m') - datetime.strptime('201901','%Y%m'...转载 2020-04-30 14:23:52 · 8996 阅读 · 0 评论 -
Summarising, Aggregating, and Grouping data in Python Pandas
Summarising, Aggregating, and Grouping data in Python Pandas91 Comments/blog,data science,python,Uncategorized/ ByshanelynnPandas – Python Data Analysis LibraryI’ve recently started usi...转载 2019-11-20 13:13:43 · 799 阅读 · 0 评论 -
[AWS Lambda+Python+ AWS S3] Json to CSV Upload and Get Downloadble URL
Using AWS lambda to generate presigned URLs ...转载 2019-11-15 13:27:57 · 562 阅读 · 0 评论 -
aws lambda 利用 layers 加载 python 包
Introduction to Amazon Lambda, Layers and boto3 using Python3A serverless approach for Data ScientistsGabriel dos Santos GoncalvesFollowAug 8 · 13 min readPhoto by Daniel Eledut on UnsplashAmazon Lamb...转载 2019-11-09 11:40:28 · 1699 阅读 · 0 评论 -
gensim 文档-语料库与向量空间
如果你想要查看logging事件不要忘记设置。import logginglogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)从字符到向量这次让我们从文档表征为字符开始:from gensim import corpora, models翻译 2017-09-07 14:50:10 · 1020 阅读 · 0 评论 -
吐血推荐珍藏的Flask资源
Flask 是 Python 中最流行的 Web 框架之一,以小巧、灵活、可扩展性强著称,相比 Django,它给了开发者最大限度的自由,如果你不喜欢关系型数据库,ok,没问题,切换成本非常低,而 Django 呢?你能遇到的问题它都帮你想好并且提供了对应解决方案,你自己就不要去重复造轮子了,比如模版引擎,ORM,不爽想替换?这个有点难。今天给大家吐血安利几个 Flask 学习资源1、Th...转载 2018-11-12 10:09:46 · 300 阅读 · 0 评论 -
工作流管理平台 Airflow 入门
环境CentOS Linux release 7.5.1804Python 3.6.4/2.7.14简介Airflow 是 Airbnb 开源的一个用 Python 编写的工作流管理平台,自带 web UI 和调度,目前在Apache下做孵化。Airflow 中有两个基本概念,DAG和task。 DAG是多个task的集合,定义在一个Python文件中,包含了task之间的依赖关...转载 2019-03-22 15:06:49 · 912 阅读 · 0 评论 -
python指数、幂数拟合curve_fit
python指数、幂数拟合curve_fit1、一次二次多项式拟合一次二次比较简单,直接使用numpy中的函数即可,polyfit(x, y, degree)。2、指数幂数拟合curve_fit使用scipy.optimize 中的curve_fit,幂数拟合例子如下:from scipy.optimize import curve_fitimport matplotlib.py...转载 2019-03-26 14:08:16 · 10689 阅读 · 2 评论 -
用户画像—Airflow作业调度(ETL)
最近在弄画像标签每天ETL的调度事情,这篇博客分享一下一个开源的ETL工具Airflow。一、基础概念Airflow是Airbnb内部发起并开源的一个ETL管理平台,使用Python编写实现的任务管理、调度、监控工作流平台。这是其官方文档地址:Apache Airflow (incubating) Documentation ,关于airflow产品的使用,里面有详细的介绍。 Airflow的调度...转载 2019-03-27 15:38:04 · 1749 阅读 · 0 评论 -
利用Python将数据库提取的数据转为DataFrame格式
在利用python进行数据分析时,有时候我们会直接连接数据库,将需要分析的数据导入到python中。如果直接导入到python中,数据格式为tuple,不便于后续的分析。下面为大家介绍两种方法,能够将利用sql提取的数据转换为dataframe。解析法def get_df_from_db(sql): cursor = connection.cursor() cursor....转载 2019-05-27 17:24:41 · 11799 阅读 · 1 评论 -
Matplotlib 及 Seaborn 中文显示问题
在使用matplotlib及seaborn时,中文无法正常显示,显示结果为一个方框,解决方法:Matplotlibimport numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文显示问题-设置字体为黑体plt.rcParams['axes.uni...转载 2019-05-28 11:12:23 · 854 阅读 · 0 评论 -
如何在pycharm中方便地使用jupyter(2019ver)
每次复制粘贴token太麻烦。以下来自互联网。首先进入终端,生成一个配置文件jupyter notebook --generate-config然后vi ~/.jupyter/jupyter_notebook_config.py搜索c.NotebookApp.token = 'xxx'取消注释,并且将xxx改成自己想要的名字,保存。以后用pycharm连接jupyter se...转载 2019-06-06 10:07:49 · 2571 阅读 · 0 评论 -
不用下载字体解决Mac系统下Python的matplotlib库中文乱码的问题
百度或谷歌matplotlib库绘图时产生中文乱码问题,得到的最多的答案就是下面几行代码:import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']很明显,这是因为mac下没有SimHei字体库,于是大多数教程都叫你怎么下载SimHei字体怎么放到mac的字体库...转载 2019-06-06 17:39:05 · 586 阅读 · 0 评论 -
windows10 下,在 jupyter 中使用vim:jupyter 扩展 vim-binding安装
1. 环境windows10 ,anaconda2. 流程1. 安装 jupyter nbextensions组件 a. pip install jupyter_contrib_nbextensions b. conda install -c conda-forge jupyter_contrib_nbextensions c. 命令行下网络有问题,可以使...转载 2019-06-06 18:03:55 · 1201 阅读 · 0 评论 -
flask 项目中调用 keras 神经网络模型的一个坑
问题描述事先训练好一个keras的神经网络model。在某一个网站项目flask中,启动服务的时候会把这个model加载进来,当用户访问某一个页面A的时候,会调用model的预测函数。线上一直没有问题,可是在某一次本地开发调试中,本地环境启动后,访问A页面,在调用...转载 2019-06-17 13:39:42 · 523 阅读 · 0 评论 -
Python 下载图片的三种方法
import osos.makedirs('./image/', exist_ok=True)IMAGE_URL = "http://image.nationalgeographic.com.cn/2017/1122/20171122113404332.jpg" def urllib_download(): from urllib.request import urlretriev...转载 2019-06-17 16:05:18 · 3220 阅读 · 0 评论 -
Python 中字符串拼接的 N 种方法
python拼接字符串一般有以下几种方法:①直接通过(+)操作符拼接s = 'Hello'+' '+'World'+'!'print(s)输出结果:Hello World!使用这种方式进行字符串连接的操作效率低下,因为python中使用 + 拼接两个字符串时会生成一个新的字符串,生成新的字符串就需要重新申请内存,当拼接字符串较多时自然会影响效率。②通过str.j...转载 2018-08-06 11:50:59 · 372 阅读 · 0 评论 -
Python 那么火,到底可以用来做什么?我们来说说 Python3 的主要应用
如果您正在考虑学习Python,或者您最近刚开始学习,您可能会问自己:“我到底可以用Python做什么?”这是个棘手的问题,因为Python有很多用途。但是随着时间的推移,我发现Python主要可用于一下三个方面:Web开发数据科学——包括机器学习、数据分析和数据可视化脚本编写我们就依次来看看吧。Web开发像Django和Flask这样基于Pytho...转载 2018-08-06 11:34:58 · 63866 阅读 · 3 评论 -
关于 logging 的一些琐事
虽说 logging 模块都用了好久了,不过由于文档不够详细,每次都忍不住去搜索别人的文章,于是就干脆记录下来吧。懒得分段了,想到哪写到哪吧。为什么 logging.info() 默认不输出任何东西?因为默认生成的 root logger 的 level 是 logging.WARNING,低于该级别的就不输出了。可以进行如下设置来输出:>>>...转载 2018-07-30 14:49:02 · 922 阅读 · 0 评论 -
flask post JSON 数据获取方式总结
服务端代码:#coding:utf-8import base64import iofrom keras.applications.resnet50 import ResNet50from keras.preprocessing import imagefrom keras.applications.resnet50 import preprocess_input, decode_predi原创 2017-11-27 19:34:45 · 19241 阅读 · 0 评论 -
差评近一半,用 Python 分析胡歌的《猎场》到底值不值得看?
作者 | 布道 11 月 6 日,湖南卫视已经开播被称作年度压轴的大戏“猎场”,迅速占领各大榜单,成为一部高热度的电视剧。但是在豆瓣上却形成了两极分化。截止 11 月 8 日,该剧在豆瓣上的评分为 5.7 分。相比较胡歌之前《琅琊榜》的 9.1,《伪装者》的 8.3 等来说,这一评分确实不高。有趣的是,首页的评分比例与“短评”、“剧评”的比例存在转载 2017-11-27 14:07:57 · 343 阅读 · 0 评论 -
使用 python 来操作 redis 用法详解
1、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(or Redis数据库)时,就转载 2017-12-06 09:12:14 · 12159 阅读 · 0 评论 -
Windows 下 Anaconda 的安装和简单使用
Anaconda is a completely free Python distribution (including for commercial use and redistribution). It includes over 195 of the most popularPython packagesfor science, math, engineering, data ana转载 2017-11-13 09:45:39 · 499 阅读 · 0 评论 -
17 个新手常见 Python 运行时错误
当初学 Python 时,想要弄懂 Python 的错误信息的含义可能有点复杂。这里列出了常见的的一些让你程序 crash 的运行时错误。1)忘记在 if , elif , else , for , while , class ,def 声明末尾添加 :(导致 “SyntaxError :invalid syntax”)该错误将发生在类似如下代码中:if spam == 4转载 2017-10-11 16:27:33 · 715 阅读 · 0 评论 -
基于 Gensim 的 Word2Vec 实践
Word2Vec基于 Gensim 的 Word2Vec 实践,从属于笔者的程序猿的数据科学与机器学习实战手册,代码参考gensim.ipynb。推荐前置阅读Python语法速览与机器学习开发环境搭建,Scikit-Learn 备忘录。Word2Vec TutorialGetting Started with Word2Vec and GloVe转载 2017-09-07 15:49:18 · 795 阅读 · 0 评论 -
Python 使用 pip 升级所有包
pip 当前内建命令并不支持升级所有已安装的Python模块。列出当前安装的包:pip list列出可升级的包:pip list --outdate升级一个包:pip install --upgrade requests // mac,linux,unix 在命令前加 sudo -H升级所有可升级的包:$ pip freeze --local | grep -v '^原创 2017-09-14 15:16:49 · 61854 阅读 · 0 评论