Python
猪笨是念来过倒
猪是念来过倒
展开
-
Python3学习(六十二):方差、标准差和协方差三者之间的定义与计算
转载自:博客园:寻自己https://www.cnblogs.com/xunziji/p/6772227.html?utm_source=itdadao&utm_medium=referral理解三者之间的区别与联系,要从定义入手,一步步来计算,同时也要互相比较理解,这样才够深刻。方差方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中,方差(英文Varia...原创 2019-07-18 09:55:46 · 7573 阅读 · 1 评论 -
Python3学习(四十五):python中os.path.join和join的区别
1、join函数用法:用于连接字符串数组。将字符串、元组、列表中的元素以指定的字符(即分隔符)连接生成一个新的字符串一般用在列表转字符串语法:'sep'.join(seq)参数说明:sep:分隔符,可以为空;seq:要连接的元素序列、字符串、元组、字典等返回值:返回一个以分隔符sep连接各个元素后生成的新字符串 2、os.path.join函数用法:将多个路径组合后...原创 2019-02-18 13:44:53 · 1386 阅读 · 0 评论 -
Python3学习(四十一):判断某路径下目录是否存在,如不存在创建目录
由于某程序每天需要向自定义路径中写入日志文件,且每天的日志文件都保存在日期为目录的下面。所以每天需要创建一个当日命名的目录。这样可以实现程序的自动化,不用每日进行启动。其中每日自动创建新目录的代码如下:import osfrom datetime import datetimelog_time = datetime.now().strftime('%Y-%m-%d')log_...原创 2019-01-23 11:04:18 · 3704 阅读 · 1 评论 -
Python3学习(四十):python中的subprocess.Popen()使用
从python2.4版本开始,可以用subprocess这个模块来产生子进程,并连接到子进程的标准输入/输出/错误中去,还可以得到子进程的返回值。subprocess意在替代其他几个老的模块或者函数,比如:os.system os.spawn* os.popen* popen2.* commands.*一、subprocess.Popensubprocess模块定义了一个类: Popencl...原创 2019-01-23 10:43:22 · 10738 阅读 · 2 评论 -
Python3学习(四十四):pandas中Dataframe索引.ix,.iloc,.loc的使用以及区别
原文链接:https://blog.csdn.net/qq1483661204/article/details/77587881作者:ML_BOY 1 定义一个pandas的DataFrame对像import pandas as pddata = pd.DataFrame({'A':[1,2,3],'B':[4,5,6],'C':[7,8,9]},index=["a","b","...原创 2019-02-14 16:31:07 · 4082 阅读 · 1 评论 -
Python3学习(四十三):Python如何将自己写的代码打包供他人使用
转载自https://www.cnblogs.com/smileyes/p/7657591.html原作者:smileyes背景: 利用setuptools来实现,所以先安装setuptools,其实Python2.7.9及之后的版本都自带安装setuptools了,无需在另外安装如果没有安装setuptools的直接下载源码包解压安装就行了示例:以linux环境为例1.创建文...原创 2019-02-14 16:17:25 · 2468 阅读 · 0 评论 -
Python3学习(三十六):Python处理csv文件
Python处理csv文件CSV(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。由于是纯文本,任何编辑器也都可打开。与Excel文件不同,CSV文件中:值没有类型,所有值都是字符串 不能指定字体颜色等样式 不能指定单元格的宽高,不能合并单元格 没有多个工作表 不能嵌入图像图表在CSV文件中,以,作为分隔符,分隔两个单元格。像这样a,,c表示...原创 2019-01-15 10:39:27 · 4557 阅读 · 0 评论 -
Python3学习(三十九):如何实时操作处理日志文件
最近,需要对日志文件进行实时数据处理。一、简单的实时文件处理(单一文件)假设我们要实时读取的日志的路径为: /data/mongodb/shard1/log/pg.csv那么我们可以在python文件中使用shell脚本命令tail -F 进行实时读取并操作代码如下:import reimport codecsimport subprocessdef pg_data_...原创 2019-01-02 10:15:42 · 4652 阅读 · 0 评论 -
Python3学习(三十八):如何遍历一个目录下的同类型文件(csv、log等)
背景:最近需要对一些csv日志进行数据格式转换,转化后接入统一的ELK日志。但是csv文件比较繁多,当大小每到21M的时候,就会根据时间写入到新的csv文件中,一天将近有1000+个文件。那么如何对某目录下的所有同类型文件进行遍历操作呢?我们以csv文件为例。import reimport osimport jsonimport codecspath = '/home/...原创 2018-12-29 15:01:17 · 1410 阅读 · 0 评论 -
Python3学习(三十七):python中的click模块详解
Click模块click模块是Flask的作者开发的一个第三方模块,用于快速创建命令行。它的作用与Python标准库的argparse相同,但是,使用起来更简单。基本使用Click对argparse的主要改在在于易用性,使用click模块主要分为两个步骤:使用@click.command() 装饰一个函数,使之成为命令行接口 使用@click.option() 等装饰函数,为其添...原创 2018-10-16 10:26:25 · 6602 阅读 · 0 评论 -
Python3学习(三十三):python使用post方式传递参数
#!/usr/bin/env python# -*- coding: utf-8 -*- import requestsimport json url = 'http://official-account/app/messages/group'body = {"type": "text", "content": "测试文本", "tag_id": "20717"}head原创 2018-09-14 15:46:23 · 11789 阅读 · 0 评论 -
Python3学习(三十五):python从mongo中取数据,使用pandas.DataFrame进行列操作并转字典
使用该操作的具体场景(一般与mongo相结合):比如mongo中存了几万条数据,需要将mongo中的数据取出来,并对其中的一列进行相关操作,最后转化为字典格式。具体代码实现如下:import pandas as pdimport pymongoimport 你的操作函数list_tmp = []####################### 连接mongo数据库 ##...原创 2018-09-25 11:14:08 · 2857 阅读 · 1 评论 -
Python3学习(三十四):python正常时间戳与Unix时间之间的相互转换
对于时间数据,如2018-09-25 09:28:59,有时需要与时间戳进行相互的运算,此时就需要对两种形式进行转换,在Python中,转换时需要用到time模块,具体的函数如下:其中unix_time函数是正常时间转unix时间,local_time是unix时间转正常时间。import timedef unix_time(dt): #转换成时间数组 timeArr...原创 2018-09-25 10:54:16 · 5271 阅读 · 0 评论 -
Python3学习(三十二):python中self用法详解
Python编写类的时候,每个函数参数第一个参数都是self,一开始我不管它到底是干嘛的,只知道必须要写上。后来对Python渐渐熟悉了一点,再回头看self的概念,似乎有点弄明白了。首先明确的是self只有在类的方法中才会有,独立的函数或方法是不必带有self的。self在定义类的方法时是必须有的,虽然在调用时不必传入相应的参数。self名称不是必须的,在python中self不是关键词...原创 2018-09-14 15:29:10 · 9040 阅读 · 6 评论 -
Python3学习(四十二):查找列表中重复元素的个数
方法一:mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist)for item in myset: print("the %d has found %d" %(item,mylist.count(item)))the 1 has found 1the 2 has found 4the 3 has found 3t...原创 2019-02-14 10:48:30 · 12468 阅读 · 0 评论 -
Python3学习(四十六):使用python发送邮件
import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipart sender = 'xxxx@myhexin.com'smtpserver = 'mail.myhexin.com'username = 'xxxx'password = 'xxxxxxxx...原创 2019-03-05 17:08:00 · 998 阅读 · 0 评论 -
Python3学习(四十七):Python判断一个字符串是否包含指定字符串的方法
成员操作符 inzimu= "ABCDEFGHIJKLMNOPQRSTUVWXYZ"zi= "CD"result = zi in zimuprint(result)结果:True使用string模块的find() rfind index() rindex()str.find(str1, beg=0, end=len(string))检...原创 2019-03-06 10:31:01 · 30112 阅读 · 1 评论 -
Python3学习(六十一):Python对Tornado请求与响应的数据处理
获取查询字符串参数get_query_argument(name, default=_ARG_DEFAULT, strip=True)从请求的查询字符串中返回指定参数name的值,如果出现多个同名参数,则返回最后一个的值;default为路由中未传name参数时返回的默认值,如default未设置,则会抛出tornado.web.MissingArgumentError异常;str...原创 2019-07-03 10:10:31 · 1930 阅读 · 0 评论 -
Python3学习(五十九):Python的Tornado框架的异步任务与AsyncHTTPClient
转载自http://www.php.cn/python-tutorials-284773.html高性能服务器TornadoPython的web框架名目繁多,各有千秋。正如光荣属于希腊,伟大属于罗马。Python的优雅结合WSGI的设计,让web框架接口实现千秋一统。WSGI 把应用(Application)和服务器(Server)结合起来。Django 和 Flask 都可以结合 g...原创 2019-06-24 11:09:24 · 3460 阅读 · 1 评论 -
Python3学习(六十):Python使用uuid生成唯一标识ID
uuid是128位的全局唯一标识符(univeral unique identifier),通常用32位的一个字符串的形式来表现。有时也称guid(globalunique identifier)。python中自带了uuid模块来进行uuid的生成和管理工作。python中的uuid模块基于信息如MAC地址、时间戳、命名空间、随机数、伪随机数来uuid。具体方法有如下几个:uuid....原创 2019-07-02 16:45:13 · 10290 阅读 · 0 评论 -
Python3学习(五十六):Python忽略Warning的输出
有时候运行一些旧版本代码时会有很多warning输出,如果不想这些乱糟糟的输出,我们可以使用warning模块:import warningswarnings.filterwarnings('ignore')原创 2019-06-03 20:11:03 · 3595 阅读 · 0 评论 -
Python3学习(五十八):Python的赋值、深拷贝与浅拷贝的区别
在python中,给一个对象赋值,实际上就是对象对内存空间存储的值的引用。当我们把对象赋值给另一个变量的时候,这个变量并没有拷贝这个对象,而只是拷贝了这个对象的引用而已。一般情况下我们会通过三种方法来实现拷贝对象的引用。直接赋值直接赋值,默认浅拷贝传递对象的引用而已,原始列表改变,被赋值的变量也会做相同的改变。其实就是对‘对象’的引用示例:>>> list_...原创 2019-06-19 14:45:25 · 465 阅读 · 0 评论 -
Python3学习(五十七):多个python文件调用logging模块可能产生的错误
python logging模块主要是python提供的通用日志系统,使用的方法其实挺简单的,这块就不多介绍。下面主要会讲到在使用python logging模块的时候,涉及到多个python文件的调用,而每个文件设置了对应的logging方式不同,可能会产生的令人困惑的现象。下面以自己在开发的时候遇到的问题作为叙述的背景:有三个python模块A、B、C。主模块A会import B...原创 2019-06-12 15:38:15 · 5639 阅读 · 0 评论 -
Python3学习(五十四):confluent-kafka模块的使用
coufluent-kafka是Python模块,是对librdkafka的轻量级封装,librdkafka又是基于c/c++的kafka库,性能上不必多说。使用上要优于kafka-python。confluent-kafka-python是Confluent用于Apache Kafka和Confluent Platform的Python客户端。特征: 高性能- confluen...原创 2019-05-23 20:31:25 · 8871 阅读 · 0 评论 -
Python3学习(五十五):Click模块的使用
Click是 Flask 的团队 pallets 开发的优秀开源项目,它为命令行工具的开发封装了大量方法,使开发者只需要专注于功能实现。恰好我最近在开发的一个小工具需要在命令行环境下操作,就写个学习笔记。国际惯例,先来一段 “Hello World” 程序(假定已经安装了 Click 包)。 1234567891011121314 ...原创 2019-05-27 10:49:33 · 3671 阅读 · 1 评论 -
Python3学习(五十二):python连接mongo集群
1.简单的测试用例#!/usr/bin/python# -*- coding: UTF-8 -*-import timefrom pymongo import MongoClient# 连接单机# single mongo# c = MongoClient(host="192.168.89.151", port=27017)# 连接集群c = MongoClient('mon...原创 2019-05-13 16:26:09 · 1476 阅读 · 0 评论 -
Python3学习(五十三):python判断变量是否为int、字符串、列表、元组、字典的方法
a = 1b = [1,2,3,4]c = (1,2,3,4)d = {'a':1, 'b':2, 'c':3}e = "abc"if isinstance(a,int): print ("a is int")else: print ("a is not int")if isinstance(b,list): print ("b is list")else...原创 2019-05-17 16:45:48 · 3411 阅读 · 0 评论 -
Python3学习(五十一):python yield生成器的使用
从最常见的裴波那切数列说起斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常简单的问题,许多初学者都可以轻易写出如下函数:清单 1. 简单输出斐波那契數列前 N 个数 def fab(max): n, a, b = 0, 0, 1 while n ...原创 2019-04-10 14:37:45 · 1178 阅读 · 0 评论 -
Python3学习(五十):python字符串/元组/列表/字典互转
#-*-coding:utf-8-*- #1、字典dict = {'name': 'Zara', 'age': 7, 'class': 'First'}#字典转为字符串,返回:<type 'str'> {'age': 7, 'name': 'Zara', 'class': 'First'}print type(str(dict)), str(dict)#字典可以转为元...原创 2019-03-07 16:04:25 · 1304 阅读 · 0 评论 -
Python3学习(四十九):制作python包为wheel文件
wheel是一个已经编译好的包,在安装时不需要编译过程,安装whl文件时要比发布的源文件安装要快。在如上第2步后,输入如下命令即可在生成.whlpython setup.py bdist_wheel...原创 2019-03-07 15:33:01 · 4742 阅读 · 2 评论 -
Python3学习(四十八):python中获取python版本号的方法
#!/usr/bin/python # 第1种方法import platform print(platform.python_version())3.6.3# 第2种方法import sys print(sys.version)print(sys.version_info)print(sys.version_info.major)3.6.3 (v3.6.3:2c5fe...原创 2019-03-06 14:34:42 · 3093 阅读 · 0 评论 -
Python3学习(三十一):python 读取csv的某行
csv是Comma-Separated Values的缩写,是用文本文件形式储存的表格数据,比如如下的表格:就可以存储为csv文件,文件内容是:No.,Name,Age,Score1,Apple,12,982,Ben,13,973,Celia,14,964,Dave,15,95假设上述csv文件保存为"A.csv",如何用Python像操作Excel一样提取其中的一行,也就是一条...原创 2018-08-15 11:31:56 · 2834 阅读 · 0 评论 -
Python3学习(三十):python连接mysql数据库及相关操作
Python3 MySQL 数据库连接本文我们为大家介绍 Python3 使用 PyMySQL 连接数据库,并实现简单的增删改查。什么是 PyMySQL?PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python My...原创 2018-08-03 10:11:37 · 764 阅读 · 0 评论 -
Python3学习(十四):将列表中的元素转化为数字并排序
本文实例讲述了Python中列表元素转为数字的方法。分享给大家供大家参考,具体如下:有一个数字字符的列表:numbers = ['1', '2', '3', '4']想要把每个元素转换为数字:numbers = [1, 2, 3, 4]1. Python2.x,可以使用map函数:numbers = map(int, numbers)2. Python3.x,map返回的是map对象,当然也可以转...原创 2018-06-06 11:45:19 · 14984 阅读 · 0 评论 -
Python3学习(七):引用(import)文件夹下的py文件的方法
Python的import包含文件功能就跟PHP的include类似,但更确切的说应该更像是PHP中的require,因为Python里的import只要目标不存在就报错程序无法往下执行。要包含目录里的文件,PHP中只需要给对路径就OK。Python中则不同,下面来看看这个例子。目录结构:一、a.py 要 import dir目录下的 b.py 文件。a.py代码如下:# c...原创 2018-05-29 14:38:53 · 74133 阅读 · 3 评论 -
Python3学习(五):从字符串中提取数字
使用正则表达式,用法如下:12345678910111213## 总结## ^ 匹配字符串的开始。## $ 匹配字符串的结尾。## \b 匹配一个单词的边界。## \d 匹配任意数字。## \D 匹配任意非数字字符。## x? 匹配一个可选的 x 字符 (换言之,它匹配 1 次或者 0 次 x 字符)。## x* 匹配0次或者多次 x 字符。## x+ 匹配1次或者多次 x 字符。## x{n,m...原创 2018-05-29 13:58:45 · 23335 阅读 · 1 评论 -
Python3学习(十三):Print如何在输出中插入变量
如果想在打印的字符串中的任意地方加入任意的变量,可以使用python的格式化输出。用例如下:s = 'Hello' x = len(s) print("The length of %s is %d" % (s,x)) #Print :The length of Hello is 5 下面是关于格式化输出的一些总结:(1). %字符:标记转换说明符的开始(2). 转换标志:-表示左对...原创 2018-06-05 11:35:47 · 54314 阅读 · 1 评论 -
Python3学习(十二):求两个list的差集、并集与交集
在python3对列表的处理中,会经常使用到Python求两个list的差集、交集与并集的方法。下面就以实例形式对此加以分析。一.两个list差集如有下面两个数组:a = [1,2,3]b = [2,3]想要的结果是[1]下面记录一下三种实现方式:1. 正常的方式ret = []for i in a: if i not in ...原创 2018-06-05 10:43:27 · 68650 阅读 · 13 评论 -
Python3学习(四):字符串和列表和字典的相互转化
1.str >>>list [python] view plain copystr1 = "12345" list1 = list(str1) print list1 str2 = "123 sjhid dhi" list2 = str2.split() #or list2 = str2.split(" ") print list2 str3 = "www.g...原创 2018-05-29 10:42:59 · 11142 阅读 · 0 评论 -
Python3学习(十一):如何初始化不同的变量类型为空值
常见的数字,字符,很简单,不多解释。 列表List的其值是[x,y,z]的形式 字典Dictionary的值是{x:a, y:b, z:c}的形式 元组Tuple的值是(a,b,c)的形式所以,这些数据类型的变量,初始化为空值分别是:数值digital_value = 0字符串str_value = "" 或 str_value = ”列表list_value = []字典ditc_value =...原创 2018-06-04 17:47:52 · 2609 阅读 · 0 评论