Python
hawkzy
这个作者很懒,什么都没留下…
展开
-
python时间处理
strftime和strptimestrftime()函数是用来格式化一个日期、日期时间和时间的函数,支持date、datetime、time等类,把这些日期、日期时间或时间通过格式字符要求格式为字符串表示。相反strptime()函数就是从字符串表示的日期时间按格式化字符串要求转换为相应的日期时间。以1970年1月1日开始的秒的处理import timetimeofsecond...原创 2018-08-13 14:10:39 · 368 阅读 · 0 评论 -
Python代码行统计脚本
一个超简单的Python代码行统计程序:python2版本:# -*- coding:utf8 -*-import osimport syssys.getdefaultencoding()sumline = 0endsuffix = ['py']# 将下面的路径换成你本地要统计的路径path = r'E:\VAL\validation\Automatic_Test'fo...原创 2018-08-28 21:59:03 · 598 阅读 · 0 评论 -
pandas.DataFrame.apply方法的典型应用
很多情况下我们需要对DataFrame数据进行清洗,此时apply方法可以起到非常高效的作用。。例如有这样一组数据:In [18]: d = pd.DataFrame(np.random.random((10, 5)))In [19]: dOut[19]: 0 1 2 3 40 0.792077 0.607113...原创 2018-12-19 23:55:05 · 3208 阅读 · 0 评论 -
根据已有DataFrame创建df对象的方法
先生成一个df对象:m = pandas.DataFrame(numpy.random.random((10, 5)))m.columns = ['a', 'b', 'c', 'd', 'e']下面几种方法产生的对象id跟m都不一样。# 第一种方法n = pandas.DataFrame(m)# 第二种方法o = pandas.DataFrame(m[['a','c']])# ...原创 2018-12-20 00:07:09 · 4228 阅读 · 1 评论 -
利用pandas.DataFrame.isna方法做替换(很棒的技巧)
应用背景data是一个pandas.DataFrame数据对象,是从mysql读取的数据。由于有的列在数据库是int类型,而且有空值(Null),因此在从数据库抽取到df对象后,pandas自动将int转成float,比如10变成了10.0,15902912345变成了1.5902912345E10,Null变成了NaN。这种列由于存在NaN,因此不能用DataFrame.astype()方法转...原创 2018-12-20 00:39:18 · 9115 阅读 · 0 评论 -
Pandas数据比较——“==”的妙用
pandas 的优势,再大、再复杂的表,一个“==”即可实现比较,非常方便!In [40]: d1Out[40]: 0 1 2 3 4 s0 0.166063 0.643387 0.890301 0.960277 0.289727 year1 0.678300 0.90556...原创 2019-01-17 18:11:58 · 4094 阅读 · 2 评论 -
Windows10下配置大数据开发环境(3) - 安装Spark,PySpark
一 预备条件下载安装scale:Scala 2.12.7https://www.scala-lang.org/download/all.html二 安装spark下载安装spark:http://spark.apache.org/downloads.html三 配置先配置系统环境变量安装用start-all.cmd启动hadoop,先确认/tmp/hive存在:D:\ha...原创 2019-01-14 11:17:09 · 849 阅读 · 0 评论 -
Python copy & deepcopy 的比较
先看下copyIn [1]: d1 = {'a':1, 'b':2, 'c':{'c1':3.1, 'c2':3.2, 'c3':{'c31':3.31,'c32':3.32}}, 'd':[41,42,43,[441,442]]}In [3]: d1Out[3]:{'a': 1, 'b': 2, 'c': {'c1': 3.1, 'c2': 3.2, 'c3': {'c31': 3...原创 2019-01-15 20:46:23 · 175 阅读 · 0 评论 -
巧用Pandas筛选数据
初始化数据如下In [6]: name = ['alex', 'sam', 'tom', 'nick', 'jack']In [76]: dataOut[76]: 0 1 2 3 name0 0.463155 0.539862 0.519511 0.327331 alex1 1.000000 0.949...原创 2019-01-31 23:24:10 · 643 阅读 · 0 评论