健康平安的活着的专栏

原创 ？？？？python待解决的问题----------赋值后，原对象为何跟着变新对象内容变？？？？？？？？？？

疑问二：y=p['fliers'][0].get_ydata().sort();为何连着写y就为none，分开写没有问题y = p['fliers'][0].get_ydata();y.sort();

原创 数据分析 各种第三方lib库的介绍

原创 python 之文件 编码问题

如果脚本中带有中文（中文注释或者中文字符串，中文字符串要在前面加u），那么需要在文件头注明编码，并且还要将脚本文件保存为UTF-8的编码格式...

原创 运筹学-运输问题-最小元素法

原创 运筹学-运输问题-付格尔法

原创 查看某个时间段内某个关键词的日志内容的命令

sed -n '/2020-01-10 02:10:00/,/2020-01-10 02:11:01/p' oms_timer.log|grep 'DailyBeforeLast30DaysOrderUserTask'

原创 idea中查看git的分支版本

第二步：点击刷新，按钮，就能更新到最新的各种分支了

原创 数据分析-day06-pandas-dataFrame的set_index 详解

DataFrame可以通过set_index方法，可以设置单索引和复合索引。set_index( ) 将 DataFrame 中的列转化为行索引。默认的，当列变成行索引之后，原来的列就没了，但是可以通过设置drop来保留原来的列。 DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrit...

原创 数据分析-day06-pandas-dataFrame案例分析4：使用PeriodIndex将离散组成pandas的时间序列，然后统计不同时间段，两个地方的pm值走势

数据集：代码：# -*- coding: utf-8 -*-# @File : pandas_dataframe_periodIndex_demo.py# @Date : 2020-01-07 15:59# @Author : adminimport pandas as pdfrom matplotlib import pyplot as pltimpo...

原创 数据分析-day06-pandas-dataFrame案例分析3：统计不同月份不同类型的条数

# -*- coding: utf-8 -*-# @File : pandas_dataframe_class_datatime_total_demo.py# @Date : 2020-01-07 14:27# @Author : admin'''不同月份不同类型的统计次数'''import pandas as pdfrom matplotlib import ...

原创 数据分析-day06-pandas-dataFrame案例分析2：统计不同月份的通话次数

# -*- coding: utf-8 -*-# @File : pandas_dataframe_datatime_group_demo.py# @Date : 2020-01-06 21:30# @Author : adminimport pandas as pdfrom matplotlib import pyplot as pltimport numpy a...

原创 数据分析-day06-pandas-dataFrame案例分析1（方法二）：获取title字段中包含物流运输业名称作为分类，统计各个分类的条数，

# -*- coding: utf-8 -*-# @File : pandas_dataframe_add_new_class_demo.py# @Date : 2020-01-06 17:49# @Author : adminimport pandas as pdfrom matplotlib import pyplot as pltimport numpy as...

原创 数据分析-day06-pandas-dataFrame案例分析1（方法一）：获取title字段中包含物流运输业名称作为分类，统计各个分类的条数

数据格式：目的数据：目的：获取title字段中包含物流运输业名称作为分类，统计各个分类的条数# -*- coding: utf-8 -*-# @File : pandas_dataframe_classs_sum_demo.py# @Date : 2020-01-06 16:38# @Author : admin'''获取title字段中包含物流运...

原创 mysql中update case when的使用

set @beginTime='2019-12-07 00:00:00'; set @endTime='2020-01-05 23:59:59';update users_jianfu as a inner join (select user_id,user_order_num from user_orders_last30days_temp order by user_id a...

原创 数据分析-day05-pandas-dataFrame的时间的重采样

重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样 pandas提供了一个resample的方法来帮助我们实现频率转化#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_resample_demo.p...

原创 数据分析-day05-pandas-dataFrame的时间序列、字符串转换成时间序列

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_timeseries_demo.py@time: 2020-01-05 下午 5:27'''import stringimport pandas as pdimport numpy as np#默认按天a=pd.da...

原创 数据分析-day04-pandas-dataFrame的总结

原创 数据分析-day04-pandas-dataFrame的综合案例三：不同年份书的数量和不同年份书的平均评分情况

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_cases3.py@time: 2020-01-05 下午 4:101.不同年份书的数量2.不同年份书的平均评分情况'''import pandas as pdfrom matplotlib imp...

原创 数据分析-day04-pandas-dataFrame的综合案例二：统计中国每个城市的店铺数量

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_cases2.py@time: 2020-01-05 下午 3:54统计中国每个城市的店铺数量'''import pandas as pdfrom matplotlib import pyplot as...

原创 数据分析-day04-pandas-dataFrame的综合案例一：店铺总数排名前10的国家

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_cases1.py@time: 2020-01-05 下午 3:25本案例是统计:店铺总数排名前10的国家'''import pandas as pdfrom matplotlib import ...

原创 数据分析-day04-pandas-dataFrame、series的复合索引的操作

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_series_index_demo.py@time: 2020-01-05 下午 1:33'''import pandas as pd;import numpy as npa = pd.Dat...

原创 数据分析-day04-pandas-dataFrame中索引和复合索引的操作

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_index_demo.py@time: 2020-01-05 上午 11:14'''import pandas as pd;import numpy as npdf=pd.DataFrame(np.ar...

原创 数据分析-day04-pandas-dataFrame中group by分组与聚合

源数据:分组后:grouped = df.groupby(by="columns_name")grouped是一个DataFrameGroupBy对象，是可迭代的grouped中的每一个元素是一个元组 ,元组里面是（索引(分组的值)，分组之后的DataFrame）#!usr/bin/env python#-*- coding:utf-8 _*-'''@autho...

原创 数据分析-day04-pandas-dataFrame中查询数据与修改赋值修改语句（r=df[df["z"]==6] & df["z"]=6)

#!usr/bin/env python#-*- coding:utf-8 _*-'''@author:Administrator@file: pandas_dataframe_compare_demo.py@time: 2020-01-05 上午 10:19'''import pandas as pd;import numpy as npdf=pd.DataFrame(np....

原创 数据分析-day04-pandas-dataFrame的join-merge 合并数据

join:按行索引进行合并，行的索引名称必须一样,:默认情况下他是把行索引相同的数据合并到一起merge:按照指定的列把数据按照一定的方式合并到一起,默认的合并方式inner默认的合并方式inner，并集merge outer，交集，NaN补全merge left，左边为准，NaN补全merge right，右边为准，NaN补全#!usr/bin/env python#-*- ...

原创 数据分析-day04-pandas-dataFrame字符串离散化，将一维字符串截取转换成矩阵，实现可视化展示

实现要求：将左边的图例转成右边矩阵的样子技术关键点：1.获取去重分类列表2.构建全0矩阵3.遍历赋值zero_array.loc[m, d_list[m]] = 1 #等同于 # zero_array.loc[m, ['Action', 'Adventure', 'Sci-Fi']] = 1#!usr/bin/env python#-*- coding:ut...

原创 数据分析-day03-pandas-dataFrame的抽取某列数据，将float转换int型，实现直方图显示

#float转换成整型d_num=d_num.astype(int);# -*- coding: utf-8 -*-# @File : pandas_dataframe_zhifang_demo.py# @Date : 2020-01-04 12:37# @Author : adminimport pandas as pdimport numpy as np...

原创 数据分析-day03-pandas-dataFrame的统计函数

# -*- coding: utf-8 -*-# @File : pandas_dataframe_total_demo.py# @Date : 2020-01-04 11:52# @Author : admin'''统计函数'''import pandas as pdimport numpy as npfile_path = "../../data/I...

原创 数据分析-day03-pandas-dataFrame获取dataframe某行某列的数据

#将第一行的2列设置为nand.iloc[1,1]=np.nan;d.iloc[3,3]=np.nan;#第二种方式#dataframe获取某行某列的数据print(df.loc[1,["Actors"]])

原创 数据分析-day03-pandas-dataFrame的确失值的处理

判断数据是否为NaN：pd.isnull(df),pd.notnull(df) 处理方式1：删除NaN所在的行列dropna (axis=0, how='any', inplace=False) 处理方式2：填充数据，t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)# -*- coding: utf-8 -*-# @File ...

原创 mysql 在指定字段后新加一个字段

ALTER TABLE user_orders_last30days_temp ADD COLUMN `analysis_flag` int(5) DEFAULT 0 COMMENT '记录不同类别数据分析后的标记状态，默认值为0,[注册时间>30天(>=1&<=3单)]:10,[注册时间>30天(>3单)]:20,[注册时间<30天(>=1...

原创 数据分析-day03-pandas-dataFrame的bool 索引使用

print(df["Count_AnimalName"]>10) #打印出都是true，falseprint(df[df["Count_AnimalName"]>10]) #获取数据注意这两个不同写法，代表不同功能# @File : pandas_dataframe_boolindex_demo.py# @Date : 2020-01-02 20:17#...

原创 数据分析-day03-pandas-dataFrame的loc和iloc操作

df.loc 通过标签索引行数据df.iloc 通过位置获取行数据# -*- coding: utf-8 -*-# @File : pandas_dataframe_ioc_demo.py# @Date : 2020-01-02 18:07# @Author : adminimport stringimport pandas as pd;import nu...

原创 数据分析-day03-pandas-dataFrame的操作

DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同类型的值。DataFrame既有行索引也有列索引，它可以被看做是由Series组成的字典（共用同一个索引），数据是以二维结构存放的。类似多维数组/表格数据 (如，excel, R中的data.frame)每列数据可以是不同的类型索引包括列索引和行索引DataFrame对象既有行索引，又有列索引 行索引，表明...

原创 数据分析-day03-pandas-series的操作

Series是一种类似一维数组的数据结构，由一组数据和与之相关的index组成，这个结构一看似乎与dict字典差不多，我们知道字典是一种无序的数据结构，而pandas中的Series的数据结构不一样，它相当于定长有序的字典，并且它的index和value之间是独立的，两者的索引还是有区别的，Series的index是可变的，而dict字典的key值是不可变的。简而言之：series对象本质上有...

原创 数据分析-day03-pandas-概述

Pandas的名称来自于面板数据（panel data）和Python数据分析（data analysis）。Pandas是一个强大的分析结构化数据的工具集，基于NumPy构建，提供了高级数据结构和数据操作工具，它是使Python成为强大而高效的数据分析环境的重要因素之一。一个强大的分析和操作大型结构化数据集所需的工具集基础是NumPy，提供了高性能矩阵的运算提供了大量能...

原创 数据分析-day02-numpy-分析案例3：抽取数据文件中的数据进行拼接

获取最大值最小值的位置 np.argmax(t,axis=0) np.argmin(t,axis=1)创建一个全0的数组: np.zeros((3,4))创建一个全1的数组:np.ones((3,4))创建一个对角线为1的正方形数组(方阵)：np.eye(3)# -*- coding: utf-8 -*-# @File : numpy_pingjie_demo....

原创 数据分析-day02-numpy-分析案例2：抽取数据文件的部分列数据，使用直方图进行展示

抽取数据文件的部分列数据，使用直方图进行展示# -*- coding: utf-8 -*-# @File : numpy_matplot_show_demo1.py# @Date : 2020-01-01 10:22# @Author : adminfrom matplotlib import pyplot as pltimport numpy as nppri...

原创 数据分析-day02-分析案例1：将矩阵中为nan的元素替换为每一列的均值

背景要求：将矩阵中为nan的元素替换为每一列的均值：def method2(): for i in range(t.shape[1]): temp_col=t[:,i]; nan_num=np.count_nonzero(temp_col!=temp_col); #为nana的个数 print(nan_num) if nan_num &gt...

原创 数据分析-day02-numpy-求和、均值，标准差等各种函数

求和：t.sum(axis=None)均值：t.mean(a,axis=None) 受离群点的影响较大中值：np.median(t,axis=None)最大值：t.max(axis=None)最小值：t.min(axis=None)极值：np.ptp(t,axis=None) 即最大值和最小值只差标准差：t.std(axis=None)获取最大值最小值的位置 np.ar...