Han_python的博客

原创 Matploblib库

基本绘图plotargs kwargs plot([x], y, [fmt], data=None, **kwargs) plot([x], y, [fmt], [x2], y2, [fmt2], ..., **kwargs)[fmt] 可以用来设置线条样式和颜色plt.plot中的data参数可以为一个字典或者DataFrame对象，然后子啊x和y上指定列的名字。plt.plot('a','b','',data = data1 )y1 = [np.random.randint(0,1

原创 pandas小结

原创 numpy小结

原创 python数据分析77-79

分组和聚合

原创 python数据分析72 -76

数据规整pd.merge()如果没有对应的key值，而索引可以对应，可以设置按索引链接：需要着重记住 left_on 和 right_index 两个参数join()要求两组数据没有重叠的列pd.concat()np.concatenate()pd.cancat()默认axis = 0join默认为outerSeries合并时查看索引有无重复pd.concat([data1,data2],axis = 1)...

原创 python数据分析68-71

字符串操作append方法注意事项split()分隔strip()去空白字符join() 方法‘a’ in data # a是否在data中data.index('a') #返回a的索引data.find('a') # 查找a，找到则返回索引下标位置，没有找到返回-1val.replace('a','b') #将a替换为b正则表达式要使用正则表达式，需要导入re模块 import rere.split()re.compile()将经常用到的正则表达

原创 python数据分析63-67

数据准备replace()函数两种等价的写法

原创 python数据分析61-62 重点

数据处理使用data.duplicated()方法可以判断数据是否重复使用data.drop_duplicates()可以删除重复行，默认检测所有列，也可以指定data.drop_duplicates(['k1']) 以k1列来判断利用映射进行数据转换可以使用lower()函数，取出food类型，简化对应关系的建立还可以使用lambda函数进一步简化：lambdamap...

原创 python数据分析59-60

数据加载与处理编码报错read_csv 默认分隔符为逗号read_table 默认分隔符为换行符因此，会把逗号也读取出来，我们可以设置

原创 pandas数据分析49-58

对齐运算

原创 python数据分析41-48

Pandas的索引操作Series和DataFrame中的索引都是Index对象索引对象不可变，保证了数据的安全常见的Index种类：Index索引Int64Index，整数索引MultiIndex，层级索引DatetimeInex，时间戳类型变更索引：reindexSeries：DataFrame：增加索引：Series:s1['a'] = 2如果想要在不改变原有对象的基础上增加一个索引，需要使用append()方法s3= s1.append(s2)

原创 python数据分析pandas 33-40

PandasPandas的数据结构，主要包含两个，Series和DataframeSeriesSeries 是一种一维标记的数组型对象，能够保存任何数据类型，包含数据和索引。创建方法：使用列表 s1 = pd.Series([1,2,3,4])使用数组s1 = pd,Series(np.arange(1,10))Series的首字母大写可以指定索引s2 = pd.Series([1,2,3,4],index=[“a”,“b”,“c”,“d”]) ，但索引长度必须相同还可以通过字典

原创 python数据分析25-32

np.random模块np.random.seed生成随机数时候的种子np.random,rand()产生一个0-1之间的随机数np.random.rand(2,3)生成一个两行三列的0-1之间的随机数数组np.random.randn()生成均值为0，标准差为1的标准正态分布np.random.randint(1,20,size=(3,4))随机整数np.random.choice([2,3,1,4],2) 从一个列表或者数组中随机采样，采样个数可以通过参数指定np.random.sh

原创 python数据分析22-24

空值处理NAN和INF值处理NAN： not a number 属于浮点类型INF: infinity 无穷大，也属于浮点类型NAN和NAN不相等NAN和任何值做运算，结果都是NAN删除NAN直接删除空值用np.isnan()函数来判断空值然后使用布尔索引的方法来取出空值加~表示取反删除空值后，数组会变成一维数组删除空值所在的行...

原创 python数据分析18-21

文件操作操作csv文件

原创 python数据分析10-17

数组的值替换数组值的替换有三种方法：使用索引或者切片来替换使用条件来替换使用where函数来替换条件判断bool索引布尔索引可以返回一个包含true和false的同纬度的数组& 与|或切片的方式where函数需要传入一个条件和两个参数，将满足条件的用第一个参数来替换，不满足的用第二个替换数组的运算数组与数的运算因为数组有广播机制，所以直接在数组上运算即可a = a*2数组与数组的运算数组之间要实现运算，需要满足下面三个条件中的任意一个两个数组有相同的s

原创 python数据分析1-9

Anaconda集成了python3及一些库的安装包，镜像网址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda prompt 是专门用来操作anaconda的终端Jupyter notebook 的使用 ：先打开 Anaconda Prompt终端，然后进入项目所在目录比如先输入D: 切换盘符cd 接 对应目录输入jupyter notebook 即可进入jupyter notebook 工作环境创建新

原创 tableau总结

原创 tableau12-14

网络图网络图的数据源中需要有 关联关系 比如成对的数字将数据拖入选择 – 线将关联数据拖入路径中如果想要制作带标签的图，需要制作双轴图复制一行，将另一张图选为形状线路图将线路拖入详细信息即可极坐标图太难，略...

原创 tableau 10-11

人口金字塔数据预处理：金字塔图本质上就是两个背靠背的直方图但是要实现背靠背的效果，就需要建立两个计算字段：然后创建一个年龄数据桶双击坐标轴，倒序调整方位和颜色即可漏斗图先复制一个，将其中一个设为条形图，另外一个为线图然后设置双轴、同步轴然后将两个图同时选中，同时复制，然后双轴、同步轴将左边的双轴图进行反转添加数量到标签里，然后进行添加表计算箱线图又叫做盒须图取消聚合度量 分析–取消聚合度量INCLUDE FIXED EXCLUDEDLOOKUP

原创 tableau 8-9

数据分层数据分级，需要先创建一个层级结构数据分组通过分组来创建填充地图数据集可以根据不同的方法创建数据集并且可以创建合并集还可以通过筛选器来创建集并且可以通过数据集创建分层结构计算字段生成的新的计算字段将会保存到数据源中，但是不会对原始数据产生影响粒度、聚合...

原创 tableau视频 5-7

tableau进阶内部联结，左侧，右侧，全部符号地图符号地图里面的符号，可以使用自定义的形状，需要将自定义的形状，以PNG的格式放到指定的位置。仪表板填充地图，多维地图，混合地图填充地图多维地图就是根据数据的维度来生成多个并列的地图混合地图的制作方式和环形图差不多，就是将两张图合并，并将其中一张地图的数据用符号地图来表示多边形地图导入自定义地理编码扩展、添加新的地理角色需要自定义地理编码的经纬度等数据，所导入的csv文件对格式有严格要求除了使用tableau自带的地图源

原创 tableau课程1-4（未明学院）

基本概念数据源，工作表，维度、度量值、记录数，筛选器，标记条形图直接将数据分别拖到行和列上面即可，如果数据有多个维度，还可以根据颜色不同做成堆叠图直方图创建直方图需要先创建一个数据桶将数据桶放入列，记录数放入行，即可生成直方图数据预处理数据的拆分，数据格式的转换。折线图饼图环形图使用两个饼图，将记录数都改为最小，改变两个饼图的大小，将小的饼图颜色改为白色然后给大的饼图设置标签和百分比的设置：右键，快速表计算–合计百分比如果想要用智能显示来做环形图，需要将大小从两个饼图中间删

原创 《power BI视频8 》 VAR实例和RANKX 暂停学习

VAR查询表：销售表：我们将两张表放入切片器中我们在查询表里写一个度量值VALUES的作用是返回一个不重复的表而MAX函数的作用是返回一个值，也可以换成其他函数这个案例不是很懂检查字符串是否被包含CONTAINSSTRING 和 CONTAINSSTRINGEXACT如果包含则返回TRUE是否包含 = CONTAINSSTRING(“跟着孙兴华学VBA” ， “孙?华”)CONTAINSSTRING支持通配符，不区分大小写？ 表示任何单个字符*表示任何字符序列转

原创 《power BI 视频7》六合一图表案例

案例

原创 《power BI视频6》SUMMARIZECOLUMNS CROSSJOIN CONTAINS TREATAS ROW

分组与连接函数SUMMARIZECOLUMNS函数

原创 《power BI视频5》筛选函数、转换函数、日期格式

筛选函数HASONEFILTER函数HASONEFILTER(列名) 当指定列有且只有一个由直接筛选产生的值时，返回true.此处的列只能是实体列例如：总金额 = SUM('案例2'[销售金额])外汇转人民币 = IF (HASONEFILTER('汇率'[货币]), FIRSTNONBLANK('汇率'[汇率],1)*[总金额],BLANK())将汇率中的货币放入切片器中，当货币被筛选的时候，显示第一条汇率乘以总金额，否则返回空HASONEVALUE函数判断某列是否

原创 《power BI 视频4》

条件判断销售金额 = IFERROR([销售数量]*[单价] , 替换值)如果出错，则用指定内容替换，只能返回空 blank() 或者数值IF (条件判断，成立执行，不成立执行)称呼 = IF([性别] = “男” , “先生” , “女士”)第三个参数可以省略不写，省略时返回空SWITCH 函数= SWITCH([Month],1, “January”,2, “February”,3, “March”,4, “April” ,5, “May”,6, “June”,7

原创 《power BI视频3》聚合函数、迭代函数、values 、distinct、earlier

聚合函数：AVERAGE()：忽略不可计算字符，且不计入分母AVERAGEA()：不可计算字符也计入分母最大值 = MAX([列])最小值 = MIN([列])记录数 = COUNTROWS(表)人数 = DISTINCTCOUNT(列)COUNTA ：计算列中单元格不为空的数目COUNTBLANK 计算列中单元格为空白的数量迭代函数：列 = CALCULATE(SUMX(‘表’, [列1] - [列2] ))因为迭代函数不具备筛选功能，所以需要套上一个CALCULATE函数。ave

原创 《power BI》 高级筛选器Filter 和Values人工造表 ALL 函数

FILTERFilter函数是一个迭代函数，会对筛选表进行逐行扫描，是一个表函数，会返回一个表。FILTER 函数 的第一个参数 表 ，必须是唯一值的表COUNTROWS(FILTER(表，筛选条件))CALCULATE(度量值，FILTER(表名，筛选条件1 && 条件2))如果筛选条件是列 = 值 ，则不需要用filter，但是如果筛选条件是列 = 度量值 、列 = 公式 、列 = 列 、度量值 = 度量值 、度量值 = 公式 、度量值 = 固定值，则筛选条件必须使用FI

原创 《power BI》视频1

power BI不同的运算符：&& 与|| 或not 非& 字符串连接运算新建列：销售金额 = [销售数量]*RELATED(‘商品表’[进价])LOOKUPVALUE(要取哪张表的哪一列，通过那张表上的哪一列查询，和自己表里的哪一列匹配)...

原创 《mysql视频8》小结

SQL

原创 《mysql视频7》表操作 虚拟表 创建过程 事务管理 字段约束

表操作创建表CREATE TABLE 表名 (字段名 数据类型 属性 , 字段名 数据类型 属性);表名和字段名不能重复默认允许空值，并且可以通过DEFAULT设置默认值，默认值必须是常数例如：CREATE TABLE pet2(name VARCHAR(225) NOT NULL,owner VARCHAR(225) DEFAULT 'police',species VARCHAR(225),sex CHAR(1),birth DATE,death DATE);设

原创 《mysql视频6》 增删改查

增删改查插入插入完整行和部分行 INSERT INTO 表名 VALUES (插入值) INSERT INTO 表名(列名,...) VALUES (插入值)建议使用表名加列名的方式，因为这样可以随意修改列的顺序，并且可以防止表头被修改。将SELECT语句查询结果直接插入到表中:直接把VALUES 语句替换为SELECT 语句更新（改）UPDATE 表名 SET 字段 = 值 WHERE 过滤条件多个字段之间使用逗号隔开，值可以使用表达式，过滤条件可以有一个或多个UPDATE p

原创 《mysql视频5》子查询

子查询嵌套在其他查询中的查询子查询涉及的表可以是两张不一样的表，也可以使同一张表。如果子查询得到的结果是一个常数，那么就可以把查询语句用括号括起来当做常数使用。这样的语句称为标量子查询。例如，如果想查出表中大于日用品均价的日用品条目，可用下面的子查询：SELECT * FROM pro_info AS p2WHERE p2.class = '日用品'AND p2.sale_price > ( SELECT AVG(p.sale_price) FROM pro_info A

原创 《mysql视频4》聚合函数

聚合函数计数：COUNT(*) 或者 COUNT(1) 确定表的行数COUNT([列名]) 统计非空行的个数COUNT(DISTINCT [列名]) 统计不重复的行的个数求和：SUM([列名])可以同时操作多个列，只对数值型起作用会跳过空值SELECT SUM(IFNULL(sale_price,0) - IFNULL(in_price,0)) FROM milk_tea;求均值：AVG([列名])分母不对NULL计数，可以同时操作多个列最大最小值：M

原创 《mysql视频3》数据类型

数据类型数值型：INTEGER 整数型 integer, integer(10)DEMICAL 定点型：存储固定位数小数 decimal(4,2) 4表示总长度，2表示小数点位数 四舍五入FLOAT/DOUBLE/REAL 浮点型，存储不固定位数小数 float(5,3) 五舍六入文本型：CHAR 定长字符串 CHAR(10) 空位会补足 便于按长度查找VARCHAR 可变长字符串 VARCHAR(100) 动态分配日期型：DATE Y-m-dTIME H:i:s

原创 《mysql视频2》语句类型，单表查询

语句类型DDL数据定义语言：创建、删除数据库和表等对象CREATE 创建数据库和表等对象DROP 删除数据库和表等对象ALTER 修改数据库和表等对象的结构DML数据操纵语言：查询、变更表中的记录：SELECT 查询表中数据INSERT 插入新数据UPDATE 更新表中数据DELETE 删除表中数据DCL数据控制语言：确认、取消对数据库中数据的更改COMMIT 将SQL语句的执行结果写入数据库表中ROLLBACK 撤销SQL语句的执行结果重点是DML数据操纵语言

原创 《Mysql视频1》认识mysql

MySQLmysql -u root -pshow databases;create database Name;use Name;

原创 《Excel10》总结