2020-12-01

最新推荐文章于 2022-02-15 17:50:37 发布
最新推荐文章于 2022-02-15 17:50:37 发布
阅读量78 收藏
点赞数
分类专栏： 日常笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/actnote/article/details/110421276
版权

测试了使用pd.DataFrame、np.ndarray、pd.Series、python的dict
对索引速度进行测试
df[i][o],
Series[i],
df.loc[o,i],
df.at[o,i],
np.ndarray[i,o]索引
dict[i]字典索引。
发现速度从上到下依次递增，字典比loc快了100倍，但内存占用是硬伤（约28倍）。
ndarray具有极高的性价比，速度比loc快了几十倍（字典的1/6）,且内存占用小。
但是ndarray似乎只能进行数字位置的索引，而不能进行键值对索引。
具体耗时
直接索引: 2.000201463699341
at索引: 0.5521032810211182
loc索引: 0.9783310890197754
字典索引: 0.013957738876342773
Series索引: 1.5390639305114746
np.ndarrary索引: 0.06183576583862305

聪明的笨ZY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020-12-02
north_gk的博客
12-02 625
3.创建并执行满足下列要求的存储过程。 1）查询经济性质为私营的每个法人银行贷款的总金额和平均金额。 2）查询只在指定银行贷过款的法人的名称。要求银行名称为输人参数，默认值为“工商银行北京A支行”，如果指定的银行不存在，则显示“指定的银行不存在”。 3）删除指定法人在指定日期前的贷款记录。要求法人名称和日期为输人参数，并加密此存储过程的定义。 4）查询在指定银行贷过款且贷款金额高于此银行的平均贷款金额的法人的名称、贷款日期和贷款金额。要求银行名称为输人参数，如果指定的银行不存在，则显示“指定的银行不
2020-11-01
CCIEdream的博客
11-01 3082
华为AR1220-S AR2200-S Series 系列路由器密码重置： 1、长按 RST 5秒以上或用户界面输：reboot ;设备重载加电启动，按Ctrl+B进入 bootrom 菜单(密码：huawei 或 Admin@huawei ) 2、选择 -7. Password Manager（密码管理) 3、选择 -2. Clear the console login password（清除控制台登录密码） 4、选择 -0. Return（配置完成退回视图界面命令，返回） 5、选择 -6. Reboot
Python的数据类型str、set、list、dict、tuple、Array、DataFrame等整理
lucky_chaichai的博客
05-19 2466
目录杂记排序问题：strSet：ZipListTupledictArray：Dataframe 杂记 1）iterable类型在切片时，没有越界问题。 2）判断数据类型使用： isinstance(code, float) #判断code是否为float类型 3）浮点数问题：保留小数点后两位： format(loadedAvg_sheet1, '.2f') #对loadedAvg_sheet1保留小数点后两位 排序问题： sorted(agrs1,key=) 1）实现通过lis的第三个元素进行升序排序
pandas性能百倍提升之用字典索引或ndarray替换DataFrame索引以及内存占用分析
S_o_l_o_n的博客
11-05 5101
在利用pandas进行数据分析时，DataFrame是其基本的数据结构，当数据量较小时还好，一旦数据量较大，比如几十万上百万时，这时DataFrame就会变得笨重，笨重主要体现在对其索引的操作上，而对DataFrame的索引操作又是基本的操作，所以这时，在性能上就会有很大的损失；对pandas的使用可以让我们可以直观简单的进行数据分析，但是往往会在性能上有较大的损失。当然，对于性能的...
2020-12-01-葡萄酒项目
02-16
【标题】"2020-12-01-葡萄酒项目"可能是一个关于使用JavaScript技术构建的在线葡萄酒销售或管理平台的项目。这个项目的命名方式表明它是在2020年12月1日创建或更新的，可能是某个开发团队的工作成果或者是教学资源。...
gmall2020-mock-log-2020-04-01.jar
12-30
用户行为日志生成脚本
Spring_2020-12-01_入门.wmv
09-23
Spring_2020-12-01_入门.wmv
AlbertYZP#AlbertYZP.github.io#-2020-12-01-FISCO-BCOS源码阅读——开始篇1
07-25
前言从我之前的博客也可以看出，最近在学习区块链，目前我的研究方向也是在物联网中区块链+联邦学习。但是目前网上的博客，书籍，绝大部分都是对基本概念的介绍，很多细节
美国日本新冠疫情数据2020-1至2021-12-01（天-周-月）
最新发布
04-15
数据来源：卫健委、丁香园、霍普金斯大学 时间跨度：2020-1至2021-12- 01（天/周/月） 相关研究： [1]单卓然, 林卉, 袁满,等....本新冠疫情数据2020-1至2021-12-01（天/周/月） (76 Byte s, 需要: RMB 14 元)
cut获取最后一列字段
actnote的博客
07-26 3736
cat file | rev | cut -d’.’ -f 1 | rev 即先每行字符串反转，把最后一个都变成第一个，然后把获得的字符串再反转回来。 参考：http://www.cocoachina.com/articles/61694
yum报错：/usr/local/lib/liblzma.so.5: version `XZ_5.1.2alpha‘ not found (required by）
actnote的博客
03-28 3570
网上教程基本上都是同一个套路。 如果不想看我的心路历程直接忽略文字看本文的三条命令即可。 可是我软链完了不管用 yum只在lib64目录下时可正常运行。 补丁咋用看不懂。 重新下载安装xz吧，看到服务器上似乎我的老师已经下载安装了xz5.2.2 但是目前也没解决，并且老师似乎暂时联系不上。 但是看明白了似乎这玩意儿出错有时是LD_LIBRARY_PATH的问题， 把之前phylip的修改LD_LIBRARY_PATH的语句注释掉改用phylip的第三条建议方法。 echo $LD_LIBRARY_PATH
windows平台 BLAST Database creation error: mdb_env_open: 磁盘空间不足。
actnote的博客
04-01 3240
blast+ 2.10.1往上版本就是会报错 改环境变量到1000000， 以及绝对路径都英文之类的不管用。 安个低于2.10的版本，2.9.0就可以 下下来，解压，把bin加入环境变量即可用。 https://ftp.ncbi.nlm.nih.gov/blast/executables/blast+/2.9.0/ ...
chmod -R 755后文件仍然没有权限的问题。
actnote的博客
05-08 3060
简述一下本人遇到的问题： 从服务器上拷回来的数据目录有些奇怪，其中一个问题是当我chmod -R 755 [一个目录]后，仍然无法进行操作，提示没有权限。 当我进入到一个子目录执行 ls -lrt 之后，该目录的子目录中的文件仍然全部权限都是----，即没有权限。 但是我再次 ls -lrt之后，发现它们又有权限了。 在两次ls -lrt中间我没有执行过其它操作。 所以这个问题虽然具体的原理不清楚，但很可能是文件权限的改变在不同层级的记录上没有同步，而第一次的ls -lrt读取后使得它们进行了同步。 そう
git clone 出现fatal: unable to access ‘https://github 类错误解决方法
actnote的博客
03-17 2195
git clone 遇到问题：fatal: unable to access ‘https://github.com…’ 把链接理的https替换为github 参考：https://blog.csdn.net/qq_15192373/article/details/114583764
Vim: Caught deadly signal SEGV Vim: Finished. Segmentation fault 【自己的解决过程】
actnote的博客
08-20 1959
上网查了一些方法， 唯一能看得明白是在说啥的解决办法，就是删除（可以暂时挪走不删）~/.vimrc，无效。 后来又看了下 ~/ 下vim相关的文件，将.viminfo暂时挪走，不再报错。 发现这个文件是记录了vim的各种操作记录，包括搜索、更改记录。 其中last search，也就是最后一次文档搜索的记录，居然是个20k的蛋白序列。 首先segmentation fault，按照我的理解，一般是在单个文件或单行内存使用过多的时候，导致的内存溢出报错。 SEGV不太懂 目前看来，应该就是由于最后一次搜索了一
makeblastdb: error while loading shared libraries: libssl.so.1.0.0 解决Ubuntu libssl.so.1.0.0找不到的问题
actnote的博客
05-09 1828
其实就是把libssl.so.1.0.0安装一下就好了。 看了下一些网上的说法应该是因为新版本的操作系统吗默认安的新版本的libssl，旧版本的没安，但是很多程序只认libss.so.1.0.0，那就安一下就好了。 两步 wget http://security.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.0.0_1.0.2g-1ubuntu4.19_amd64.deb sudo dpkg -i libssl1.0.0_1.0.2g-1ubuntu4.19_
R读取一个txt中的列表为向量
actnote的博客
02-15 1743
scan("clipboard",what="") 这个clipboard是读取粘贴板，但是如果换成txt文件路径也是可以的。 使用这个函数读取就可以得到向量了。
使用crontab定期使用tar命令压缩备份文件
actnote的博客
12-13 1629
使用crontab定期使用tar命令压缩备份文件 经过一个上午加下午一点时间的测试。 使用crontab对文件夹进行定时压缩备份的收获记录一下。 首先是tar命令的使用 dd一般是用来备份一个盘或者分区的，好像没有说用来备份文件夹的。 所以一般使用tar -zxvf来压缩，x表示打包为tar格式（不压缩），z表示打包后要压缩，v表示显示信息，f表示使用文件名 最初使用命令如下 tar -zxvf ...
A集合： [{begintime:2020-01-01 00:04:00,endtime:2020-01-01 00:06:00}, {begintime:2020-01-01 00:01:05,endtime:2020-01-01 00:03:15}, {begintime:2020-01-01 00:09:00,endtime:2020-01-01 00:10:00}, {begintime:2020-01-01 00:07:35,endtime:2020-01-01 00:08:40}, {begintime:2020-01-01 00:12:00,endtime:2020-01-01 00:17:00}, {begintime:2020-01-01 00:12:05,endtime:2020-01-01 00:13:10}, {begintime:2020-01-01 00:19:00,endtime:2020-01-01 00:21:00}, {begintime:2020-01-01 00:15:20,endtime:2020-01-01 00:20:45}]  期望得到的输出结果： [{begintime:2020-01-01 00:01:05,endtime:2020-01-01 00:03:15}, {begintime:2020-01-01 00:04:00,endtime:2020-01-01 00:06:00}, {begintime:2020-01-01 00:07:35,endtime:2020-01-01 00:08:40}, {begintime:2020-01-01 00:09:00,endtime:2020-01-01 00:10:00}, {begintime:2020-01-01 00:12:00,endtime:2020-01-01 00:21:00}]
04-23
好的，根据您的描述，您想要对给定的A集合进行排序，按照每个时间段的开始时间顺序，然后合并时间段，使得它们不重叠，对吗？ 如果是的话，可以使用以下代码实现： ``` # 对时间段按照开始时间进行排序 A = sorted(A, key=lambda x: x['begintime']) merged = [] # 对时间段进行合并 for interval in A: if not merged or merged[-1]['endtime'] < interval['begintime']: merged.append(interval) else: merged[-1]['endtime'] = max(merged[-1]['endtime'], interval['endtime']) # 输出结果 print(merged) ``` 输出结果应该是: ``` [{begintime:2020-01-01 00:01:05,endtime:2020-01-01 00:03:15}, {begintime:2020-01-01 00:04:00,endtime:2020-01-01 00:06:00}, {begintime:2020-01-01 00:07:35,endtime:2020-01-01 00:08:40}, {begintime:2020-01-01 00:09:00,endtime:2020-01-01 00:10:00}, {begintime:2020-01-01 00:12:00,endtime:2020-01-01 00:21:00}] ``` 希望这能回答您的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值