2021年01月_bitcarmanlee

原创 pandas join操作详解

1.前言join操作是关系型数据库中最核心没有之一的操作，实际中最容易出问题，经常需要优化的点也是join操作。如果我们将dataframe类比为一张表，自然也会涉及到join操作，而且非常非常常见。下面我们就来仔细看看pandas中的join用法。2.join方法原型pandas源码中join方法的签名如下 def join( self, other, on=None, how="left", lsuffix="", rsuffix="", sort=False )

2021-01-28 15:28:42 17665 3

原创 python md5算法调用与hashlib模块

1.python中的md5将一个字符串md5匿名化是数据处理中的一种常见手段，python3.X中也内置实现了md5算法，下面我们看下md5的用法。import hashlibdef test(): s = "123" m = hashlib.md5() for i in range(5): m.update(s.encode("utf8")) result = m.hexdigest() print(result)上面代码

2021-01-27 20:22:39 1177 1

原创 pandas根据现有列新添加一列

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice欢迎大家star，留言，一起学习进步pandas中一个Dataframe，经常需要根据其中一列再新建一列，比如一个常见的例子：需要根据分数来确定等级范围，下面我们就来看一下怎么实现。def getlevel(score): if score < 60: return "bad" elif score < 80: retur

2021-01-26 20:38:27 16102 1

原创 pandas某一列去重获取唯一值

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice欢迎大家star，留言，一起学习进步去重获取唯一值是常见的需求，下面我们看看pandas里面如何实现去重。直接看代码import pandas as pddef test(): df = pd.DataFrame({"c1": [1, 1, 2, 3, 1], "c2": [10, 20, 30, 40, 50]}) print(df) print()

2021-01-26 20:08:49 21273

原创 python 修改dataframe列名的几种方法

实际开发中经常有修改dataframe列名的需求，特意总结了如下可用的几种方法。import pandas as pddef t1(): df = pd.DataFrame({'c1':[1, 2, 3], 'c2': [4, 5, 6]}) print(df) df.columns = ['d1', 'd2'] print(df) df.rename(columns={'d1': 'e1', 'd2': 'e2'}, inplace=True)

2021-01-25 14:08:20 29439 2

原创 pandas获取dataframe的行数，列数，元素个数

1.测试数据1457822940 0 0 44 36422692440 0 0 3 31460826600 0 0 7 61410115140 -1 3 25 71161370800 0 0 18 14996746700 0 0 30

2021-01-08 18:18:22 21999 2

原创史上最全macos安装xgboost教程

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice欢迎大家star，留言，一起学习进步0.前言自己的macos上一直没有安装上xgboost，最近因为工作需要，想在macos上安装一下xgboost。本来以为是个很简单的事情，没想到还是费了一些波折，特意记录一下1. 直接安装失败最开始直接使用pin install xgboost安装，安装过程没啥问题。但是安装完毕，使用过程中出现了问题。import xgboost

2021-01-02 23:05:53 3049 5

原创统计文本去重行数

常见的一个需求为：统计某个文本去重以后的行数可以使用如下命令：sort xxxfile | uniq | wc -l也可以使用如下命令sort -u xxxfile | wc -l简单解释一下其中sort -u的选项，解释如下 -u, --unique Unique keys. Suppress all lines that have a key that is equal to an already processed one. This optio

2021-01-02 22:05:02 460

原创 scala正则表达式 findFirstIn findAllIn findFirstMatchIn findAllMatchIn Match MatchData 提取分组

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice欢迎大家star，留言，一起学习进步0.引子节前最后一个工作日，在编写一个简单的正则表达式的时候，卡了比较长的时间。后来总结发现，还是对正则表达式的理解不是很深刻，于是利用假期的时间，特意比较详细地看了一下正则表达式相关内容并加以记录。1.findFirstIn findFirstMatchIn正则表达式中常用的方法包括findFirstIn，findFirstMatchIn等

2021-01-02 21:33:14 3447

bitcarmanlee的博客