JingYi的专栏

mysql 分组查询最新的/最高的一条记录

出现这种问题，一般是由调用udf的过程报错，报错的几个原因如下：（1）引用pyspark.sql.functions的方法覆盖python本身的方法；（2）没有处理None值

paddlenlp使用预训练模型实现快递单信息抽取中CrossEntropyLoss()指定weight报错

nlpc_res = requests.post(url, json.dumps(params))nlpc_res.encoding='utf-8' # 加上zhe yi j

1. 安装环境2. 脚本

这是一个低版本glibc （< 2.23）的已知bug，通过dlopen加载一个动态链接库（DSO），并依次将其依赖的DSO也加载进来的时候。具体产生条件是：glibc < 2.23 已经加载了超过14个含TLS的DSO 当前加载的DSO使用了static TLS注意条件2，3。如果能够在加载14个含TLS的DSO前，提前加载含有static TLS的DSO，即可绕过这个问题。具体做法：找到报错模块（比如paddle）如果可以单独import成功的话，调整import包的顺序...

1. 快速读2.快速写

java.io.IOException: No space left on device原因是 /root/tmp 空间不够了，可以制定自己的tmp目录， 在conf/spark-default.conf 里加上 “spark.local.dir /home/XXX/你自己的目录” 即可。

使用transform：>>> df name value0 A 11 A NaN2 B NaN3 B 24 B 35 B 16 C 37 C NaN8 C 3>>> df["value"] = df.groupby("name").transform(lambda x: x.fillna(x.mean()))

1. udf 定义def udf_test(column1, column2): if column1 == column2: return column1 else: return column2apply_test = udf(udf_test, StringType())df = df.withColumn('new_column', apply_test('column1', 'column2'))2. 带固定变量的udf定义.

df.orderBy('column_name', ascending=False)

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数cat /proc/cpuinfo| grep "proce...

1.pandarallel2.joblib (Parallel, delayed 两个函数)https://blog.csdn.net/Jerr__y/article/details/71425298?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&dist_request_id=4ddf3b64-071d-4fd7-a503-9272a88468...

前一段时间看了一篇知乎专栏《PTMs| 2020最新NLP预训练模型综述》，介绍了NLP的一些主流模型。如下图所示：

1. 原论文2. PPT3. 学习视频XGBoost Part 1 (of 4): Regression：https://www.youtube.com/watch?v=OtD8wVaFm6EXGBoost Part 2 (of 4): Classification：https://www.youtube.com/watch?v=8b1JEDvenQUXGBoost Part 3 (of 4): Mathematical Details:https://www.youtube..

1. 效果2. 代码import matplotlib.animation as aniimport matplotlib.pyplot as pltimport numpy as npimport pandas as pddef load_data(): """ 获取数据 """ url = "./time_series_covid19_deaths_global.csv" df_all = pd.read_csv(url, delim.

1. 接口介绍2. 使用示例3. 小结

交换import顺序解决 解决方法：降级sklearn版本 降级为scikit-learn 0.20.3会使问题消失。