- 博客(5)
- 收藏
- 关注
RSS订阅原创 Subwords Tokenizer方法介绍: BPE, Byte-level BPE, WordPiece, Unigram, SentencePiece
Subwords Tokenizer: BPE, Byte-level BPE, WordPiece, Unigram, SentencePiece。
2022-10-19 15:39:03
1633
1
原创 数据分析 数据预处理
1. 数据预处理log transformation 处理label的right-skewed右偏分布数据，使得一些很大值偏向中心，接近正态分布。但自变量是否需要log处理需要看情况…。参考链接lnYi=β1+β2lnXi+ϵi\ln{Y_i} = \beta_1 + \beta_2 \ln{X_i} + \epsilon_ilnYi=β1+β2lnXi+ϵi使用Pool进行多线程处理，先对数据分片，然后用map对所有片同时处理。def parallelize_df_func(
2021-08-09 19:29:41
473
原创 Shawn's 杂记
Shawn's 杂记串口通讯串口通讯float为32位；通讯一次只能传一个字符，也就是8位；所以要分四次传输，那么要将float分成4部分；这里用到unsigned char *p;p = (unsigned char*)&_angle1;实现分割。nb！；再之后，指针p只能指float类型的1/4，所以指针p+1就能指向float类型的第二部分。...
2019-08-20 20:14:45
197
原创 C++判断容器是否为空/无元素
C++判断容器是否为空/无元素很简单的一句代码， 就是判断容器的起始和终止是否相等。vector<int> list;if(list.begin() == list.end(){ cout << "为空" << endl;}else if(list.begin() != list.end(){ cout << "不为空" <&l...
2019-08-20 14:28:15
5919
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人