- 博客(19)
- 收藏
- 关注
原创 nlp笔记
1 Word2Vec模型的负采样方法上一节讲的word2vec的模型,是一个基于naive softmax的word2vec的基础模型,因为复杂度高等原因,在实际的word2vec中会基于其他的一些方法来实现,负采样(negative sampling)就是其中的一个1.1 negative sampling的目的上一节的笔记最后提到,如果使用naive softmax的,且使用随机梯度下降的话,那么最后对的梯度的表达式是这其中,k是一个1到V之间的随机数。虽然通过梯度下降的方法将复杂度降低了一个数
2020-06-30 23:09:39 155
原创 时序数据
import pandas as pdimport numpy as nppd.to_datetime('2020.1.1')pd.to_datetime('2020 1.1')pd.to_datetime('2020 1 1')pd.to_datetime('2020 1-1')pd.to_datetime('2020-1 1')pd.to_datetime('2020-1-1')pd.to_datetime('2020/1/1')pd.to_datetime('1.1.2020')
2020-06-29 22:56:47 211
原创 nlp笔记二
1 Word Meaning需要掌握的主要是词的表示方法,大体来说,词的表示主要有下面两种:1.1 discrete representation用一个one-hot向量来表示一个词,比如现在有三个词apple,banana,orange分别对应向量的每个位置,那么[0,1,0]表示banana。这种表示被称作是一种本地表示(localist representation)当全部单词比较多的时候,discrete representation需要用比较大的维度表示一个单词,这样得到的向量是一个稀疏
2020-06-27 22:48:42 194
原创 分类数据
import pandas as pdimport numpy as npdf = pd.read_csv('data/table.csv')df.head() School Class ID Gender Address Height Weight Math Physics 0 S_1
2020-06-27 22:40:49 546
原创 文本数据
import pandas as pdimport numpy as nppd.Series([1,'1.']).astype('str').astype('string')0 11 1.dtype: stringpd.Series([1,2]).astype('str').astype('string')0 11 2dtype: stringpd.Series([True,False]).astype('str').astype('string')
2020-06-26 20:05:26 253
原创 cs224n笔记一
什么是机器学习?机器学习=寻找一种函数怎样寻找这种函数?机器学习三板斧:step1、定义一个函数的集合;step2、验证函数的好与坏;step3、把最好的函数提取出来。什么是深度学习?计算力的提升,数据集的膨胀,深度学习的算法的发明。深度学习=用多层次神经网络来找到函数。怎样寻找这种函数?深度学习三板斧:step1、定义一个neural network;step2、验证函数的好与坏;step3、把最好的函数提取出来。why Deep is better?单层神经网络可以表示任何函数,但是D
2020-06-24 17:22:25 128
原创 缺失数据
import pandas as pdimport numpy as npdf = pd.read_csv('data/table_missing.csv')df.head() School Class ID Gender Address Height Weight Math Physics 0 S_1
2020-06-23 20:08:55 196
原创 Pandas 综合练习
import pandas as pdimport numpy as npdf = pd.read_csv('Data/Game_of_Thrones_Script.csv')df.head() Release Date Season Episode Episode Title Name ...
2020-05-01 19:54:42 285
原创 Pandas合并
import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() School Class ID Gender Address He...
2020-04-30 14:42:45 127
原创 Pandas变形
import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() School Class ID Gender Address He...
2020-04-28 19:27:18 143
原创 pandas索引
import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv',index_col='ID')df.head() School Class Gender Address ...
2020-04-23 21:12:59 76
原创 Pandas基础训练
第一章 Pandas基础import pandas as pd查看Pandas版本pd.__version__'1.0.3'import numpy as np一、文件读取与写入1.读取(a) csv格式df = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() ...
2020-04-20 14:07:07 327
原创 模型融合
## 生成一些简单的样本数据,test_prei 代表第i个模型的预测值test_pre1 = [1.2, 3.2, 2.1, 6.2]test_pre2 = [0.9, 3.1, 2.0, 5.9]test_pre3 = [1.1, 2.9, 2.2, 6.0]# y_test_true 代表第模型的真实值y_test_true = [1, 3, 2, 6] import num...
2020-04-04 18:18:49 82
原创 建模调参
import pandas as pdimport numpy as npimport warningswarnings.filterwarnings('ignore')def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type ...
2020-04-01 20:04:31 177
原创 特征工程(更新中)
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsfrom operator import itemgetter%matplotlib inlinepath = '/Users/dingyunfei/Downloads/...
2020-03-27 19:31:53 189
原创 jupyter notebook数据分析
import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport missingno as msno## 1.载入训练集和测试集;path = '/Users...
2020-03-24 14:24:54 2891
原创 零基础入门数据挖掘-Task2 数据分析
Datawhale 零基础入门数据挖掘-Task2 数据分析1.1 代码示例1.1.1 载入各种数据科学以及可视化库import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as...
2020-03-24 14:21:56 211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人