weixin_45707959的博客

原创 综合练习题（更新中）

原创 nlp笔记

1 Word2Vec模型的负采样方法上一节讲的word2vec的模型，是一个基于naive softmax的word2vec的基础模型，因为复杂度高等原因，在实际的word2vec中会基于其他的一些方法来实现，负采样（negative sampling）就是其中的一个1.1 negative sampling的目的上一节的笔记最后提到，如果使用naive softmax的，且使用随机梯度下降的话，那么最后对的梯度的表达式是这其中，k是一个1到V之间的随机数。虽然通过梯度下降的方法将复杂度降低了一个数

原创 时序数据

import pandas as pdimport numpy as nppd.to_datetime('2020.1.1')pd.to_datetime('2020 1.1')pd.to_datetime('2020 1 1')pd.to_datetime('2020 1-1')pd.to_datetime('2020-1 1')pd.to_datetime('2020-1-1')pd.to_datetime('2020/1/1')pd.to_datetime('1.1.2020')

原创 nlp笔记二

1 Word Meaning需要掌握的主要是词的表示方法，大体来说，词的表示主要有下面两种：1.1 discrete representation用一个one-hot向量来表示一个词，比如现在有三个词apple，banana，orange分别对应向量的每个位置，那么[0,1,0]表示banana。这种表示被称作是一种本地表示（localist representation）当全部单词比较多的时候，discrete representation需要用比较大的维度表示一个单词，这样得到的向量是一个稀疏

原创 分类数据

import pandas as pdimport numpy as npdf = pd.read_csv('data/table.csv')df.head() School Class ID Gender Address Height Weight Math Physics 0 S_1

原创 文本数据

import pandas as pdimport numpy as nppd.Series([1,'1.']).astype('str').astype('string')0 11 1.dtype: stringpd.Series([1,2]).astype('str').astype('string')0 11 2dtype: stringpd.Series([True,False]).astype('str').astype('string')

原创 cs224n笔记一

什么是机器学习？机器学习=寻找一种函数怎样寻找这种函数？机器学习三板斧：step1、定义一个函数的集合；step2、验证函数的好与坏；step3、把最好的函数提取出来。什么是深度学习？计算力的提升，数据集的膨胀，深度学习的算法的发明。深度学习=用多层次神经网络来找到函数。怎样寻找这种函数?深度学习三板斧：step1、定义一个neural network；step2、验证函数的好与坏；step3、把最好的函数提取出来。why Deep is better?单层神经网络可以表示任何函数，但是D

原创 缺失数据

import pandas as pdimport numpy as npdf = pd.read_csv('data/table_missing.csv')df.head() School Class ID Gender Address Height Weight Math Physics 0 S_1

原创 Pandas 综合练习

import pandas as pdimport numpy as npdf = pd.read_csv('Data/Game_of_Thrones_Script.csv')df.head() Release Date Season Episode Episode Title Name ...

原创 Pandas合并

import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() School Class ID Gender Address He...

原创 Pandas变形

import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() School Class ID Gender Address He...

原创 Pandas分组

原创 pandas索引

import numpy as npimport pandas as pddf = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv',index_col='ID')df.head() School Class Gender Address ...

原创 Pandas基础训练

第一章 Pandas基础import pandas as pd查看Pandas版本pd.__version__'1.0.3'import numpy as np一、文件读取与写入1.读取(a) csv格式df = pd.read_csv('/Users/dingyunfei/Downloads/data/table.csv')df.head() ...

原创 模型融合

## 生成一些简单的样本数据，test_prei 代表第i个模型的预测值test_pre1 = [1.2, 3.2, 2.1, 6.2]test_pre2 = [0.9, 3.1, 2.0, 5.9]test_pre3 = [1.1, 2.9, 2.2, 6.0]# y_test_true 代表第模型的真实值y_test_true = [1, 3, 2, 6] import num...

原创 建模调参

import pandas as pdimport numpy as npimport warningswarnings.filterwarnings('ignore')def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type ...

原创 特征工程（更新中）

import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltimport seaborn as snsfrom operator import itemgetter%matplotlib inlinepath = '/Users/dingyunfei/Downloads/...

原创 jupyter notebook数据分析

import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport missingno as msno## 1.载入训练集和测试集；path = '/Users...

原创 零基础入门数据挖掘-Task2 数据分析

Datawhale 零基础入门数据挖掘-Task2 数据分析1.1 代码示例1.1.1 载入各种数据科学以及可视化库import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as...