- 博客(25)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 pandas教程-task4（变形）
pandas变形的常用功能有：1. pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出现重复的行列索引对（pair），例如下面的语句就会报错：¶因此，更多的时候会选择使用强大的pivo...
2020-04-27 22:48:05
178
1
原创 pandas学习-task3
一、SAC过程SAC指的是分组操作中的split-apply-combine过程在该过程中，我们实际往往会遇到四类问题：整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）变换（Transformation）——即分组对每个单元的数据进行操作（如元素标准化）过滤（Filtration）——即按照某些规则筛选出一些组（如选出组内某一指标小于50的组）综合问题——...
2020-04-26 21:26:57
148
原创 pandas学习-task2
1. loc方法、iloc方法、[]操作符一般而言，最常用的索引方法就是这三类iloc表示位置索引（i表示index）loc表示标签索引[]也具有很大的便利性（a）loc方法trick one: 所有在loc中使用的切片全部包含右端点的，这一点和我们之前的右边不到不一样①单行索引# 标签索引为 1103# 也就是说如果行标签为字符型变量，那么df.loc['a']df...
2020-04-23 18:30:54
503
原创 pandas学习-task1
练习一、现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：在所有的数据中，一共出现了多少人物？564个人物方法一：直接统计import pandas as pddf = pd.read_csv( r'D:\Desktop\pandas\Learning\joyful-pandas-master\data\Game_of_Thrones_Script.csv')re...
2020-04-20 21:39:38
352
原创 pytorch实现task5——卷积神经网络基础；leNet；卷积神经网络进阶
卷积神经网络基础卷积神经网络包括卷积层和池化层。二维卷积层最常见的是二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处...
2020-02-17 16:21:07
247
原创 pytorch实现task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
机器翻译机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。其主要的步骤包括数据预处理、分词、建立词典、载入数据集、Encoder-decoder、seq2seq等。注意力机制与Seq2seq模型在“编码器—解码器（seq2seq）”⼀节⾥，...
2020-02-17 15:56:23
665
原创 pytorch实现task3——过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
过拟合、欠拟合及解决方案在之前自己已经使用较多较熟练，故跳过。梯度消失、梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。在神经网络中，通常需要随机初始化模型参数。随机初始化模型参数的方法有很多。在线性回归的简洁实现中，我们使用torch.nn.init.normal_()使模型net...
2020-02-17 12:03:42
579
原创 pytorch实现task2——文本预处理、语言模型和CNN
文本预处理文本预处理的参考文本为：http://www.gutenberg.org/ebooks/35文本预处理的实现代码为：##读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', '...
2020-02-14 17:51:07
318
原创 pytorch实现task1——线性回归；Softmax与分类模型、多层感知机
本次是参加datawhale新一期活动，它和伯禹学习平台以及K-Lab合作推出了《动手学深度学习》这本书的Pytorch版代码讲解。积极参加，努力学习。task1的内容包括线性回归；Softmax与分类模型、多层感知机。以下分述：线性回归线性回归的pytorch实现为：import torchfrom torch import nnimport numpy as nptorc...
2020-02-14 17:12:47
189
原创 datawhale训练营数据pytorch第7次作业
数据集为MNIST，用它来进行手写数据识别：import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsimport torchvisionfrom torch.autogr...
2019-08-21 17:10:08
139
原创 datawhale训练营数据pytorch第6次作业
【Task6(2天)】PyTorch理解更多神经网络优化方法1.了解不同优化器2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择2.优化器代码为：import torchimport torch.utils.data as Dataimport tor...
2019-08-18 21:15:13
166
原创 datawhale训练营数据pytorch第5次作业
【Task5(2天)】PyTorch实现L1，L2正则化以及Dropout1.了解知道Dropout原理2.用代码实现正则化(L1、L2、Dropout）3.Dropout的numpy实现4.PyTorch中实现dropout1.dropout原理dropout的参考链接为：https://zhuanlan.zhihu.com/p/38200980dropou...
2019-08-16 11:10:48
146
原创 datawhale训练营pytorch第四次作业-用pytorch实现多层网络
【Task4(2天)】用PyTorch实现多层网络1.引入模块，读取数据2.构建计算图（构建网络模型）3.损失函数与优化器4.开始训练模型5.对训练的模型预测结果进行评估1.引入模块，读取数据：import torchimport numpy as npfrom torch import nnfrom torch.autograd import Variab...
2019-08-13 13:30:56
225
原创 datawhale训练营数据pytorch第三次作业
本期的作业内容为：PyTorch实现Logistic regression1.PyTorch基础实现代码2.用PyTorch类实现Logistic regression,torch.nn.module写网络结构代码为：import torchimport torch.nn as nnimport torchvisionimport torchvision.transform...
2019-08-11 16:45:09
148
原创 datawhale训练营pytorch作业二
本期作业包括：1.numpy和pytorch实现梯度下降法2.设定初始值3.求取梯度4.在梯度方向上进行参数的更新5.numpy和pytorch实现线性回归6.pytorch实现一个简单的神经网络7.参考资料：PyTorch 中文文档 https://pytorch.apachecn.org/docs/1.0/作业如下：1.numpy和pytorch实现梯度下降...
2019-08-09 14:40:33
143
原创 datawhale训练营数据pytorch第一次作业
1.什么是Pytorch，为什么选择PytrochPyTorch是一个基于python的科学计算包，主要定位两类人群：NumPy的替代品，可以利用GPU的性能进行计算 深度学习研究平台拥有足够的灵活性和速度2.Pytroch的安装安装的参考链接为：https://pytorch.org/我用的是本地的windows安装方法，用的配置方法为下面的命令：在window...
2019-08-07 19:28:19
209
原创 datawhale数据挖掘任务六
通过之前的博客可以看出，随机森林的表现效果比较好。所以本次stacking融合的比较基准就是LR。至于融合，用的是随机森林和逻辑回归进行融合。代码为：##任务六：使用stacking进行模型融合# 构建 Stacking 模型，用之前表现较好的LR和随机森林进行模型融合s_clf = StackingClassifier(classifiers=[rfc, ltc], meta_cla...
2019-03-12 17:11:29
256
原创 datawhale数据挖掘任务5——使用网格搜索法对各个模型进行调优
因为自己电脑安装xgboost始终有问题，所以只优化了四个模型。详细代码如下所示：##LR法的优化过程ltc_param = {'penalty':['l1', 'l2'], 'C':[0.0001, 0.001, 0.01, 0.1, 1.0]}ltc_grid = GridSearchCV(ltc, ltc_param, cv = n_fold, sco...
2019-03-11 17:27:18
927
原创 datawhale数据挖掘任务三
可以基于上两次任务清理过的数据集，进行算法仿真。不同的算法调用的python关键语句如下所示逻辑回归：logistic = linear_model.LogisticRegression()和pre_lr=logistic.fit(train_data, train_label).score(test_data, test_label)SVM：svm.SVC(C=0.3, kernel=...
2019-03-06 20:13:44
317
原创 datawhale数据挖掘课程-任务二
特征衍生：在实际工作中，自己用到的是特征升维，即one-hot encoding。另一种特征衍生方法是特征组合，比如拼接年龄+收入区间成为一个新特征，但是在金融行业一般不这么做、因为可解释性差容易不符合监管要求。计算IV函数。在机器学习的二分类问题中，IV值（Information Value）主要用来对输入变量进行编码和预测能力评估。特征变量IV值的大小即表示该变量预测能力的强弱。IV 值的...
2019-03-04 21:58:56
539
原创 数据挖掘训练营第一次任务——预测贷款用户是否会逾期
主要用的python模块为pandas，主要流程为把csv文件内容读入写入dataframe中，进行数据处理。先读入数据：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns# f = open('homework1_data.csv', encoding...
2019-03-02 21:51:45
1595
1
原创 线性回归学习心得
线性回归学习心得本文是自己以周志华老师的西瓜书为主要学习媒介，以吴恩达老师的机器学习视频为补充的线性回归学习心得。线性回归是机器学习的入门，虽比较基础但极为重要。个人觉得，西瓜书的3.2节写得已经十分精彩，我再赘述很难达到周老师的高度。下面也推荐一个博客链接，我觉得他对线性回归的整理也是非常精彩了，本文仅仅是它的一个补充：https://blog.csdn.net/KevinBetterQ/...
2018-10-21 22:11:08
4831
原创 应该怎样正确配置filebeat文件（包括multiline、input_type等）
elk是大数据信息采集、处理的最流行技术，而其中filebeat又是elk最为基础的日志采集工具。配置得好我们能非常高效地采集日志，配置得不好却会出现日志丢失、日志采集占用生产机资源高的现象。本文根据自己的配置经验，进行filebeat配置常用字段配置的阐述。input_type:输入filebeat的类型，包括log(具体路径的日志)和stdin(键盘输入)两种。multiline：日志中经常会...
2018-05-06 20:42:50
18061
2
原创 在数据量越来越大时，如何绕过logstash、实时流处理jstorm和OPENTSDB的那些坑(1)
记录了一次opentsdb失灵、逐级查找原因，最后采取拆分减轻压力、重启实时流处理的topology的方法予以解决。
2017-11-18 16:37:34
1654
SC-FDMA多种资料全集
2010-07-03
Microwave Mobile Communications 电子书
2010-04-19
digital communications by proakis 中文版 数字通信 4th edition 卷一
2010-04-17
V-BLAST An Architecture for Realizing Very High Data Rates Over the Rich-Scattering Wireless Channel.pdf
2009-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人