DL/RL自学笔记
略略略
嘉伟森的猫
NYU Shanghai本科,MBZUAI机器学习硕士,深度学习/强化学习菜鸡
展开
-
再探深度学习序列模型 - 基于“melody/chord embedding“ + LSTM的旋律续写器
(最近想申一段实习所以特意来补一下blog233)春季Machine Learning和两位小伙伴Billy和Harry的期末项目–旋律续写。具体来说,任务是给定和弦走向和一段不完整旋律之后让模型续写旋律。用自己采集的极小的数据集(QAQ…)训出来效果一般般,大概最后生成十轮能出来一两段能make sense的旋律~paper原文如下:...原创 2021-08-31 16:06:32 · 383 阅读 · 0 评论 -
图神经网络(Graph Neural Networks)入门之Node Classification
又回来补DL的坑了,这次是关于一个相对较新的方向——图神经网络。之前想做melody/chord generation时听Computer Music方向的大佬Gus Xia教授随口提了一句可以用图神经网络。最近暑期跟Finance相关的研究又跟Knowledge Graph扯到一起,于是开始了解一点GNN~为什么要在graph的基础上跑neural networks?目的其实就是为了考虑entities之间的关系。李宏毅教授(的助教)的课中举的一个很贴切的例子:给定一部悬疑片的人物信息,需要预测凶手是原创 2021-03-24 21:38:55 · 1645 阅读 · 0 评论 -
NLP入门 - 基于Word Embedding + LSTM的古诗生成器
一共实现三个功能:1. 续写五言诗2. 续写七言诗3. 写五言藏头诗之前用这个做Intro to Computer Science的期末项目折腾太久,不想赘述,内容介绍及实现方法可参考期末presentation的slides:https://docs.google.com/presentation/d/1DFy3VwAETeqK0QFsokeBpDwyVkMavOjpckQKpc6XPTI/edit#slide=id.gb037c6e317_2_312训练数据来源:https:原创 2020-12-21 15:06:54 · 1310 阅读 · 4 评论 -
Deep Reinforcement Learning入门 - DQN/Policy Gradient实现LunarLander-v2
超参数设置参考:https://github.com/ranjitation/DQN-for-LunarLander/blob/master/dqn_agent.py之前CartPole照着Deeplizard的教程做给做废了,于是换了OpenAI - Gym另外一个小游戏LunarLander,尝试自己从零实现DQN。官方文档的描述如下:Landing pad is always at coordinates (0,0). Coordinates are the first two numbe原创 2020-12-20 11:53:28 · 2521 阅读 · 8 评论 -
Meta Learning入门之MAML实现Few-Shot Learning(Ominglot部分论文复现)
最近看了李宏毅老师的MAML课,尝试了一下自己implement from strach:关于Ominglot数据集的5-way 1-shot分类先挂一下参考的资源:李宏毅的Lectures:https://www.youtube.com/watch?v=EkAqYbpCYAc论文原文:https://arxiv.org/abs/1703.03400一篇知乎笔记:https://zhuanlan.zhihu.com/p/66926599用一句话概括MAML的灵魂,大概就是...原创 2020-11-11 22:13:59 · 1678 阅读 · 4 评论 -
基于PyTorch的GRU网络实现股票价格预测
参考:https://www.7forz.com/3319/根据Tushare的数据,用LSTM的变体GRU试着做一个股票价格预测,参考了上述博客的代码,大多数参数经过了调整。1. 用新晨科技(300542)的640天的收盘数据训练2. 在沪深A股代码中随机抽取50条用于测试3. 查看50条里面loss最大的一支股票,画出其数据与预测曲线(有明显误差但趋势大致相同)预测的结果比预期好很多,留个坑--Midterm考完回来研究解释......代码:# -*- coding: ut原创 2020-10-25 23:33:02 · 6451 阅读 · 9 评论 -
2020暑期旷视科技经历总结
三个月时间飞逝,暑假余额也所剩无几。很有幸到刘帅成博士带领的旷视科技成都研究院进行学习/实习,几个月来学到了太多,更重要的是见识到深度学习巨大的魅力和潜力,也结识了几位成研院优秀的算法研究员。最后几周花一些时间总结、吸收、实践一下之前收获的机器学习、深度学习相关知识。5月28号,以一个稍有一定算法基础,几乎毫无工程能力的小白来到天府软件园C区。在李海鹏师兄的推荐下花了两三周自学Andrew Ng的机器学习课程前七周的内容。这部分主要覆盖了机器学习的线代基础、逻辑回归、正则化、朴素神经网络(手推了一次后向原创 2020-08-18 17:21:47 · 888 阅读 · 0 评论 -
基于PyTorch的卷积神经网络(CNN)实现MNIST分类模型
最近第一次玩了一下Kaggle,用PyTorch手写了一个四不像的卷积神经网络(有一点Inception v1的结构),测试准确率约为99.2%# -*- coding: utf-8 -*-"""Digit Recognizer.ipynbAutomatically generated by Colaboratory.Original file is located at https://colab.research.google.com/drive/1sbq5hjhjO3I5jQQ原创 2020-08-18 15:41:14 · 490 阅读 · 0 评论 -
CNN中1x1 convolution的作用
https://zhuanlan.zhihu.com/p/35814486转载 2020-08-04 16:30:35 · 311 阅读 · 0 评论 -
基于Keras的人工神经网络(ANN)实现Fashion-MNIST分类模型
仿照TensorFlow官方教程中的Basic classification: Classify images of clothing,自己写一遍最朴素的人工神经网络来实现Fashion_MNIST分类模型。Coursera上学了快两个月理论终于有了个稍微像样的实操......import tensorflow as tffrom tensorflow import kerasimport numpy as npimport matplotlib.pyplot as pltfashi原创 2020-07-21 18:30:20 · 2208 阅读 · 6 评论