herosunly的博客

阿里云天池大赛安全恶意程序检测第一名，科大讯飞比赛第一名，热衷于机器学习算法研究与应用。

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创大数据处理经验(持续更新)

先取少量数据跑代码，确保代码没有语法和逻辑错误，再放到大量数据上面跑。

2020-03-29 20:20:24 6150 3

原创使用PIL进行图片处理

1. 随机旋转和随机缩放from PIL import Imageimport numpy as npimport osdef scale_rotate_img(image, rotate_min=20, rotate_max=70, scale_min=0.4, scale_max=0.8): random_rotate = np.random.randint(rotate_m...

2020-03-27 11:28:58 9139

原创 MIT线性代数笔记二十六讲复矩阵和快速傅里叶变换

1. 复向量 Complex vectors2. 复矩阵 Complex matrices3. 傅里叶变换 Fourier transform4. 快速傅里叶变换 Fast Fourier transform

2020-03-25 09:51:05 337

1. 不要在循环训练中直接将loss进行append(cannot allocate memory)2. 如何实时查看内存或者GPU的使用情况：3. GPU显存未释放问题4. RuntimeError: CUDA out of memory.5. cuda10.0上面也能安装1.6版本6. 将tensorflow版本模型转换为pytorch版本7. transformer版本过高8. ImportError: libmkl_intel_lp64.so: cannot open shared o

2020-03-24 15:07:03 10566

原创 tensorflow.keras和tensorflow使用汇总(持续更新)

1. 查看可用计算资源2. 使用空闲的GPU3. tensorflow.keras.layers.CuDNNLSTM4. 保存和加载模型4.1 CPU和GPU版本4.2 自定义层5. No module named tensorflow.keras.engine6. from tensorflow.keras import initializers7. tensorflow.keras.preprocessing.sequence.pad_sequences8.多个GPU并行使用

2020-03-24 10:11:23 6713

原创 NLTK使用汇总

0. 如何离线安装NLTK1. LookupError: Resource not found.2. 分句、分词和停用词3. 词性标注和词形还原4. 分句5. N-gram

2020-03-22 17:52:32 6680 2

原创 Google Colab学习汇总

1. 如何在colab上打开tensorboard?1.1 安装ngrok!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip!unzip ngrok-stable-linux-amd64.zip1.2 run TensorBoard on Colab依次执行下面三个cell的代码：LOG_DI...

2020-03-19 11:12:48 5736

原创 MIT线性代数笔记二十五讲对称矩阵和正定性

1. 对称矩阵 Symmetric matrices2. 实特征值 Real eigenvalues3. 正定矩阵 Positive definite matrices

2020-03-17 14:23:30 679 1

原创 NLP定义和机器翻译

1. NLP定义 NLP（自然语言处理）= NLU（自然语言理解）+ NLG（自然语言生成）。自然语言理解（Natural Language Understanding）是使计算机理解自然语言（人类语言文字）等，重在理解（难道NLG就不需要理解语言了吗？）。具体来说，就是理解语言、文本等，提取出有用的信息（很像是数据挖掘），用于下游的任务。它可以是使自然语言结构化，比如分词、词性标注、句...

2020-03-13 17:26:16 5708 2

原创 Numpy和scipy学习汇总

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。今天给大家带来的文章是Numpy和scipy学习汇总，希望能对同学们有所帮助。

2020-03-11 11:07:25 11143 2

原创 MIT线性代数笔记二十四讲马尔可夫矩阵和傅里叶级数

1. 马尔可夫矩阵 Markov matrices2. 傅里叶级数 Fourier series

2020-03-10 14:12:05 562 1

原创 Leetcode 24 Swap Nodes in Pairs

1.开篇X:DataX:DataX:Dataθ:Parameter\theta:Parameterθ:ParameterX=(x1x2...xN)T=X = (x_1\quad x_2 \quad... \quad x_N)^T = X=(x1x2...xN)T=(x11x12...x1px21x22...x2p............xN1xN2...xNp)N×p\begin...

2020-03-04 20:20:59 2889

原创 Jupyter Notebook 14个问题及解决方案

0. ip能ping通，但是端口连不通1. Refusing to serve hidden directory, via 404 Error2. no connection to kernel jupyter3. 更换密码4. 安装R的kernel5. 如何关闭jupyter notebook进程6. jupyter notebook无法远程访问7. ERR_UNSAFE_PORT8. No module named functools_lru_cache9. ...10. .....

2020-03-03 11:20:51 16349

加利福尼亚州住房数据集，包括九个特征和一个目标值即房价，总共20640条数据，和sklearn中的california数据集相同

包括了房屋的经度、房屋的纬度、房龄、房间个数、卧室个数、街区内人口、街区内家庭总数、收入、房屋价值，和sklearn中的california数据集相同，可直接通过pandas.read_csv读取即可，适合sklearn无法正常加载的情况下使用，其中加载代码如下 ```python from sklearn.datasets.california_housing import fetch_california_housing housing = fetch_california_housing() ```

2023-01-04

将PDF转换成图片的依赖库文件

2022-04-07

考研英语和考研政治答题卡

考研英语和考研政治答题卡，值得考研同学借鉴学习。尤其是考研英语的作文区域是画好了格子，考研政治的大题是空白区域，建议大家可以购买考研专用尺画线。

2022-03-24

哈工大ltp模型文件(3.4.0)

2022-03-04

台湾清华大学微积分详细笔记

总共31个PDF文件。其中重点并详细介绍了如何高效学习微积分、极限、连续、微分、积分等核心概念。内容详尽，值得深入学习。

2022-03-02

企业网络资产及安全事件分析数据集

包含tcpflow、flow、db、login四个文件夹，tcpflow是记录TCP协议层的数据传输记录，flow日志是http请求中header的数据记录，db日志是记录数据库操作的日志(SQL语句的执行记录)，login日志是记录登录结果的日志(包括POP、FTP、SMTP、SMB和数据库的登录记录)。

2022-02-23