- 博客(27)
- 收藏
- 关注
RSS订阅原创 美团2022届秋招内推二维码
美团2022届秋招内推已经全面开始，详情请关注校招官网，以及微信公众号：美团招聘。这里贴上内推二维码相关信息。找我内推可以全程跟进你的面试流程状态，让你更好掌控自己的面试流程；以及可以为你解答在规则允许范围内和美团相关的一些问题。企鹅群：755504845...
2021-08-03 13:14:49
521
1
转载 字符编码的理解
转载：http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
2021-07-06 11:55:28
140
原创 tf2.0 报错 DataLossError
出现这个错误的原因大概率是你在打开文件后，往文件中写东西，写了之后没有关闭文件，就对文件进行读操作了。举个例子：writer = tf.io.TFRecordWriter("predict.tfrecords")现在我打开了这样一个文件，往里面写入了我想写的内容，内容写完后正确的做法是writer.close()接下来在对这个文件做一些另外的操作。但是由于粗心，忘记写关闭文件的操作了，并对文件进行读操作，这个时候就报错了。DataLossError...
2020-12-18 09:13:56
296
原创 Module: tf.keras.losses 理解
本文主要整理记录对tf2.0中损失函数模块的理解。tf中实现的所有损失都是python中的class。损失函数理解BinaryCrossentropy参数解释CategoricalCrossentropy参数解释SparseCategoricalCrossentropy参数解释BinaryCrossentropytf.keras.losses.BinaryCrossentropy:tf.keras.losses.BinaryCrossentropy( from_logits=False, l
2020-12-17 14:50:58
3325
原创 Mac安装Mysql遇到的问题
macOS下安装mysql，按照相应的教程从Mysql官网下载好对应版本的安装包，然后点击安装，并进行如下配置：打开terminal，打开.bash_profile进行环境变量的配置：vim ~/.bash_profile按i键，进入编辑模式，输入export PATH=$PATH:/usr/local/mysql/bin(/usr/local是默认安装路径），不过好像输入export PATH=$PATH:/usr/local/bin同样可以。按esc退出编辑模式，按:wq保存退出v
2020-12-02 19:24:28
149
原创 使用git version遇到的坑
背景知识：对于macOS而言，git一般是已经预装了的。macOS 安装git后，提示安装xcode，原因是mac系统区别于windows等系统，xcode是mac开发的基础必要软件。在使用maxOS时，在终端输入git version出现如下问题：xcode-select: note: no developer tools were found at '/Applications/Xcode.app', requesting install. Choose an option in the di
2020-12-01 19:53:33
793
原创 TexStudio提示：无法启动build & view xelatex
在装texlive+TexStudio的时候，建议把之前的latex软件都删除干净（比如我自己的Ctex，不然可能会出一些莫名其妙的bug）。这里给出一个安装texlive+texstudio的博客。装好之后，编译运行，发现如下问题：无法启动build & view xelatex这里给出解决这个问题的链接解决方案1、检查自己的TeX系统是否安装成功了，也就是TeXLive或者MikTeX系统是否安装成功了。测试方法，打开cmd，输入tex -v出现具体的版本信息，就说明安装好了
2020-11-29 22:09:06
17018
14
原创 anaconda虚拟环境安装jupyter notebook的坑
利用anaconda创建了一个tensorflow的虚拟环境，想在这个虚拟环境中安装jupyter notebook，第一反应是按照之前的博客来，但是这样安装出现了一个问题，截图找不到了，反正无法安装。参考另外一个博客，使用pip方式替代conda安装jupyter notebook。这样安装能成功，但是从tensorflow虚拟环境启动jupyter notebook时，出现以下问题：Bad config encountered during initialization:google后在这个链接
2020-11-21 18:52:33
3298
原创 虚拟环境启动jupyter notebook
参考链接：https://www.jianshu.com/p/afea092dda1d首先在虚拟环境的cmd下进行如下操作：（通过anaconda创建的虚拟环境）conda install nb_conda然后在cmd下：jupyter notebook就能正常启动jupyter notebook。效果如下：...
2020-09-22 12:08:35
373
原创 numpy之masked array
numpy.ma module建议看官方文档MaskedArray是numpy.ndarray的子类，个人感觉这个数据结构还是很有意思的，感觉和attention里面的mask是一个味道。个人感觉会用到的两个功能：1、Numerical operations；2、Ignoring extreme values...
2020-09-20 12:25:36
1613
原创 Spark error not found
Spark的疑难杂症问题描述：按照尚硅谷的视频，安装好spark后，跑示例代码：bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.0.jar 100注意，这里不能分行，之前的博客有写过原因。上述代码执行完毕，spark的安装目录会变成：多了红圈的三个东西。
2020-09-19 20:43:59
516
原创 Spark疑难杂症
Spark尚硅谷的spark视频。软件包：spark-2.1.1-bin-hadoop2.7.tgz按照视频教程，上传到linux服务器，解压，跑spark示例，出现以下错误：Warning: Local jar /home/xx/xx/spark/ does not exist, skipping.java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi at java.net.URLClassLoader.fin
2020-09-19 15:52:39
926
原创 dropout的深入理解
Dropoutdropout提供了一种计算上可行并且非常有效的模型正则化方法。dropout可以看做是对于许多很大的神经网络的集成实际可行的bagging方法。bagging涉及到训练多个模型，以及在相应的测试集上评估多个模型。对于神经网络而言，这样的bagging方法似乎是不可行的，因为每一个很大的神经网络的训练和评估都是非常耗时和耗费内存的。当使用bagging方法进行学习时，我们定义kkk个不同的模型，从原始数据集中通过自助采样法形成kkk个不同的训练数据集，然后在每个不同的训练数据集上训练相应的
2020-07-19 23:50:14
2170
原创 基于导数的优化方法
使用导数的优化方法下面介绍的优化方法都是针对无约束优化问题的。考虑无约束问题：minf(x),x∈Rnmin\quad f(\bold{x}),\bold{x}\in \bold{R}^nminf(x),x∈Rn最速下降法假设f(x)f(\bold{x})f(x)具有一阶连续偏导数。迭代公式：x(k+1)=x(k)+λkd(k)\bold{x}^{(k+1)}=\bold{x}^{(k)}+\lambda_k\bold{d}^{(k)}x(k+1)=x(k)+λkd(k)d(k)=
2020-07-15 21:33:24
373
原创 集成学习之bagging、boosting、stacking
集成学习以下内容仅作为自己的学习记录。集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。集成学习中的个体学习器通常由一个现有的算法从训练数据集产生，比如决策树算法、神经网络算法。集成学习主要有两种方式：同质集成（个体学习器都是一个类型的，比如都是神经网络算法）和异质集成。要获得好的集成，个体学习器应“好而不同”，即个体学习器的准确率要高，同时个体学习器之间的差异要高，即要有多样性。集成学习方法主要分为两大类：个体学习器间存在强依赖关系、必须串行生成的序列化方
2020-07-15 18:48:14
558
原创 八皇后问题python+回溯法
N皇后题目链接：https://leetcode-cn.com/problems/eight-queens-lcci/八皇后问题是典型的回溯法的应用，而回溯法的本质就是树的遍历和剪枝，N皇后问题可以说是N叉树的遍历和剪枝问题。对于树的遍历问题都是能抽象出解题模板的，见后续分析。完整代码在文章末尾。这里主要详细记录一下对于这种困难题怎么一步一步把代码写出来，写的会很细。回溯法一般都是可以通过递归来实现；设计一个递归程序需要明确这几点：1、递归的终止条件是什么？2、递归如何传值？传的值的含义是什么？3、如
2020-07-14 13:27:03
1456
2
原创 估计器、方差、偏差；三种参数估计方法
DeepLearningBook----reading notes5.4 Estimators, Bias, and Variance对于机器学习而言，parameter estimation，bias和variance是三个非常基础的概念，对于形式化地定义generalization、underfitting、overfitting而言非常重要。5.4.1 Point Estimation点估计尝试提供对于参数的最好预测。所谓的参数可以是参数化模型（parametric model）中的单个参数或
2020-07-11 11:20:40
1772
原创 Attention总结
Attention总结对论文NML的总结，论文标题：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE算是attention的开山之作了。这篇论文引出的Attention model（在论文中被称为alignment model），是依附于RNN Encoder-Decoder架构的。所以作者先对最基本的RNN Encoder-Decoder框架做了一个简单的介绍。RNN Encoder-Decoderan
2020-07-09 09:44:51
292
原创 python3优先队列解决合并K个排序链表所涉及的知识点
这里主要记录下做题过程中遇到的新知识点：dataclasses模块中的dataclass、field，以及queue中的PriorityQueuePriorityQueue的参考见链接：https://docs.python.org/3/library/queue.html先讲一下python中优先队列的实现原理：优先队列实际上是使用堆结构实现的，能够将搜索的时间复杂度从O(k)O(k)O(k)降到O(logk)O(logk)O(logk)。看一下官方文档中对优先队列的描述：The lowest
2020-07-06 16:07:56
539
1
原创 RNN BPTT算法详细推导
BPTT算法推导BPTT全称：back-propagation through time。这里以RNN为基础，进行BPTT的推导。BPTT的推导比BP算法更难，同时所涉及的数学知识更多，主要用到了向量矩阵求导、向量矩阵微分、向量矩阵的链式求导法则，想要完全理解掌握BPTT的推导，这些是基础工具。向量矩阵求导主要参考刘建平的相关博客：https://www.cnblogs.com/pinard/p/10750718.htmlRNN的BPTT推导主要参考刘建平的相关博客：https://www.cnbl
2020-07-03 23:12:56
3587
1
原创 torch stack理解
torch.stack的理解官方的torch.stack说明文档：1、进行stack的tensor的维度必须一致，即All tensors need to be of the same size；2、dim的取值范围：以二维tensor为例，dim的取值范围为[0,1,2]以具体例子说明stack的用法a,b,c都是2*3的二维tensor，dim有三种取值情况，分别是dim=0，dim=1，dim=2；torch.stack()会在指定的dim维度新增一个维度，和concatenate的区
2020-06-02 12:34:59
836
原创 pytorch LSTM模块 理解
最近在看RNN模型，想阅读一下别人关于LSTM的开源代码，于是决定先去pytorch的官网lstm看一下示例教程，谁知我连示例教程都看得很懵，以为理论懂了看代码实现应该很快；于是在网上看了各位大神关于LSTM的分析解读，结合自己的理解勉强理解了pytorch的LSTM模块；本文的目的主要是记录下自己的理解，方便日后查阅。先把官方给的quick example给理解了：# Author: Robert Guthrieimport torchimport torch.nn as nnimport t
2020-05-24 21:54:33
1852
转载 推荐系统建模问题中的特征构造方法
在推荐系统建模问题中，合适特征的构造对于模型的性能至关重要，在训练最终的模型前，一定要进行恰当的特征工程。特征工程主要包括数据预处理（Data Preprocess）、特征构造（Feature Construction）、特征提取（Feature Extraction）、特征选择（Feature Selection）。特征提取和特征选择的基础是特征构造，也即我们要有基础的特征；但是在实际的应用场景中，原始数据提供的特征很少或者根本没有，需要我们自己去进行特征的构造。因此，特征构造是最基本也是最重要的处理步骤
2020-05-14 13:30:39
864
原创 pytorch nn.Linear的理解
Linear层的理解单个sample的Linear数学表达式pytorch nn.Linear单个sample的Linear数学表达式上图是前向传播的一个简单示例图。首先说明下该图中各个数学符号的含义：XXX：单个sample的向量表达；xix_ixi：输入sample向量的第iii维；W(l)W^{(l)}W(l)：Layerl−1Layer_{l-1}Layerl−1到LayerlLayer_{l}Layerl的前向传播权重矩阵；wij(l)w_{ij}^{(l)}wij(l)：权
2020-05-12 12:45:16
1185
原创 dict.setdefault dict.get() csr_matrix的理解
dict.get()函数：get() 函数返回指定键的值，即键对应的value，如果值不在字典中返回默认值。语法：dict.get(key, default=None)。其中key为要查找的键，如果key对应的值不存在，则返回default默认值。dict.setdefault()函数：源码：D.setdefault(k[,d]) -> D.get(k,d), also se...
2019-01-03 12:22:18
184
原创 word排版----分节、页眉页脚、页码、制作标题样式
最近在用word写一些课程论文，被一些格式问题困扰许久，经过网上搜集资料加上自己的尝试，解决了部分问题，特此记录下。标题样式的制作。略。分节。主要涉及到分节符。附上一篇介绍分节符的文档。https://wenku.baidu.com/view/19cdb7ed5ef7ba0d4a733b65.html总结下自己的体验。分节符和分页符属于分隔符，两者的功能不同，之前都没注意到这个。...
2018-12-31 02:09:08
890
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人