- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Dask
DASK一、Dask简介Dask是一个并行计算库，能在集群中进行分布式计算，能以一种更方便简洁的方式处理大数据量，与Spark这些大数据处理框架相比较，Dask更轻。Dask更侧重与其他框架，如：Numpy，Pandas，Scikit-learning相结合，从而使其能更加方便进行分布式并行计算。二、Dask数据结构Dask存在三种最基本的数据结构，分别是：Arrays、Dataframe...
2019-06-11 14:26:15
14668
原创 Tensorflow系列之tf.Session
当我构建一个图后，我们需要开始执行这个图所指定的操作，在Tensorflow中通过tf.Session来完成图的执行操作。通过Session对象，可以执行途中的Operation，同时计算得到Tensor的值。首先我们观察其构建方法：target参数主要是指定执行的引擎，一般在分布式处理会用到这个参数，graph参数指定执行某个图，config参数可以做丰富的操作，具体含义将在以后的文章说...
2019-04-03 15:54:59
1470
原创 tensorflow系列之tf.graph
我们知道Tensorflow可看作是一个数据流图（Dataflow），由节点和边构成，其中节点表示一个操作，一条边表示一个Tensor，每个节点可以从自己的入边获取自己的输入，同时也可以产生输出通过自己的出边流向下一个节点，首先我们将介绍Tensorflow中的tf.Graph。在我们通常的tensorflow程序中，会默认给我们构建一个图，我们可以通过：tf.get_default_grap...
2019-04-03 10:07:33
603
原创 梯度下降及BP算法详细推导
BP算法随着深度学习的火热，人们在惊呼其效果之外，对其表现出如此效果的内在原理却知之甚少，为此，本文基于自己在之前课堂上学习到的知识对其内部工作情况做一个较为详细的介绍，考虑到目前主流机器学习还是基于随机梯度下降及BP算法进行网络参数的调整，为此本章将对BP算法进行详细的推导，希望能对刚入门的读者有所帮助，当然读者首先需要对神经网络有一定的了解。我们首先说一下梯度下降算法，假设我们有一个损失函...
2019-03-24 16:02:25
2575
原创 python extend用法
python extend用法arr1 = [1,2,3]arr2 = [[‘a’,‘b’]]arr1.extend([4])arr1.extend([5,6])arr2.extend([‘c’,‘d’])arr2.extend([[‘e’,‘f’]])print(arr1)print(arr2)PS: 若arr1.extend(4)将会报错...
2019-03-21 16:19:27
6745
1
原创 简易中文聊天机器人的构建
一、引言本教程目的是为了能够让读者从0到1构建一个简易版本的聊天机器人，同时对其中使用的API进行较为详细的介绍，目的是为了能够让读者在搭建完成一个聊天机器人的同时，也能知道其中的各个“零部件”到底是起着什么样的作用？而在本文中，为了叙述的连续性，所以并没有涉及到任何的理论知识，后续将会对理论知识进行整体的梳理。二、开发环境2.1. python-3.6.42.2. jieba-0.39...
2018-10-10 11:27:39
4134
2
原创 论文读后感
本文所思及所得都是基于KDD(2017)由滴滴出行发表的论文：A Taxi Order Dispatch Model based On Combinatorial Optimization一、问题引入在之前的出租车分配策略，都是顺序的将某个距离最近的出租车分配给一个候车人，初看起来，对于某个订单，我找到了距离最近的司机，这应该是合理的，但这并没有从全局进行考虑，所以并不会提升整体的接单成功率...
2018-09-27 18:01:09
2636
原创 机器学习之决策树
机器学习之决策树一、引言作为经典的统计学习模型——决策树，因为其算法简易性及模型的可解释性，被广泛的使用。说起决策树，大家最容易想到的就是IF-THEN规则，其实就是对不同的属性进行IF-THEN规则的划分，直到每个样本都能划分到某个叶节点上。对于决策树，我们将从以下六个方面进行阐述：1.决策树的生成2.决策树划分属性选择3.连续属性的处理4.缺失值的处理5.剪枝处理6.多变量决...
2018-09-26 15:16:25
219
原创 Scikit-learn 之 预处理模块
一、预处理的作用在机器学习任务中，学习器都会对数据有一定的要求，比如在最近邻算法中，我需要寻找与中心点最近邻的点，假设我们使用欧式距离度量，如果有一个属性值是千万量级，而另一个属性是100以内，那么如此计算的距离会严重依赖于大量级的属性，这对最后模型结果是有很大的影响的。总之，预处理的目的就是为了能够让学习器得到“干净”的数据。在机器学习任务中，学习器都会对数据有一定的要求，比如在最近邻算法中，...
2018-09-17 18:57:52
1159
原创 Tensorflow 之 embedding（一）
Tensorflow 之 embedding（一）目录1. embedding的含义2. tensorflow中embedding实现流程3. embbeding中如何进行查表4. 如何训练得到embedding表一、embedding的含义说一个常见的应用，例如在机器翻译应用中，当我输入中文 “我这是在干嘛了？”，然后需要将其翻译成英文，首先第一步你得需要让计算机知道...
2018-09-06 17:30:28
20770
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人