choushi5845-CSDN博客

转载 Zookeeper系列（三）：应用场景

Zookeeper被广泛应用于各种分布式集群场景中，比如Hadoop、Storm、Spark、Kafka等，要想学好大数据分析，不可避免的要用到大规模机器集群，了解和掌握Zookeeper的工作原理将会对学好大数据分析起到事半功倍的作用。 1、实时配置文件 Zookeeper可以作为互联网...

2019-09-06 16:43:00 251

转载 Zookeeper系列（二）：Java API开发

ZooKeeper还为客户端提供了Java API编程接口的方式。API接口主要是ZooKeeper类中的方法，下面列举几个常用的客户端操作的Java代码示例。 1、create 创建ZooKeeper路径节点，参数需提供路径名称和路径关联数据。对应create命令。示例代码如下： ...

2019-09-06 16:07:00 240

转载 Zookeeper系列（一）：它是干什么的

Zookeeper是一款开源的分布式存储系统。 ZooKeeper主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Zookeeper分成客户端和服务端两部分，服务端通常运行于集群模式，统一为客户端提供分布式数据一致...

2019-09-06 15:53:00 443

转载几大规律

1、联动规律联动和跟风是同一件事。当一个人往屋子外面跑的时候，很快就会有第二个人、第三个人接着往外跑，最后形成一股浪潮。这就是联动规律。 2、气竭规律一鼓作气、再而衰、三而竭。这个规律自古以来就是百试不爽。 3、物极必反任何事物发展到极端总会发生逆转。这三个规律总是跟随着运...

2019-09-06 15:08:00 345

转载老侯带你学Tensorflow之19篇

学习一门新技术，一定要有技巧，找到学习的捷径就能事半功倍。现如今人工智能产业发展迅猛，作为一名程序员来说，不懂点深度学习的知识很容易被时代抛弃。那么应该学习什么技术呢？笔者以为当今世上有两大深度学习框架值得研究，一个是大名鼎鼎的Tensorflow，它是谷歌公司出品的开源框...

2019-09-04 00:14:00 142

转载线性回归、损失函数和梯度

实例首先举个例子，假设我们有一个二手房交易记录的数据集，已知房屋面积、卧室数量和房屋的交易价格，如下表：假如有一个房子要卖，我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的回归问题，这边文章主要讲回归中的线性回归问题。线性回归（Lin...

2019-09-03 19:01:00 2419

转载什么是残差网络（ResNet）？

1、残差残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。在集成学习中可以通过基模型拟合残差，使得集成的模型变得更精确；在深度学习中也有人利用layer去拟合残差将深度神经网络的性能提高变强。这里笔者选了Gradient Boosting和Resnet两个算法试图让大家更感性的认识...

2019-09-02 17:48:00 10836

转载深度学习中用到的几种图像操作

视频抽取图片如何从视频文件中分解出一张张独立的图片？视频其实就是一张张的图片，利用opencv库可以很容易的从视频文件中抽离出图像文件来，下面我们就看一段示例代码是如何从视频文件中抽取出多张图片的。例子： import cv2cap = cv2.VideoCaptu...

2019-09-02 17:41:00 2476

转载 tensorflow怎么做个性推荐？

个性推荐算法说的很多了，常用的模型是： U*V= Q 其中Q是评分表，一般共3列：用户id，物品id，评分值 U是用户特征表，V是物品特征表。算法的最终目标就是从Q算出U和V。那么Spark Mllib里有ALS算法可以做矩阵分解，其基本原理是最小交叉二乘法，用到了Breeze库的矩...

2019-09-02 17:24:00 609

转载几招让菜鸟程序员变高手

程序员分好多种，顶端的比如阿里腾讯头条的大拿、算法博士、资深架构师等（这里笔者只讨论纯粹技术开发，管理岗不在讨论范围之内）；中端的往往是有几年开发经验的工程师，老实说在笔者看来这个阶段的程序员绝大部分都搞不清楚怎么写出优雅的代码；最低端的当然是刚出校门的小白了，没有什么实战经验，在学校里学的又...

2019-09-02 16:20:00 155

转载强化学习Actor-Critic算法究竟是怎么回事？

我们有了像Q-learning这么好的算法,为什么还要再折腾出一个Actor-Critic算法呢?原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作,而Q-learning 做这件事会瘫痪。那为什么不直接用...

2019-09-02 10:25:00 3681

转载强化学习之策略梯度(Policy Gradient)

策略梯度（Policy Gradient）的基本思想，就是直接根据状态输出动作或者动作的概率。注意这里和DQN的区别就是DQN输出动作获取的Q值，而Policy Gradient输出的是动作的概率，两者的输出维度是一样的，但是含义不同。我们使用神经网络输入当前的状态，网络就可以输出我们在这...

2019-09-01 00:02:00 2024

转载生成对抗网络（GAN）是干什么用的？

什么是生成对抗网络？生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminativ...

2019-08-31 23:44:00 39135

转载什么是卷积和池化

在传统的神经网络中，比如多层感知机（MLP），其输入通常是一个特征向量，需要人工设计特征，然后将这些特征计算的值组成特征向量，在过去几十年的经验来看，人工找到的特征并不是怎么好用，有时多了，有时少了，有时选择的特征根本就不起作用（真正起作用的特征在浩瀚的未知里面）。这就是为什么在过去卷积神经网...

2019-08-31 23:34:00 18935

转载如何开始我的第一个人工智能模型（tensorflow）

安装tensorflow 大家都知道tensorflow是google开发的一款开源的深度学习编程框架，是当今最流行的深度学习开发框架，因此对有志于深度学习研究的小伙伴来说，tensorflow是当仁不让的第一选择。首先看看tensorflow的安装，其实非常简单，在pytho...

2019-08-31 23:04:00 1373

转载强化学习的平衡车游戏

openAi开源了一个叫gym的游戏库，这个库里有好多小游戏可以用来做强化学习试验，比如Cart Pole平衡车小游戏。 gym的Cart Pole环境 Cart Pole在OpenAI的gym模拟器里面，是相对比较简单的一个游戏。游戏里面有一个小车，上有竖着一根杆子。小车需要左右移动来保持...

2019-08-31 00:40:00 1973

转载强化学习DQN

强化学习中有两种重要的方法：Policy Gradients和Q-learning。其中Policy Gradients方法直接预测在某个环境下应该采取的Action，而Q-learning方法预测某个环境下所有Action的期望值(即Q值）。一般来说，Q-learning方法只适合有少量离散...

2019-08-30 17:12:00 1679

转载强化学习DDPG的tensorflow代码

Deep Deterministic Policy Gradient简称DDPG。它是在DPG的基础上，为了提高神经网络的稳定性，而参考DQN的实现方式提出的。DDPG建立两个网络，一个target网络，一个eval网络，同时使用经验回放机制。Deep，其含义主要就是使用经验池和双网络结构来促...

2019-08-30 15:36:00 2845

转载全连接层和激活层

1.全连接层经过前面若干次卷积+激励+池化后，终于来到了输出层，模型会将学到的一个高质量的特征图片全连接层。其实在全连接层之前，如果神经元数目过大，学习能力强，有可能出现过拟合。因此，可以引入dropout操作，来随机删除神经网络中的部分神经元，来解决此问题。还可以进行局部归一化、数据增...

2019-08-27 13:16:00 20946

转载 Tensorflow手写识别MNIST之CNN模型

tensorflow很擅长于搭建神经网络做图像识别任务，我们用MNIST手写图像集来做数据源，试验经典的深度学习CNN模型。（1）导入mnist数据集，这里图像image是[batch_size,784]大小，labels是[batch_size,10]大小（2）设置X、Y占位符 ...

2019-08-20 19:33:00 148

转载 Tensorflow影视情感分析IMDB之LSTM篇

用LSTM模型，大部分和IMDB的cnn算法类似，lstm原理这里就不介绍了，只要理解lstm是处理有序文本的带有记忆功能的神经网络模型就可以了。代码： #import warnings#warnings.filterwarnings('ignore')import tensor...

2019-08-16 17:51:00 1374

转载 cnn文本模型分类影视情感数据IMDB（CNN模型）

1. cnn语言模型先大概了解一下cnn语言模型的基本原理。 cnn语言模型的基本原理和cnn图像模型类似，也是先通过卷积层提取特征，然后通过池化层减少神经元数量，最后通过类似softmax层输出类别可能性。不同点在于数据结构不一样，图像数据是3维度的，长、宽和通道数；而语言模型是2...

2019-08-16 10:12:00 2265

转载个性推荐算法的Spark和Tensorflow实现对比