2016年10月_07H_JH

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 Palo

区别于Kylin它底层用的mpp，Palo是百度基础架构部数据团队所开发的一套面向大规模数据分析的并行数据库系统。主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析（OLAP）服务。Palo 的一个很大的特色是:将会满足报表和OLAP分析这两类不同的需求。Palo在整个分析体系中所承担的是数据库的角色，只是这个数据库是并行的、面向分析的数据库系统。然后在

2016-10-24 17:59:52 6002

原创 PaddlePaddle

贾扬清深度学习（Deep Learning）、机器学习话题优秀回答者靖难等 469 人赞同今天刚看到的，简单说一些第一印象（以目前的github repo为准）。整体的设计感觉和Caffe心有灵犀，同时解决了Caffe早期设计当中的一些问题（比如说default stream）。1. 很高质量的GPU代码2. 非常好的RNN设计3. 设计很干净，没有太

2016-10-22 18:59:21 4707 2

转载 Fully Convolutional Networks for Semantic Segmentation(全卷积网络FCN）

可以看看：https://github.com/jinhang/fcn【论文信息】《Fully Convolutional Networks for Semantic Segmentation》CVPR 2015 best paperReference link: http://blog.csdn.NET/tangwei2014http://blog.c

2016-10-22 18:43:18 1244

转载 R-FCN: Object Detection via Region-based Fully Convolutional Networks

1. 简介物体检测的深度网络按感兴趣区域 (RoI) 池化层分为两大主流：共享计算的全卷积子网络 (每个子网络与 RoI 无关) 和不共享计算的作用于各自 RoI 的子网络。工程分类结构 (如 Alexnet 和 VGG Nets) 造成这样的分流。而工程上的图像分类结构被设计为两个子网络——1个后缀1个空间池化层的卷积子网络和多个全连接层。因此，图像分类网络中最后的空间池化层自然变成了

2016-10-22 18:40:46 1044 2

原创 SSD: Single Shot MultiBox Detector

有参考：http://blog.csdn.net/u010167269/article/details/52563573SSD: Single Shot MultiBox DetectorBy Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng

2016-10-22 18:39:22 3581 4

ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用，尤其是在添加数据的时候，可以使用分布式任务来添加索引数据，尤其是在数据平台上，很多数据存储在Hive中，使用Hive操作ElasticSearch中的数据，将极大的方便开发人员。这里记录一下Hive与ElasticSearch整合，查询和添加数据的配置使用过程。基于Hi

2016-10-10 14:54:28 2160

转载 ES集群安装配置

ElasticSearch是一个开源搜索服务框架，它已经成为搜索解决方案领域的重要成员。ElasticSearch还经常被用作文档数据库，这主要得益于它的分布式特性和实时搜索能力，另外，ElasticSearch支持越来越多的聚合功能，而且和Yarn、Hadoop、Hive、Pig、Spark、Flume等大数据处理框架的兼容性越来越好。我主要是想调研一下看是否能将它用于实时的数据搜索统计、以及实

2016-10-10 14:53:37 1335

转载 SQL for ES

之前介绍过ElasticSearch，它部署简单，搜索聚合功能强大，而且和其他大数据框架整合起来使用，有一点比较不方便，就是查询都需要通过JSON作为请求Body来提交查询，请求响应也是JSON，作为习惯使用SQL的我，迫不及待的试用了一下Crate（crate.io），它是在ElasticSearch之上封装了SQL接口，用户可以通过SQL语句来完成搜索和统计，支持的SQL语法还蛮多的，很想My

2016-10-10 14:52:25 5261

转载 ES in BI

一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io）太过复杂，整个Druid由5、6个服务组成，而且加载数据也不太方便，性能一般，亦或是我还不太会用它。后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求。ElasticSearch相信大家都很熟悉了，它在搜索领域已经有了举足轻重的地位，而且也支持越来越多的聚合统计功能，

2016-10-10 14:51:19 946

转载 elasticsearch命令

1.如何关闭ES，elasticsearch关闭办法1.使用head插件找到想关掉的节点进行关停2.使用命令kill杀掉服务器的ES进程即可1.查找ES进程ps -ef | grep elastic2.杀掉ES进程kill -9 2382（进程号）3.重启ESsh elasticsearch -d2

2016-10-10 11:24:32 6204

转载 Prometheus

Visit prometheus.io for the full documentation, examples and guides.Prometheus, a Cloud Native Computing Foundation project, is a systems and service monitoring system. It collects metrics from co

2016-10-06 11:11:42 1052