Storm入门与实践(4)Storm的容错机制

转载自:并发编程网 – ifeve.comStorm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制,以及作为用户如何使用好 Storm 的可靠性机制。消息的“完整性处理”是什么意思一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如,有这样一个 word-count 拓扑:TopologyBuil...
阅读(162) 评论(0)

Storm入门与实践(3)通过WordCount展开Storm的编程之旅

介绍貌似WordCount已经成了大数据,分布式计算的入门标配程序,其实仔细想一下WordCount的例子,它还有很用应用的场景,例如统计过去一段时间网站中各个商品的浏览量,最近一段时间相同查询的数量等.本文主要讨论下Storm如何实现WordCountTopology结构WordCount的Topology比较简单,流程如下 主要代码Storm版本Storm:apache-storm-1.1.1...
阅读(324) 评论(0)

Storm入门与实践(2)构建Storm的开发环境与集群

1. Storm 技术栈Storm 运行在JVM之上,大部分功能都是通过Java与Clojure进行开发。 Storm的主要接口都是通过Java进行开发,但绝大多数的逻辑都是由Clojure进行实。 Python主要用来实现Storm的后台程序以及管理命令程序。2. Storm环境搭建在搭建Storm环境之前,需要对Java以及Zookeeper的环境进行配置2.1 安装基础依赖2.1.1 安装...
阅读(274) 评论(0)

Storm入门与实践(1)入门介绍

Storm 简介Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。Storm 核心概念Storm主要分为两种组件Nimbus和Superv...
阅读(300) 评论(0)

InfluxDB使用总结与性能优化

如果项目的功能模块中用到对时间特性比较敏感的数据,例如性能监控,趋势走向等需求时,InfluxDB将会是一个不错的选择,虽然其很强很彪悍,但只有在使用的过程中遵循一定规范与原则,才能发挥其良好的特性。本文会先介绍一些InfluxDB的基本概念,然后列出一些在设计Schema时应该注意的问题,最后列出一些常见的优化方式。基本介绍概念 Database: 数据库名,在 InfluxDB 中可以创建多个数...
阅读(1006) 评论(0)

Pydoop在AWS的Ubuntu上Segmentation fault 错误处理

问题描述平台用Python开发,使用pydoop对HDFS文件进行操作,当迁移到AWS时,出现Segmentation Fault, 通过排查,确定问题是因为调用了Pydoop对hdfs的初始化过程中出现的问题。 相关代码如下:from pydoop.hdfs import fs; print fs.hdfs()通过gdb调试,错误信息如下: 问题原因通过查阅资料,初步判断是由于堆栈溢出导致的...
阅读(568) 评论(0)

DDOS入门介绍(二):常见攻击手段与原理

DDos常用的攻击方式有多种:如SYN Flood,DNS query, ICMP Flood, UDP Flood等。本文从DDOS攻击资源种类的角度对常见的攻击手段进行描述1. 基础知识想要比较理解本文接下来的内容,需要对TCP有个简单的了解,本章节对相关概念做个简单的说明1.1 TCP1.1.1 TCP定义TCP(Transmission Control Protocol 传输控制协议)是一种...
阅读(856) 评论(0)

DDOS入门介绍(一):DDOS简介

定义分布式拒绝服务(DDoS:Distributed Denial of Service)攻击指借助于客户/服务器技术,将多个计算机联合起来作为攻击平台,对一个或多个目标发动DDoS攻击,从而成倍地提高拒绝服务攻击的威力。通常该攻击方式利用目标系统网络服务功能缺陷或者直接消耗其系统资源,使得该目标系统无法提供正常的服务。。攻击的方式DDoS攻击通过大量的请求占用大量网络资源,以达到瘫痪网络的目的。攻...
阅读(567) 评论(0)

使用uwsgi+nginx运行django程序

环境 Ubuntu:14.04 Python:2.7 部署代码 代码说明:样例代码参考Django官方例子 https://docs.djangoproject.com/en/1.10/intro/tutorial01/ 代码位置:https://github.com/Eric-aihua/django_sample 安装软件uwsgipip install uwsgiNginxapt-get in...
阅读(682) 评论(0)

程序员的机器学习入门笔记(十一):简单人脸识别系统实践

说明机器学习的一个主要应用范围就是对客观事物的识别,也成为模式识别。模式识别的主要研究目标就是赋予机器可以对生物的信息进行识别和处理。目前关于模式识别的应用已经得到了比较广泛的应用,例如 人脸识别,声音识别,瞳孔识别。在 前面两篇文章中(http://blog.csdn.net/eric_sunah/article/details/60139602) http://blog.csdn.net/eri...
阅读(2044) 评论(0)

程序员的机器学习入门笔记(十):人脸识别核心算法PCA的前世与今生(强烈推荐)

转载自:http://blog.codinglabs.org/articles/pca-tutorial.html######################################################################################################PCA(Principal Component Analysis)是一种常用的数据...
阅读(1941) 评论(1)

程序员的机器学习入门笔记(九):人脸检测之Haar分类器方法:Haar特征、积分图、 AdaBoost 、级联

一、Haar分类器的前世今生       人脸检测属于计算机视觉的范畴,早期人们的主要研究方向是人脸识别,即根据人脸来识别人物的身份,后来在复杂背景下的人脸检测需求越来越大,人脸检测也逐渐作为一个单独的研究方向发展起来。       目前的人脸检测方法主要有两大类:基于知识和基于统计。Ø  基于知识的方法:主要利用先验知识将人脸看作器官特征的组合,根据眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之间...
阅读(1323) 评论(0)

使用cProfiler对Python程序进行性能分析

介绍profiler是一个程序,用来描述运行时的程序性能,并且从不同方面提供统计数据加以表述。 Python中含有3个模块提供这样的功能,分别是cProfile,profile和pstats。这些分析器提供的是对Python程序的确定性分析。同时也提供一系列的报表生成工具,允许用户快速地检查分析结果。Python标准库提供了3个不同的性能分析器: - cProfile,推荐给大部分的用户,是C的...
阅读(705) 评论(0)

使用PDB调试Python程序的完整实践

介绍在开发简单程序的时候,可以通过加入print或是log的方式进行程序的调试,但是对于复杂的程序这种方式往往比较困难,这时就需要引入一种可以进行单步调试以及可以方便查看变量的方法来进行程序问题的排查,Python 的pdb就是用来解决这个问题的。常用命令 命令 用途 break 或 b 设置断点 continue 或 c 继续执行程序, 或是跳到下个断点 list 或 l...
阅读(688) 评论(0)

使用pyenv和virtualenv搭建python虚拟环境实践总结

介绍出于种种原因,很多人的电脑上会同时安装很多个版本的 Python,比如会有 2.7 + 3.4。一般在 windows 下我们都可以通过使用绝对路径的方式来绕过系统对 PATH 环境变量的查询;在 Linux 下除了这种方式外,还可以在脚本文件开头显示指定需要使用的解释器,就像这样:#!/usr/bin/env python2.7 或 #!usr/bin/env python3.4。一旦特定版本...
阅读(1268) 评论(2)
330条 共22页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:825468次
    • 积分:10726
    • 等级:
    • 排名:第1583名
    • 原创:228篇
    • 转载:96篇
    • 译文:6篇
    • 评论:171条
    博客专栏
    最新评论