2017年02月_yanhx1204

转载 Python笔记——类定义

http://blog.csdn.net/wklken/article/details/6313265

2017-02-21 15:43:06 239

转载 Linux添加/删除用户和用户组

本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户：adduser phpq //新建phpq用户passwd phpq //给phpq用户设置密码2、建工作组groupadd test

2017-02-15 10:21:30 303

原创 kafka-python

UsageKafkaConsumerfrom kafka import KafkaConsumer# To consume latest messages and auto-commit offsetsconsumer = KafkaConsumer('my-topic', group_id='my-group',

2017-02-10 11:01:29 3301

转载 kafka单机版环境搭建与测试

一、前期的准备1.Linux环境在VMware 下安装了Ubuntu14.04(32位), 内存分配 :1G;2.kafka下载kafka官网下载kafka的压缩包，本文用的是 kafka_2.9.2-0.8.1.tgz在Home下新建一个文件夹test_kafka,并将kafka_2.9.2-0.8.1.tgz放在其中,并解压[java] view plain

2017-02-10 10:05:26 966

转载 storm 入门原理介绍

1.Hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行

2017-02-09 11:15:31 307

转载 storm问题排查

提交topology成功后，发现运行不正常验证topology提交成功：打开nimbus ui，看看提交的topology是否存在检查自己的topology，在ui中点击自己的topology后查看spout是否有emit计数，如果有，那么storm集群ok，如果不正常，那是程序的问题在ui中看看是否有可用的supervisor在ui中看是否有free slot在ui中检查自己的topol

2017-02-09 10:37:47 301

转载使用Maven编译运行Storm入门代码(Storm starter)

Storm 官方提供了入门代码（ Storm starter ），即Storm安装教程中所运行的实例（storm-starter-topologies-0.9.6.jar），该入门代码位于 /usr/local/storm/examples/storm-starter/ 中，包含多个例子，对于学习 Storm 很有帮助。同时官方也有给出了详细的使用说明（上述目录下的 README.markd

2017-02-06 17:10:10 2549

转载 maven核心，pom.xml详解

什么是pom? pom作为项目对象模型。通过xml表示maven项目，使用pom.xml来实现。主要描述了项目：包括配置文件；开发者需要遵循的规则，缺陷管理系统，组织和licenses，项目的url，项目的依赖性，以及其他所有的项目相关因素。快速察看： 4.0.0 ... ... ... ... ... ...

2017-02-06 16:53:24 201

转载 ubuntu中apt-get安装与默认路径

一、apt-get 安装deb是debian linus的安装格式，跟red hat的rpm非常相似，最基本的安装命令是：dpkg -i file.deb或者直接双击此文件dpkg 是Debian Package的简写，是为Debian 专门开发的套件管理系统，方便软件的安装、更新及移除。所有源自Debian的Linux发行版都使用dpkg，例如Ubuntu、Knoppix 等。以

2017-02-06 15:37:41 2196

转载如何学习Storm

Storm官方建议的学习Storm的过程如下。1. Storm的基本知识Javadoc文档概念配置保证消息处理（Guaranteeing message processing）容错（Fault-tolerance）命令行客户端（Command line client）理解Storm拓扑的并行度常见问题解答FAQ2. TridentTrident是Stor

2017-02-06 10:19:55 297

转载 storm多种编程语言优缺点

除了用Java实现spout和bolt，你还可以使用任何你熟悉的编程语言来完成这项工作，这一切得益于Storm所谓的多语言协议。多语言协议是Storm内部的一种特殊协议，允许spout或者bolt使用标准输入和标准输出来进行消息传递，传递的消息为单行文本或者是json编码的多行。Storm支持多语言编程主要是通过ShellBolt,ShellSpout和ShellProcess这些类来实现的，

2017-02-06 10:11:00 6572

转载 Ubuntu下的文件比较工具--meld

在ubuntu中需要比较文件的差异，于是安装meldapt-get install meld 安装完后，在/usr/bin/下找到meld,然后发送到桌面上，或者在命令行执行meld命令打开后选择：file->new ,打开文件选择界面，输入两个文件的路径，后即可看到两个文件的差异情况。界面很不错奥。转载请注明：http://blo

2017-02-04 14:24:24 274

转载 Maven 与 IntelliJ IDEA 的完美结合

你是否正在学习Maven？是否因为Maven难用而又不得不用而苦恼？是否对Eclipse于Maven的冲突而困惑？那么我告诉你一个更直接更简单的解决方案: IntelliJ IDEA！1. 什么是 Maven，为什么要使用 Maven 而不是 Ant Maven简单来说是一个项目管理工具，被认为是Ant的替代品或者继任者。事实上Maven的功能要远远超出Ant，它不仅仅提供编译的脚本

2017-02-04 11:16:53 995

参考：http://www.hao-jiang.com/pages/operating-systems/mavenenvironment.html和http://www.voidcn.com/blog/get_set/article/p-5036524.html操作系统Linux node01 4.2.0-16-generic #19-Ubuntu SMP Thu Oct 8 15:35:06 U

2017-02-04 09:43:08 881

转载 Storm入门学习随记

推荐慕课网视频：http://www.imooc.com/video/10055 ====Storm的起源。Storm是开源的、分布式、流式计算系统什么是分布式呢？就是将一个任务拆解给多个计算机去执行，让许多机器共通完成同一个任务，把这个多机的细节给屏蔽，对外提供同一个接口、同一个服务，这样的系统就是分布式系统。在多年以前并没有非常范用的分布式系统，即使

2017-02-03 15:16:17 263

转载 IntelliJ IDEA 运行你的第一个Java应用程序

IntelliJ IDEA 运行你的第一个Java应用程序创建项目让我们创建一个简单的JavaHello World项目。单击创建新的项目。打开新建项目向导。你应该注意的主要是项目的SDK。SDK（软件开发套件）是一套软件开发工具，可以让你更快的开发应用程序。IntelliJ IDEA的不包括SDK，所以如果你有没有，下载并安装它。因为我们做一个Java项目，我们需要一个Jav

2017-02-03 14:48:53 4352

转载 Storm中-Worker Executor Task的关系

Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系：注：supervisor.slots.ports:对于每个工作节点配置该节点可以运行多少个worker进程。每个worker进程使用一个但单独的端口来收取消息，这里配

2017-02-03 10:18:22 1590

yanhx1204的专栏