- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java位运算符总结
1. 左移（<<） 例如： 2 << 2，则是将数字2左移2位计算过程：2<< 2首先把2转换为二进制数字0000 0000 0000 0000 0000 0000 0000 0010，然后把该数字高位（左侧）的两个零移出，其他的数字都朝左平移2位，最后在低位（右侧）的两个空位补零。则得到的最终结果是0000 0000 0000 0000 0000 0000 0000 1000，则转换为十进制是
2016-12-27 17:15:35
544
原创 启动namenode节点报错：No space left on device
报错信息 sbin/hadoop-daemon.sh: line 177: echo: write error: No space left on device解决方法： vim /etc/profile加入下面两句话：export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Dja
2016-12-27 11:25:23
2072
原创 （3）Storm实时日志分析实战--编码实现
LogParserBolt类package com.ibeifeng.bigdata.storm.weglog;import backtype.storm.task.OutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.IBasicBolt;import backtyp
2016-12-27 11:08:54
2455
3
原创 （2）Storm实时日志分析实战--Topology的设计
需求日志数据样例： 215.187.202.215 - - [1481945172991] “GET/IBEIfeng.gif?order_id=1&orderTime=1481945172991&memberId=1234568970080798&productInfos=10009-2703.88-B-1|10001-2494.47-D-2|10003-2561.05-A-1&orderAm
2016-12-26 15:26:33
2526
2
原创 （1）Storm实时日志分析实战--项目准备
流程图Flume收集Nginx的日志，然后存在Kafka队列中，由storm读取Kafka中的日志信息，经过相关处理后，保存到HBase和MySQL中安装步骤Kafka从官网下载安装包， 解压到安装目录到kafka官网下载页面下载:http://kafka.apache.org/downloads版本：kafka_2.10-0.8.1.1.tgz$ tar -zxvf kafka_2.10-0.8
2016-12-23 16:55:21
4029
原创 Jdk1.8中的LinkHashMap实现原理
概述LinkedHashMap继承自HashMap，是Hash表和链表的实现，并且依靠着双向链表保证了迭代顺序是插入的顺序。如果 一个key重新插入到LinkedHashMap中，那么这个插入顺序是无效的，也就是说，如果m.put(K,V)时，调用m.containsKey(k),将会返回true，更新value值，但是顺序不变。public class TestLinkHashMap {
2016-12-23 11:14:45
1409
1
原创 Storm消息可靠性的保障机制
参考【并发编程网】的Storm官方教程翻译以WordCountToPology为例： // 构造Topology TopologyBuilder builder = new TopologyBuilder(); builder.setSpout(SPOUT_ID,new SentenceSpout(), 2)// 指定 Spout ,2 指的是使用2个executor来
2016-12-22 18:53:30
2905
原创 Storm并发设置
概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology一个worker可用包含一个或多个executor, 每个component (spout或bolt)至少对应于一个executor, 所以可以说executor执行一个compenent的子
2016-12-22 15:54:34
902
原创 WordCountTopology的实现
流程图如下：编写SentenceSpoutpackage com.ibeifeng.bigdata.storm.topo;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.IRichSpout;im
2016-12-21 18:10:34
1353
原创 Strom组件的介绍
Storm的整体架构Numbus：为主节点，主要负责任务的提交，集群任务的分配，以及集群的监控Zookeeper集群：存放心跳信息，集群状态，配置信息，接收来自Numbus要分发给Supervisor的任务Supervisor：负责从Zookeeper领取Numbus分发的任务，启动和停止自己管理的worker进程Worker：负责运行处理业务逻辑的ExecutorTask：worker中每
2016-12-21 17:38:19
873
原创 编写Strom启动和停止集群的脚本
（1）storm-start.sh#!/bin/bashSTORM_HOME=/work/opt/modules/storm-0.9.6#1.在本机上启动nimbus和ui进程nohup ${STORM_HOME}/bin/storm nimbus >/dev/null 2>&1 &nohup ${STORM_HOME}/bin/storm ui >/dev/null 2>&1
2016-12-20 18:33:08
1660
原创 停止storm任务的两种方式
（1）通过命令行[beifeng@bigdata01 storm-0.9.6]$ bin/storm kill wordcount其中，wordcout为topology的名称，即提交jar包是指定的topology名称（2）通过web页面点击wordcount进入topology详情页面： topology详情页面如下：点击ki
2016-12-20 17:21:24
13782
原创 Storm单机安装
这里选择安装0.96版本，按照官网的要求，还需要java1.6和Python2.6，因为我的系统已经安装了，所以不在安装（1）下载安装包，上传到Linux，解压到安装目录： tar -zxvf apache-storm-0.9.6.tar.gz -C /work/opt/modules/ （2）配置conf/storm.yaml storm.zookeeper.
2016-12-20 16:50:04
2416
Linux基础命令教程豪华版
2014-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人