剪刀手麦小孩-CSDN博客

原创 cluster模式下storm kill topology时做cleanup的解决方法

[时间是让人猝不及防的东西，晴时有风阴时有雨]1.背景在bolt中，需要在topology被关闭前执行某个操作，而根据官方文档：The cleanup method is called when a Bolt is being shutdown and should cleanup any resources that were opened.

2016-06-15 17:47:29 5778 5

原创 coffeescript实现nodejs前端csv文件下载

[There's a nicer way.]代码段如下：# alllw the browser to create a CSV file and download it.# _arrays = [[..], [..],.., [..]]# ps: "\uFEFF" to solve the problem of wrong display of chinese in excel

2013-11-21 15:14:39 1661

原创 nodejs异步非阻塞IO及实例(cs)

[node-sync is a simple library that allows you to call any asynchronous function in synchronous way.] nodejs的最大特点，事件驱动，异步非阻塞，有且只有一个线程。（1）异步的初步理解nodejs包含大量异步过程和回调函数（callback），下面的代码实现了ls的功能

2013-10-29 16:32:29 2151

原创 gpload导入常见问题汇总

[东篱把酒黄昏后，有暗香盈袖]greenplum version : 4.3.11.3背景：java写文件后使用gpload命令导入greenplum报错信息：invalid byte sequence for encoding "UTF8” 0x00fix: 代码中使用replaceAll("\\u0000","") 2.报

2017-04-25 14:46:19 5312

原创 storm中的log4j到logback的迁移（自定义日志）

[Everyday it gets a little easier. But you gotta do it every day. That's the hard part. But it does get easier. ——Bojack Horseman S2E12]1.背景代码里的自定义日志打印使用的是log4j，storm使用的是logback，自定义日志输出。

2016-11-09 17:12:58 5274

原创 Java按行读取正在被动态写入的大文件实例--使用BufferedInputStream(2)

[like Sunday like rain]1.适用场景适用于正在被动态按行写入的大文件的读取和处理。2.BufferedInputStream类使用原因之前使用的RandomAccessFile类速度太慢，影响了整个流程的吞吐量。使用了BufferedInputStream的skip方法，跳过已经读过的部分。3.codeimport java.io.Buff

2016-07-04 15:31:38 2557

原创 storm定时任务使用实例

[http://twitter.github.io/heron/docs/getting-started/]1.背景需要在bolt中定时执行某些操作2.方法都是利用系统自带的定时tuple来完成，相当于系统自动发一个带有特殊标记的tuple，然后自己在bolt中判断，若为此特殊tuple，执行定时函数。(1)如果所有bolt都需要定时，可在topology入

2016-06-15 21:51:12 7720 2

原创 storm的kafkaSpout实例

单节点kafkaSpout实例

2016-04-25 23:56:32 10785 4

原创 flume-ng+kafka单机安装测试

flume-ng整合kakfa单点安装与测试

2016-04-18 21:59:33 2198

原创 Java按行读取正在被动态写入的大文件实例--使用RandomAccessFile(1)

[like Sunday like rain]1.适用场景适用于正在被动态按行写入的大文件的读取和处理。2.RandomAccessFile类主要方法（1）length：获取当前文件的长度（2）seek：指针从文件某个部分开始（3）getFilePointer：指针当前所处位置3.codeimport java.io.File;import java.io

2016-03-21 16:05:32 3953

原创 hive本地安装

hive 在OS系统下安装

2016-03-21 12:08:55 846

原创 hadoop & hbase 集群安装&启动常见问题解决

hadoop & hbase 集群安装 & 启动常见问题解决

2015-08-30 23:16:08 944

原创 mysql insert into & replace into & insert ignore into

[在每个繁星抛弃银河的夜里，我会告别，告别我自己，因为你不知道，你也不会知道，逝去的就已经失去...]

2014-07-20 12:45:36 939

原创 mac下iterm2闪退

这个时候，shell已经无法使用

2014-06-23 21:51:59 7949 2

原创 mysqldump报错及解决

背景如下：在A机器倒B机器d

2014-06-20 11:14:12 1541

原创 javascript事件

更多详情参考：http://www.w3school.com.cn/jsref/jsref_events.asp

2014-06-11 14:29:28 691

原创 mysqldump VS mysqlhotcopy及脚本实例

1.mysqlhotcopy- 优点 - 速度快- 缺点 - 只支持MyISAM引擎 - 需要安装perl语言及配置支持环境，因为hotcopy由perl写成 - 选项参数较少，功能不够强大，比如不提供--where选项，无法选取某部分数据备份 - 只能运行在数据库目录所在的机器上 2.mysqldump- 优点 - 支持MyISAM和in

2014-05-01 11:59:18 1601

原创 nodejs常见报错及解决方法

1.listen EADDRINUSE

2014-04-16 18:00:33 3268

原创 nodejs包管理之commander

[ 一个人需要隐藏多少的秘密，才能巧妙地度过一生？——《白日焰火》]1.简介 commander是npm依赖排名前十之一的模块，主要作用为命令行辅助，类似模块还有optimist2.安装 npm install commander 3.特点 help自动生成强制选项选项参数解析4.实例#!/usr/bin/e

2014-03-27 17:27:59 4517

原创网站分析基础（三）——分辨虚假流量的常用方法

[大包整多两笼唔怕滞](1)查看流量产生的时间查看访问量变化趋势图，在除去访问高峰的时间段，一般都应该是平滑曲线，如果发现流量突增的情况，非常可疑。(2)查看流量的地理来源如果流量来源都集中在某个地区，非常可疑（排除广告只针对某个地区的访客）(3)查

2014-03-23 15:53:40 1489

原创 git hooks 入门及实例

[要敢于接受一些挑战，那才是快速学习的机会。]1.定义 git的挂钩即位于./git/hooks目录下的一些脚本2.分类（1）服务器挂钩，用于 Git 服务器端的操作，如接收被推送的提交（2）客户端挂钩，用于客户端的操作，如提交和合并

2014-03-13 14:09:31 4013

原创 git stash基本用法

[不论旅程多长，书都是我最好的旅行伙伴。]应用场景：在某个分支上工作突然被打断，需要checkout到另一个分支，这时有些文件不想commit作用：'储藏'可以获取你工作目录的中间状态——也就是你修改过的被追踪的文件和暂存的变更——并将它保存到一个未完结变更的堆栈中，随时可以重新应用命令：git stash

2014-03-08 15:02:34 2048

原创 emacs配置下coffee环境

[人们总说，要忠实于自己。但这其实是误导人的。因为有两种自己，一个是短期的自己，一个是长期的自己。如果你只忠实于短期的自己，那长期的那个自己就会慢慢消逝。]emacs下配置coffee的环境，首先需要找coffee-mode，github上的开源地址：https://github.com/defunkt/coffee-mode(1) 找到coffee-mode并下载到emacs配置

2014-03-08 14:36:44 1414 1

原创 ssh key问题解决

[]某些情况下，原来的ssh连接会失效，比如误删了~/.ssh下面的东西。这时，需要重新生成key并加入gitlab或github中。终端下运行：ssh-keygen -t rsa -C "your@email"cat ~/.ssh/id_rsa.pub 然后将newkey加入gitlab/github中即可。有时，虽然采取了上面的方法，还会

2014-02-10 15:22:45 1976

原创 oauth对接流程

[我今日所做的事远比我往日的所作所为更好…… 《双城记》狄更斯]授权过程如下：参数说明：获取授权码请求url：https://openapi.360.cn/oauth2/authorize请求参数：参数名参数选项参数值介绍client_id必选创建

2014-01-22 17:07:15 2287

原创 git单文件恢复操作

[养成完善和保存设计稿的习惯。]首先明确一下git文件的三种状态：对于任何一个文件，在 Git 内都只有三种状态：已提交（committed），已修改（modified）和已暂存（staged）。已提交表示该文件已经被安全地保存在本地数据库中了；已修改表示修改了某个文件，但还没有提交保存，处于工作目录；已暂存表示把已修改的文件放在下次提交时要保存的清单中，处于暂存区域。

2014-01-21 14:32:13 1566

原创 coffeescript语法--问号详解

[这周弄360的事情弄得很烦。。。]之前看coffeescript程序设计，对？的用法介绍也不太详细，用着用着就混了，所以特地找时间做这个总结。（1）基本定义问号一般都跟在变量的后面，意思是这个变量是否是null或者undefined以外的值。举个例子：a = 1a?这时，返回的将是true，如果a没有定义或者为null，返回值是falsePS：值得注意

2014-01-12 18:14:40 2275

原创 nodejs实现通过邮件代理发送邮件功能(cs)

nodejs下有很多发邮件的模块，本文中的并没有使用，而是采用封装request的方法，实现了邮件的发送；另外，发送内容可以是命令行直接输入，也可以从其他文件的输出得到。首先，封装request方法，文件名为funcs.coffee：request = require "request" funcs = httpPost: (_options, _content, _cb = -

2014-01-05 17:41:17 2335

原创 nodejs入门--path模块及实例(cs)

[一个人的优点随时有可能变成ta的弱点----万箭穿心]nodejs的path模块是一个非常基础的模块，里面包含了一些关于路径的基本功能。虽然功能实现很简单，但用处很大，下面重点介绍几个比较常用的功能并附上实例。1.path.normalize 用于规范得到的路径，需要注意的是三种情况： # 第一种情况为路径不规范，见path1，结果为a/b/c

2013-12-23 15:58:22 1787 2

原创网站分析基础（二）网站流量来源简介

[做人要敢想，定一个目标，然后才能想如何实现，站的高度不同了，想法和行为自然就变了。]网站中常见的流量分类为：推介网站流量、搜索引擎流量和直接访问流量。我司将其分为五种，直接访问量、搜索引擎流量、社交网络流量和推荐流量，另外，在判断前会先判断在track是否有广告位参数，如果有则为推广流量。其实就是将三种分类方法中的推介又细分成两类，并加入特有的推广流量。

2013-12-15 22:31:53 1526

原创 cs使用zclip实现前端复制到剪贴板的功能

[如果你想获得一件从未拥有的东西，就得做一件从未干过的事情。]1.首先使用的插件是jquery的zclip剪贴板插件，可以从官网下载得到。在config文件中加入如下一行，'vendor/scripts/jquery.zclip.js'，并将jquery.zclip.js和压缩文件都拷至vendor/scripts/路径下，将ZeroClipboard.swf拷至app/ass

2013-12-06 17:25:42 1300

原创网站分析基础（一）

[誓要去，入刀山；豪气壮，过千关]数据获取方式常见获取数据方式有三种，网站日志文件（log files），Web Beacons（打点），JS页面标记（js tags）。我们目前使用的是第三种，日志服务器有两台，应用服务器4台，应用服务器

2013-12-01 16:12:27 1476

原创 HTML&CSS入门(二)之typography

[Dearest Cecilia, the story can resume. The one I had been planning on that evening walk. I can become again the man who once crossed the surrey park at dusk, in my best suit, swaggering on the prom

2013-11-15 12:01:50 1707

原创 HTML&CSS 入门（一）

[The world is a fine place,and worth fighting for. I agree with the second part.]1.block VS inline elements 块和內联元素是两个非常基本的概念。最开始写前端的时候我并不很明白这些基本的概念，所以写起来有些莫名其妙，现在一点点地补充这些基本知识。在html里，所有的元素

2013-11-08 23:10:04 972

原创 git不常用但好用分支管理命令

[要么读书，要么旅行，灵魂和身体，必须有一个在路上] git不常用但好用分支管理命令无论如何，还是先介绍基础的分支命令。所谓基础，可以理解为只在本地进行的分支操作。（1）创建分支： git branch branch-name 或者 git checkout -b branch-name，后者等同于前条命令再加上git checkout branch-name

2013-10-24 09:38:16 950

原创 linux sort的用法

[ 微博发了4000多了，blog这是第一篇。] sort用法 sort是一个基本的linux命令，用于排序，常用的选项有-n, -t, -k：（1）基本用法：命令行直接输入： sort filename.txt，将会输出排序后的结果但是原文件并没有发生改变。如果需要，可以重定向到新文件 sort filename.txt > new

2013-10-18 18:04:58 2999

剪刀手麦小孩的全端之路