wangqiaowqo的专栏

Java关键字final、static使用总结 一、final 根据程序上下文环境，Java关键字final有“这是无法改变的”或者“终态的”含义，它可以修饰非抽象类、非抽象类成员方法和变量。你可能出于两种理解而需要阻止改变：设计或效率。 final类不能被继承，没有子类，final类中的方法默认是final的。 final方法不能被子...

加载本地包，且没有pom相关信息的jar[code="java"] com.test.mr mr 1.1.2-SNAPSHOT system ${basedir}/src/main/resources/lib/mr.jar [/code]...

功能说明：读取标准输入的数据，并将其内容输出成文件。语　　法：tee [-ai][--help][--version][文件...]补充说明：tee指令会从标准输入设备读取数据，将其内容输出到标准输出设备，同时保存成文件。参　　数：　-a或--append 　附加到既有文件的后面，而非覆盖它．　-i-i或--ignore-interrupts 　忽略中断信号。　...

hadoop计数器http://blog.csdn.net/javaman_chen/article/details/8569149基于计算机资源分析hadoop的默认counterhttp://www.cnblogs.com/ggjucheng/archive/2013/05/08/3065220.html

http://www.cnblogs.com/sunxucool/p/3799190.htmlelasticsearch配置文件详解path.data: /path/to/data设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：path.data: /path/to/data1,/path/to/data2...

http://www.cnblogs.com/sunxucool/p/3799190.htmlelasticsearch配置文件详解path.data: /path/to/data设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：path.data: /path/to/data1,/path/to/data2...

http://www.cnblogs.com/nexiyi/p/hbase_shell.html[code="java"]select f.rowKey,f.id,f.bid,f.userId,f.siteId,f.name,f.type,f.lstClientInfo,f.lstVisitInfo,f.lstChatInfo,f.lstCbInfo,f.fstVisitTim...

---查看系统默认的最大文件句柄数，系统默认是1024# ulimit -n1024 ----查看当前进程打开了多少句柄数# lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more131 24204　57 24244　　57 24231　　 ........其中第一列是打开的句柄数，第二列是进程ID。可以根据I...

删除列族使用alter，也可以删除列族。下面给出的是使用alter删除列族的语法。hbase> alter ‘ table name ’, ‘delete’ => ‘ column family ’ 下面给出的是一个例子，从“emp”表中删除列族。假设在HBase中有一个employee表。它包含以下数据：hbase(main):006:0> scan '...

(1) 使用top命令找出占用cpu最高的JAVA进程top -cPID USER    PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND         6965 root      20   0    57.3g  27g 1.0g S 303.5 58.4   3243:41 /usr/local/......

lscpu 查看cpulsblk 查看硬盘1，查看CPU信息：cat /proc/cpuinfo2，查看板卡信息：cat /proc/pci3，查看USB设备：cat /proc/bus/usb/devices4，查看PCI信息：lspci (相比cat /proc/pci更直观）5，查看内存信息：cat /proc/meminfo6，查看键盘和鼠标:cat /pr...

使用nexus搭建maven仓库（本地私服）http://www.cnblogs.com/demingblog/p/3840174.html

使用nexus搭建maven仓库（本地私服）http://www.cnblogs.com/demingblog/p/3840174.html

linux jdk中文编码设置使用ES时 发现写入的java task任务 写入中文时 为乱码因此修改 java task任务所在linux服务器的 LANG参数具体如下：修改cat .bash_profile[code="java"]export LANG=zh_CN.UTF-8[/code]source .bash_profile...

CWD ：Change Working Directory，變換目錄之意；MKD ：MaKe Directory，可建立目錄與否；RNFR ：ReName FRom，可更改檔名與否；DELE ：DELEt，可刪除檔案語法；RMD ：ReMove Directory，可移除目錄與否；RETR ：RETRieve，下載之意！由 Server 傳送資料到 Client；...

Linux中变量$#,$@,$0,$1,$2,$*,$$,$?的含义 # touch variable# vi variable 脚本内容如下： #!/bin/shecho "number:$#"echo "scname:$0"echo "first :$1"echo "second:$2"echo "argume:$@"echo "show p.

http://blog.csdn.net/blade2001/article/details/9065985一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环。（友情提示：本博文章欢迎转载，但请注明出处：hankchen，http://www.blogjava.net/hankchen）以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类...

Table中Family和Qualifier的关系与区别就像用MySQL一样，我们要做的是表设计，MySQL中的表，行，列的在HBase已经有所区别了，在HBase中主要是Table和Family和Qualifier，这三个概念。Table可以直接理解为表，而Family和Qualifier其实都可以理解为列，一个Family下面可以有多个Qualifier，所以可以简单的理解为，HB...

pstree -p 进程号

1、ParNew (promotion failed)[code="java"]400355.931: [Full GC 400355.931: [CMS: 1552723K->1552721K(2457600K), 2.2551480 secs] 2652251K->2645071K(3822976K), [CMS Perm : 110912K->110912K(262144K)], 2...

elasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。但是业务不能停，如果直接kill掉节点，可能导致数据丢失。而且集群会认为该节点挂掉了，就开始转移数据，当重启之后，它又会恢复数据，如果你当前的数据量已经很大了，这是很耗费机器和网络资源的。本文转载官方提供的安全重启集群节点的方法：第一步：先暂停集群的shard自动均衡。1...

http://zhaoyanblog.com/archives/319.html1、内存优化在bin/elasticsearch.in.sh中进行配置修改配置项为尽量大的内存：ES_MIN_MEM=8gES_MAX_MEM=8g两者最好改成一样的，否则容易引发长时间GC（stop-the-world）elasticsearch默认使用的GC是CMS GC如果...

开始学习使用 elasticsearch, 把步骤记录在这里： 最大的特点： 1. 数据库的 database, 就是 index 2. 数据库的 table, 就是 tag 3. 不要使用browser， 使用curl来进行客户端操作. 否则会出现 java heap ooxx... curl: -X 后面跟 RESTful ： GET, POST ... ...

在检查服务器时，发现有很多连接超时情况出现，用netstat命令查看，tcp的time_wait状态较多，需要进行优化。1、 看一下现在time_wait的数量 netstat -an | grep TIME_WAIT | wc -l2、发现系统存在大量TIME_WAIT状态的连接，通过调整内核参数解决，在 /etc/sysctl.conf中加入 ...

http://www.iteblog.com/archives/1677Apache Kafka 0.10.0.0稳定版发布及其新特性介绍在Kafka 0.9.0.0，开发者们在新consumer上使用poll()函数的时候是几乎无法控制返回消息的条数。不过值得高兴的是，此版本的Kafka引入了max.poll.records参数，允许开发者控制返回消息的条数。 New C...

参考经典大数据架构案例：酷狗音乐的大数据平台重构http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure

org.apache.commons.beanutils.ConversionException: No value specified for ‘Date’错误 ConvertUtils.register(new DateConverter(null), java.util.Date.class); BeanUtils.copyProperties(article, ...

System.out.println("Hello world"); DecimalFormat suffixCodeFormat = new DecimalFormat("000"); long number = 9923007L % 1000; System.out.println(number); System.out...

tac /tomcat/logs/catalina.out |grep 'Exception' -m5 -a50 -b50有许多命令都可以查看文件，不同的命令有不同的优点，可以针对不同的需要分别选择命令以提高效率： cat 由第一行开始显示内容，并将所有内容输出 tac 从最后一行倒序显示内容，并将所有内容输出 more 根据窗口大...

http://www.cnblogs.com/yourancao520/archive/2012/02/27/2369728.html在用Eclipse做开发的时候，用到了svn版本控制器，这天当我打开Eclipse的时候，发现项目里面的所有文件前的版本号以及状态图标都不显示了,即所有的svn图标不显示了，这是怎么回事，关掉Eclipse重新启动了一遍，还是不凑效。可以确认的是当进行文件的...

参考http://rockybean.info/2015/02/09/elasticsearch-immense-term-exceptionElasticSearch immense term错误作者: rockybean 时间: February 9, 2015 分类: 技术在使用ElasticSearch的过程中遇到了一个immense term的异常报错，调研了一下...

参考https://www.zybuluo.com/xiaop1987/note/102894在一个 Spark 应用中，每个 Spark executor 拥有固定个数的 core 以及固定大小的堆大小。core 的个数可以在执行 spark-submit 或者 pyspark 或者 spark-shell 时，通过参数 --executor-cores 指定，或者在 spark-d...

[code="java"]Job aborted due to stage failure: Task 0 in stage 5008.0 failed 4 times, most recent failure: Lost task 0.3 in stage 5008.0 (TID 262140, nmg01-hadoop-m04100.nmg01.baidu.com): java.lan...

基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现http://www.ibm.com/developerworks/cn/analytics/library/ba-1512-elkstack-logprocessing/index.html实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)http://blog...

大数据性能调优之HBase的RowKey设计http://www.open-open.com/lib/view/open1417612091323.html2.1.1 Rowkey长度原则Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议说设计在10~100个字节，不过建议是越短越好，不要超过16个字节。原因如下：（1）数据的持久化文件HFil...

http://blog.csdn.net/evangel_z/article/details/7624503http://blog.csdn.net/xiaoli_feng/article/details/9196527DecimalFormat 是 NumberFormat 的一个具体子类，用于格式化十进制数字。该类设计有各种功能，使其能够分析和格式化任意语言环境中的数，包括对西方语...

参考http://blog.csdn.net/opensure/article/details/464709691、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改...

eclipse 设置svn help选项，打开Install new Software，然后Add subclipse http://subclipse.tigris.org/update_1.8.x （备注安装时间比较漫长，大约1个小时） http://blog.csdn.net/tfy1332/article/d...

Twitter发布新的大数据实时分析系统Heronhttp://geek.csdn.net/news/detail/33750Twitter Heron的深入解析(与Storm的比较)http://www.tuicool.com/articles/2mMZver

eclipse+scala+spark+maven 开发环境搭建参考http://wenku.baidu.com/link?url=Oq-n86CoFybPfqXfk-cbk6mPR2Jy595Noo4ElVQVwdbchIvJQuBejsOrH8L4oMquAzniSi_ACn8gmwuRsOu74PMMokNqCRKWbG_YX572eQehttp://www.eclips...

hbase shell重点：全命令https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/http://www.cnblogs.com/kaituorensheng/p/3814925.htmlhttp://www.cnblogs.com/nexiyi/p/hbase_shell.html...

hbase shell重点：全命令https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/http://www.cnblogs.com/kaituorensheng/p/3814925.htmlhttp://www.cnblogs.com/nexiyi/p/hbase_shell.html...

[code="java"]cat laifeng_newlog.conf log_format laifeng_newlog_main '$http_x_forwarded_for $time_local $request $status $http_user_agent $http_x_forwarded_for $request_tim...

zookeeper 大量连接断开重连原因排查http://blog.csdn.net/hengyunabc/article/details/41450003

基于Solr的HBase多条件查询测试http://blog.csdn.net/kky2010_110/article/details/12970029/

1、storm的tupleID计算0001的spout产生了2个tupleId 0010和1011的bolt，然后在第三个bolt中结束。则0001 : 0010 xor 1011 = 10010010的bolt 0010 xor 0110 = 0100 然后 1001 xor 0100 = 11011011的bolt 1011 xor 0111 = 1100...

Error:gradle-resources-test:ddshow-hadoop-gradle: java.lang.NoClassDefFoundError: org/apache/tools/ant/util/ReaderInputStreamhttp://stackoverflow.com/questions/26989932/intellij-cant-run-gradle-pr...

hbase权威指南阅读随手笔记二之过滤器http://blog.csdn.net/saint1126/article/details/8257941

HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较http://www.cnblogs.com/wgp13x/p/4245182.html在实现过程中，发现当批量Get的数据量达到一定程度时（如10W），向HBase请求数据会从innerGet发生EOFExeption异常。EOFException是当输入过程中意外到达文件或流的末尾...

1、idea 安装sbt插件，然后后重启2、在idea左下角,窗口图标，打开SBT Console，点击绿色按钮会安装相关的包3、安装包的仓库地址为：C:\Users\wangqiao\.sbt\repositories文件 [code="java"][repositories] local nexus: http://repos.laifeng....

jmap -dump:format=b,file=String 3024可以将3024进程的内存heap输出出来到String文件里。jstack -F 1282 jmap -heap 1282PermGen space：全称是Permanent Generation space，即永久代。就是说是永久保存的区域,用于存放Class和Meta信息，Class在被Load...

Spark MLlib实现的中文文本分类–Naive Bayeshttp://lxw1234.com/archives/2016/01/605.htm【machine learning】朴素贝叶斯分类方法http://blog.csdn.net/gugugujiawei/article/details/45845343...

BKDRHash 算法java实现http://blog.csdn.net/bojie5744/article/details/49891025

wireshark数据包分析实战读书笔记1、tcpdumpwiresharkomnipeek网络通信原理TCP 传输控制协议IP 互联网协议ARP 地址解析协议DHCP 动态主机配置协议七层OSI参考模型应用层 HTTP SMTP FTP Telnet表示层 ASCII MPEG JPEG MIDI会话层 NetBIOS SAP SDP...

http://www.cnblogs.com/panfeng412/archive/2012/06/04/storm-common-patterns-of-stream-join.htmlhttps://github.com/nathanmarz/storm-starter/blob/master/src/jvm/storm/starter/SingleJoinExample.java

新一代列式存储格式Parquethttp://blog.csdn.net/yu616568/article/details/50993491

Kylin执行查询流程分析http://blog.csdn.net/yu616568/article/details/50838504Kylin任务调度模块http://blog.csdn.net/yu616568/article/details/48104623Kylin执行查询流程分析http://blog.csdn.net/yu616568/article/det...

Ambari——大数据平台的搭建利器https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/使用Ambari快速部署Hadoop大数据环境http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.html...

PS：tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户...

Spring For Hadoop--Working With HBase（一）http://www.ziliao1.com/Article/Show/DCAF429C66F0F746AC9AB5FF12BEA1F5.html学习下 分布式Hbase storm等http://www.cnblogs.com/panfeng412

优化hbase的查询提升读写速率优化案例及性能提升的几种方法http://www.aboutyun.com/thread-7468-1-1.html

[code="java"]hbase hive1、建立hive hbase 关联表(暂时线上环境不支持，待测试) CREATE TABLE hive_user_info(a string,b string,c string,d string,e string,f string,g string)PARTITIONED BY(dt string)STORED BY...

http://www.iteye.com/news/31475mmTrix大数据分析平台构建实录学习下

16:32 [cafe@a01.cps.laifeng.m6.youku]$ grep java.lang.Thread.State jstack27698.txt | awk '{print $2$3$4$5}' | sort | uniq -c 19 RUNNABLE 4 TIMED_WAITING(onobjectmonitor) 13 TIMED_WA...

[code="java"]package com.laifeng.ideatest;/** * Created by wangqiao on 2016/3/29. */public class ThreadState { public static void main(String[] args) { new Thread(new TimeWai...

Thread.Join()用法的理解 指在一线程里面调用另一线程join方法时，表示将本线程阻塞直至另一线程终止时再执行 比如 1using System; 2 3namespace TestThreadJoin 4{ 5 class Program 6 { 7 static void Main() 8 ...

19:08 [yule@a02.hive.hadoop.qingdao.youku]$ vmstat 1procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in c...

1、GET，POST请求报文：请求方法，请求URI，协议版本，可选的请求首部字段和内容实体[code="java"]方法 URI 协议版本POST /form/entry HTTP/1.1请求首部字段Host: hacke.jpConnection: keep-liveContent-type:application/x-www-form-u...

Hadoop 2.0 NameNode HA和Federation实践http://www.infoq.com/cn/articles/hadoop-2-0-namenode-ha-federation-practice-zh/HDFS Federation(HDFS 联盟)介绍http://blog.csdn.net/strongerbit/article/details/701...

[code="java"]TopologyBuilder builder = new TopologyBuilder(); Set FlashPlayerSpoutSet = new HashSet(); ...

Storm Trident 示例http://blog.csdn.net/opensure/article/details/45847545Storm Trident的核心数据模型是一批一批被处理的“流”，“流”在集群的分区在集群的节点上，对“流”的操作也是并行的在每个分区上进行。Trident有五种对“流”的操作：1. 不需要网络传输的本地批次运算2. ...

Apache Kylin 大数据时代的OLAP利器http://www.bitstech.net/2016/01/04/kylin-olap/Apache Kylin 产品及架构介绍http://www.jikexueyuan.com/course/2277.htmlApache Kylin在百度地图的实践http://www.infoq.com/cn/articl...

Impala 教程http://blog.csdn.net/opensure/article/details/45850615基于Impala的大数据查询分析计算性能研究http://wenku.baidu.com/link?url=mGkyUPPmWBucFu9afLxcblOnYw0tFwtEQJaGEo-deP9yoeXH7cTNVjNwbxPEn8cPORYX3sFncR...

Redis集群技术及Codis实践http://www.infoq.com/cn/articles/effective-ops-part-03Redis3.0集群方案分析http://www.cnblogs.com/guoyinglin/p/4604279.html等到我把Redis3.0客户端库hiredis编译好集成到公司系统，访问其中一台Redis3.0服务器居然返回...

http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.htmlHBase 数据模型组成部件说明：Row Key：　　 　　Table主键 行键 Table中记录按照Row Key排序Timestamp： 　　每次对数据操作对应的时间戳，也即数据的version numberColumn Family： ...

查看hive版本1.执行hive命令2.在克隆窗口下执行jps，查到进程号7225 RunJar3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包[code="java"]16:34 [yule@a02.hive.hadoop.qingdao.youku]$ jps52821 Jps52647 RunJartty:...

查看hive版本1.执行hive命令2.在克隆窗口下执行jps，查到进程号7225 RunJar3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包[code="java"]16:34 [yule@a02.hive.hadoop.qingdao.youku]$ jps52821 Jps52647 RunJartty:...

http://drill.apache.org/docs/summary/Apache Kylin在百度地图的实践http://www.liuhaihua.cn/archives/215480.html

[code="java"]package com.youku.laifeng;import java.io.IOException;import java.io.InterruptedIOException;import java.util.Calendar;import java.util.Date;import java.util.HashMap;import ...

[code="java"]package com.youku.laifeng;import java.io.IOException;import java.io.InterruptedIOException;import java.util.Calendar;import java.util.Date;import java.util.HashMap;import ...

Hbase 机器配置[code="java"][logging] default = FILE:/var/log/krb5libs.log kdc = FILE:/var/log/krb5kdc.log admin_server = FILE:/var/logdmind.log[libdefaults] default_realm = HBASE.YOUKU1...

shell命令查看所有表list查看某个表结构desc 'lf:lf_t_result_room_online_min_user_stat'添加数据put 'lf:lf_t_result_room_online_min_user_stat' ,'rowkey1111','room','111'扫描全表 scan 'lf:lf_t_result_room_online...

http://blog.csdn.net/suifeng3051/article/details/41682441 Storm中的可靠性Storm的ISpout接口定义了三个与可靠性有关的方法：nextTuple,ack和fail。[code="java"]public interface ISpout extends Serializable { vo...

1、list[code="java"]hbase(main):001:0> listTABLE ...

一、登录ftp输入 ftp 192.168.1.111输入用户名：ftpuser输入密码：aaa123二、转到目标目录 输入：cd test ----test为文件夹三、批量上传输入 prom 此命令是打开批量上传或下载的开关，不然不能进行批量操作输入下载命令：mput *四、批量下载输入 p...

1、参考http://dongxicheng.org/mapreduce-nextgen/apache-tez/Tez（Hortonworks介绍：这里，源代码下载：这里，今天刚刚发布的源代码）是Apache最新开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、...

基于HBase做Storm 实时计算指标存储举个例子，假设我们有客户 10w，计算指标假设 100 个，5 个 ISP，30 个地域，这样就有亿级以上的 Key 了，我们还要统计分钟级别，小时级别，天级别，月级别。所以写入量和存储量都不小。如果采用 Redis/Memcached 写入速度是没有问题的，毕竟完全的内存操作。但是 key 集合太大，其实压力也蛮大的，我去的时候因为加了...

Spark生态系统解析及基于Redis的开源分布式服务Codis[转]http://www.csdn.net/article/2015-02-02/2823796-spark-codis-crazyjvm-goroutine/1

下载地址：http://www.eclipse.org/downloads/download.php?file=/mat/1.5/rcp/MemoryAnalyzer-1.5.0.20150527-win32.win32.x86_64.zip&mirror_id=1142dump相关文件：jmap -dump:format=b,file=jmapformat.bin 29969...

1、参考http://www.open-open.com/lib/view/1432542541707Spark + ansj 对大数据量中文进行分词

参考http://www.cnblogs.com/nexiyi/p/hbase_shell.html进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hb...

点击日志需求文档需求文档

点击日志需求文档需求文档

storm + redis 整合1、storm + redis 整合http://storm.apache.org/documentation/storm-redis.html

java thread 之AQS (重点)http://www.cnblogs.com/nod0620/archive/2012/07/23/2605504.htmlJAVA并发编程学习笔记之AQS源码分析（获取与释放）http://blog.csdn.net/aesop_wubo/article/details/7555956AQS的原理浅析http://ifeve....

经典大数据架构案例：酷狗音乐的大数据平台重构http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure

经典大数据架构案例：酷狗音乐的大数据平台重构http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure

http://blog.csdn.net/linlinv3/article/details/42737113java 获取 hbase数据 springdatahadoop -- hbasetemplate

参考大数据性能调优之HBase的RowKey设计http://www.open-open.com/lib/view/open1417612091323.html使用HBASE用到的几个filter SingleColumnValueFilter,RowFilter,ValueFilterhttp://www.tuicool.com/articles/2eiqMfzSingl...

spark-mllib-TFIDF实现http://blog.csdn.net/xiao_jun_0820/article/details/49277869