自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Java关键字final、static使用总结

Java关键字final、static使用总结 一、final 根据程序上下文环境,Java关键字final有“这是无法改变的”或者“终态的”含义,它可以修饰非抽象类、非抽象类成员方法和变量。你可能出于两种理解而需要阻止改变:设计或效率。 final类不能被继承,没有子类,final类中的方法默认是final的。 final方法不能被子...

2017-06-16 16:43:58 69

原创 maven 加载本地lib

加载本地包,且没有pom相关信息的jar[code="java"] com.test.mr mr 1.1.2-SNAPSHOT system ${basedir}/src/main/resources/lib/mr.jar [/code]...

2017-06-09 16:48:39 202

原创 linux tee命令

功能说明:读取标准输入的数据,并将其内容输出成文件。语  法:tee [-ai][--help][--version][文件...]补充说明:tee指令会从标准输入设备读取数据,将其内容输出到标准输出设备,同时保存成文件。参  数: -a或--append  附加到既有文件的后面,而非覆盖它. -i-i或--ignore-interrupts  忽略中断信号。 ...

2017-03-14 20:10:04 77

原创 hadoop学习

hadoop计数器http://blog.csdn.net/javaman_chen/article/details/8569149基于计算机资源分析hadoop的默认counterhttp://www.cnblogs.com/ggjucheng/archive/2013/05/08/3065220.html

2017-03-09 16:44:33 73

原创 ES配置多个data目录

http://www.cnblogs.com/sunxucool/p/3799190.htmlelasticsearch配置文件详解path.data: /path/to/data设置索引数据的存储路径,默认是es根目录下的data文件夹,可以设置多个存储路径,用逗号隔开,例:path.data: /path/to/data1,/path/to/data2...

2017-02-14 17:26:46 3082 1

原创 hbase shell

http://www.cnblogs.com/nexiyi/p/hbase_shell.html[code="java"]select f.rowKey,f.id,f.bid,f.userId,f.siteId,f.name,f.type,f.lstClientInfo,f.lstVisitInfo,f.lstChatInfo,f.lstCbInfo,f.fstVisitTim...

2016-11-21 20:27:13 35

原创 linux 文件句柄数

---查看系统默认的最大文件句柄数,系统默认是1024# ulimit -n1024 ----查看当前进程打开了多少句柄数# lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more131 24204 57 24244  57 24231   ........其中第一列是打开的句柄数,第二列是进程ID。可以根据I...

2016-11-16 11:31:53 99

原创 Hbase 删除列族

删除列族使用alter,也可以删除列族。下面给出的是使用alter删除列族的语法。hbase> alter ‘ table name ’, ‘delete’ => ‘ column family ’ 下面给出的是一个例子,从“emp”表中删除列族。假设在HBase中有一个employee表。它包含以下数据:hbase(main):006:0> scan '...

2016-11-03 14:23:25 1823

原创 使用top命令找出占用cpu最高的JAVA进程

(1) 使用top命令找出占用cpu最高的JAVA进程top -cPID USER    PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND         6965 root      20   0    57.3g  27g 1.0g S 303.5 58.4   3243:41 /usr/local/......

2016-10-28 17:04:00 923

原创 linux查看信息

lscpu 查看cpulsblk 查看硬盘1,查看CPU信息:cat /proc/cpuinfo2,查看板卡信息:cat /proc/pci3,查看USB设备:cat /proc/bus/usb/devices4,查看PCI信息:lspci (相比cat /proc/pci更直观)5,查看内存信息:cat /proc/meminfo6,查看键盘和鼠标:cat /pr...

2016-10-26 14:17:26 55

原创 使用nexus搭建maven仓库(本地私服)

使用nexus搭建maven仓库(本地私服)http://www.cnblogs.com/demingblog/p/3840174.html

2016-10-24 17:42:06 40

原创 linux jdk中文编码设置

linux jdk中文编码设置使用ES时 发现写入的java task任务 写入中文时 为乱码因此修改 java task任务所在linux服务器的 LANG参数具体如下:修改cat .bash_profile[code="java"]export LANG=zh_CN.UTF-8[/code]source .bash_profile...

2016-10-17 11:07:35 747

原创 proftp的权限配置

CWD :Change Working Directory,變換目錄之意;MKD :MaKe Directory,可建立目錄與否;RNFR :ReName FRom,可更改檔名與否;DELE :DELEt,可刪除檔案語法;RMD :ReMove Directory,可移除目錄與否;RETR :RETRieve,下載之意!由 Server 傳送資料到 Client;...

2016-09-14 15:34:14 154

原创 Linux中变量$#,$@,$0,$1,$2,$*,$$,$?的含义

Linux中变量$#,$@,$0,$1,$2,$*,$$,$?的含义 # touch variable# vi variable 脚本内容如下: #!/bin/shecho "number:$#"echo "scname:$0"echo "first :$1"echo "second:$2"echo "argume:$@"echo "show p.

2016-09-07 10:59:53 47

原创 Java线上应用故障排查之一:高CPU占用[转]

http://blog.csdn.net/blade2001/article/details/9065985一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环。(友情提示:本博文章欢迎转载,但请注明出处:hankchen,http://www.blogjava.net/hankchen)以我们最近出现的一个实际故障为例,介绍怎么定位和解决这类...

2016-09-06 11:48:51 84

原创 Hbase杂记

Table中Family和Qualifier的关系与区别就像用MySQL一样,我们要做的是表设计,MySQL中的表,行,列的在HBase已经有所区别了,在HBase中主要是Table和Family和Qualifier,这三个概念。Table可以直接理解为表,而Family和Qualifier其实都可以理解为列,一个Family下面可以有多个Qualifier,所以可以简单的理解为,HB...

2016-08-31 19:12:34 35

原创 linux查看进程数

pstree -p 进程号

2016-08-26 16:20:57 65

原创 FGC的相关问题

1、ParNew (promotion failed)[code="java"]400355.931: [Full GC 400355.931: [CMS: 1552723K->1552721K(2457600K), 2.2551480 secs] 2652251K->2645071K(3822976K), [CMS Perm : 110912K->110912K(262144K)], 2...

2016-08-15 13:52:53 154

原创 elasticsearch如何安全重启节点

elasticsearch集群,有时候可能需要修改配置,增加硬盘,扩展内存等操作,需要对节点进行维护升级。但是业务不能停,如果直接kill掉节点,可能导致数据丢失。而且集群会认为该节点挂掉了,就开始转移数据,当重启之后,它又会恢复数据,如果你当前的数据量已经很大了,这是很耗费机器和网络资源的。本文转载官方提供的安全重启集群节点的方法:第一步:先暂停集群的shard自动均衡。1...

2016-07-01 13:27:27 49

原创 elasticsearch三个重要的优化

http://zhaoyanblog.com/archives/319.html1、内存优化在bin/elasticsearch.in.sh中进行配置修改配置项为尽量大的内存:ES_MIN_MEM=8gES_MAX_MEM=8g两者最好改成一样的,否则容易引发长时间GC(stop-the-world)elasticsearch默认使用的GC是CMS GC如果...

2016-07-01 13:17:27 36

原创 elasticsearch命令

开始学习使用 elasticsearch, 把步骤记录在这里: 最大的特点: 1. 数据库的 database, 就是 index 2. 数据库的 table, 就是 tag 3. 不要使用browser, 使用curl来进行客户端操作. 否则会出现 java heap ooxx... curl: -X 后面跟 RESTful : GET, POST ... ...

2016-06-30 17:57:21 38

原创 linux服务器上tcp有大量time_wait状态的解决方法和原因解释

在检查服务器时,发现有很多连接超时情况出现,用netstat命令查看,tcp的time_wait状态较多,需要进行优化。1、 看一下现在time_wait的数量 netstat -an | grep TIME_WAIT | wc -l2、发现系统存在大量TIME_WAIT状态的连接,通过调整内核参数解决,在 /etc/sysctl.conf中加入 ...

2016-06-30 17:51:02 340

原创 Apache Kafka 0.10.0.0稳定版发布及其新特性介绍

http://www.iteblog.com/archives/1677Apache Kafka 0.10.0.0稳定版发布及其新特性介绍在Kafka 0.9.0.0,开发者们在新consumer上使用poll()函数的时候是几乎无法控制返回消息的条数。不过值得高兴的是,此版本的Kafka引入了max.poll.records参数,允许开发者控制返回消息的条数。 New C...

2016-06-28 17:04:03 104

原创 经典大数据架构案例:酷狗音乐的大数据平台重构

参考经典大数据架构案例:酷狗音乐的大数据平台重构http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure

2016-06-27 19:32:19 85

原创 org.apache.commons.beanutils.ConversionException: No value specified for ‘Date'

org.apache.commons.beanutils.ConversionException: No value specified for ‘Date’错误 ConvertUtils.register(new DateConverter(null), java.util.Date.class); BeanUtils.copyProperties(article, ...

2016-06-24 16:16:50 46

原创 DecimalFormat

System.out.println("Hello world"); DecimalFormat suffixCodeFormat = new DecimalFormat("000"); long number = 9923007L % 1000; System.out.println(number); System.out...

2016-06-22 17:12:34 20

原创 tac命令

tac /tomcat/logs/catalina.out |grep 'Exception' -m5 -a50 -b50有许多命令都可以查看文件,不同的命令有不同的优点,可以针对不同的需要分别选择命令以提高效率: cat 由第一行开始显示内容,并将所有内容输出 tac 从最后一行倒序显示内容,并将所有内容输出 more 根据窗口大...

2016-06-21 16:04:41 48

原创 解决Eclipse中SVN图标不显示的问题

http://www.cnblogs.com/yourancao520/archive/2012/02/27/2369728.html在用Eclipse做开发的时候,用到了svn版本控制器,这天当我打开Eclipse的时候,发现项目里面的所有文件前的版本号以及状态图标都不显示了,即所有的svn图标不显示了,这是怎么回事,关掉Eclipse重新启动了一遍,还是不凑效。可以确认的是当进行文件的...

2016-06-21 13:56:48 35

原创 ElasticSearch immense term错误

参考http://rockybean.info/2015/02/09/elasticsearch-immense-term-exceptionElasticSearch immense term错误作者: rockybean 时间: February 9, 2015 分类: 技术在使用ElasticSearch的过程中遇到了一个immense term的异常报错,调研了一下...

2016-06-20 11:38:02 185

原创 Spark参数调优

参考https://www.zybuluo.com/xiaop1987/note/102894在一个 Spark 应用中,每个 Spark executor 拥有固定个数的 core 以及固定大小的堆大小。core 的个数可以在执行 spark-submit 或者 pyspark 或者 spark-shell 时,通过参数 --executor-cores 指定,或者在 spark-d...

2016-06-20 10:58:09 48

原创 hadoopfsck /a.dat -files -locations -blocks

[code="java"]Job aborted due to stage failure: Task 0 in stage 5008.0 failed 4 times, most recent failure: Lost task 0.3 in stage 5008.0 (TID 262140, nmg01-hadoop-m04100.nmg01.baidu.com): java.lan...

2016-06-17 11:28:58 100

原创 基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现

基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现http://www.ibm.com/developerworks/cn/analytics/library/ba-1512-elkstack-logprocessing/index.html实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)http://blog...

2016-06-16 18:41:10 93

原创 大数据性能调优之HBase的RowKey设计

大数据性能调优之HBase的RowKey设计http://www.open-open.com/lib/view/open1417612091323.html2.1.1 Rowkey长度原则Rowkey是一个二进制码流,Rowkey的长度被很多开发者建议说设计在10~100个字节,不过建议是越短越好,不要超过16个字节。原因如下:(1)数据的持久化文件HFil...

2016-06-16 15:59:05 62

原创 DecimalFormat

http://blog.csdn.net/evangel_z/article/details/7624503http://blog.csdn.net/xiaoli_feng/article/details/9196527DecimalFormat 是 NumberFormat 的一个具体子类,用于格式化十进制数字。该类设计有各种功能,使其能够分析和格式化任意语言环境中的数,包括对西方语...

2016-06-15 19:56:01 16

原创 HBase常用操作之namespace

参考http://blog.csdn.net/opensure/article/details/464709691、介绍在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作,HBase全局管理员可以创建、修改...

2016-06-15 11:56:07 159

原创 eclipse 设置svn

eclipse 设置svn help选项,打开Install new Software,然后Add subclipse http://subclipse.tigris.org/update_1.8.x (备注安装时间比较漫长,大约1个小时) http://blog.csdn.net/tfy1332/article/d...

2016-06-08 15:22:39 61

原创 Twitter发布新的大数据实时分析系统Heron

Twitter发布新的大数据实时分析系统Heronhttp://geek.csdn.net/news/detail/33750Twitter Heron的深入解析(与Storm的比较)http://www.tuicool.com/articles/2mMZver

2016-06-07 18:21:21 87

原创 eclipse+scala+spark+maven 开发环境搭建

eclipse+scala+spark+maven 开发环境搭建参考http://wenku.baidu.com/link?url=Oq-n86CoFybPfqXfk-cbk6mPR2Jy595Noo4ElVQVwdbchIvJQuBejsOrH8L4oMquAzniSi_ACn8gmwuRsOu74PMMokNqCRKWbG_YX572eQehttp://www.eclips...

2016-06-07 16:33:35 52

原创 hbase shell

hbase shell重点:全命令https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/http://www.cnblogs.com/kaituorensheng/p/3814925.htmlhttp://www.cnblogs.com/nexiyi/p/hbase_shell.html...

2016-05-24 17:29:46 27

原创 nginx配置_仅参考

[code="java"]cat laifeng_newlog.conf log_format laifeng_newlog_main '$http_x_forwarded_for $time_local $request $status $http_user_agent $http_x_forwarded_for $request_tim...

2016-05-23 18:06:57 50

提示
确定要删除当前文章?
取消 删除