2015年11月_ZK_小姜

12月 11月 10月 09月 08月

原创 Hadoop运行mapreduce任务过程中报错：Error: Java heap space问题解决

问题：Hadoop集群在运行mapreduce任务的时候报错：Error: Java heap space问题分析：这个错误，首先一看到，便猜测是jvm的堆内存不够，于是便查询了hadoop运行mapreduce的时候jvm的默认值（我之前在搭建集群的时候是没有设置的），于是知道了在 mapred-site.xml中有一个mapred.child.java.opts的配置，用于jvm运行时he

2015-11-30 17:40:55 5632

转载 hadoop HDFS常用文件操作命令

命令基本格式:hadoop fs -cmd 1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put local file > hdfs file >hdfs file的父目录一定要存在，否则命

2015-11-18 10:43:17 1036

原创 Storm-HDFS整合过程中问题解决

前面提到了部署Hadoop的集群环境，因为我们需要用到HDFS，将Storm过来的数据离线存入到HDFS中，然后使用Hadoop从HDFS中取数据进行分析处理。于是乎我们需要整合Storm-HDFS，在整合过程中遇到了许多问题，有的问题可以在网上找到，但是解决方法不一定实用，于是这里分享出来，以便自己学习，同时也为同样遇到相同问题处于困惑中的伙伴提供解决方法。首先，整合Storm-HDF

2015-11-13 17:29:09 9654

原创 Hadoop启动namenode失败，端口号冲突问题解决

部署完Hadoop集群后，启动hadoop集群，有可能会遇到端口号冲突的问题ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.net.BindException: Problem binding to [logsrv03:9000] java.net.BindExcepti

2015-11-13 14:39:26 5227

原创 hadoop-2.7.1启动Unable to load native-hadoop library for your platform问题解决

在安装好hadoop集群后，启动集群的时候，首先我们会执行bin/hdfs namenode -format对hdfs就行格式化，然后执行sbin/start-dfs.sh这个时候会报warningWARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your

2015-11-13 13:54:27 4059

由于日志数据量越来越大，数据处理的逻辑越来越复杂，同时还涉及到大量日志需要批处理，当前的flume-kafka-storm-hbase-web这一套流程已经不能满足当前的需求了，所以只能另寻出路，于是想到了Hadoop这个东西。之前的storm是一个基于流式处理的实时分析系统，相比Hadoop的离线批处理各有千秋，两者相比，我有看到一个比较形象的比喻：Hadoop就像是纯净水，一桶一桶地搬，而St

2015-11-13 11:44:26 4407 3

转载 Maven 项目打包需要注意到的那点事儿

1. 关于 Maven 打 war 包《使用 Eclipse 的 Maven 2 插件开发一个 JEE 项目》详细介绍了如何在 Eclipse 使用 Maven 新建一个 JEE 项目并对其进行断点跟踪调试，但是没有介绍如何对 JEE 项目打 war 包。其实很简单，你只需要把 pom.xml 中的 jar 换成 war 就可以使用 mvn package 命令对其打 war 包了，而

2015-11-13 09:03:55 831

原创 java各种排序总结及实现

在学校有学习过排序算法，但是那会基本没有认真听，后面期末考试也基本是靠考前突击和人品的爆发，考完也就忘记完了，最近突然想着来研究一下排序算法，所以就一个一个用java实现了一遍，其中也是有一些自己的理解，用博客记录下来，其中有不足和错误的地方，还希望留言指正。java排序从大的分类来看，可以分为内排序和外排序：其中，在排序过程中只使用了内存的排序称为内排序；内存和外存结合使用的排序成为外排序。

2015-11-05 21:33:08 5417

原创对String字符串进行MD5加密

/** * @param inputStr * @return 32位的MD5数 */ public static String transformMD5(String inputStr) { MessageDigest md5=null; try { md5 = MessageDigest.getInstance("MD5

2015-11-03 11:09:19 5812