2017年11月_du_xian_sheng

转载【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹

Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误：[plain] view plain copy Exception in thread "main" org.apache.hadoop.mapred.FileA

2017-11-30 12:47:54 1497

转载 hmaster和hregionserver 16020 端口冲突问题

问题背景：最近升级了下hadoop、 hbase、 spark，发现hbase升级后主节点上的hregionsever老是启动不了。查看日志发现如下端口冲突错误：java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRe

2017-11-29 19:57:05 860

原创查看HADOOP中一个文件有多少块组成

hadoop fsck /user/part-001 -files -blocks-racks -racks 是显示机架位置

2017-11-28 19:26:09 785

Hadoop是Apache下的一个开源分布式计算平台，以HDFS（Hadoop Distributed Filesystem）和MapReduce为其核心。为什么会出现这么个东西呢，“需求是最强大的驱动力”，在这个"big data"的时代，比如Facebook每天处理的新数据良就达到20TB，要处理海量数据就不能局限于传统数据库时代的做法了，我们可以把处理数据的任务分散到各节点（普通硬件设备），

2017-11-28 18:52:48 724 2

转载 hadoop mapreduce的本地模式及yarn模式

MapReduce按照任务大小和设置的不同，提供了两种任务模式：客户端通过org.apache.hadoop.mapreduce.protocol.ClientProtocol与服务端通信，ClientProtocol的继承关系：老一些的版本还有一个JobTracker的实现类，即：classic。用于和MapReduce1.X兼容用的，高一些的版本已经没有这个实现类了。

2017-11-27 19:55:05 1400

转载 Hadoop本地运行模式深入理解

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下： 1、独立模式即本地运行模式（standalone或local mode）无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 2、伪分布运行模式伪分布:如果Hadoop对应的Java

2017-11-27 19:41:03 342

转载第一个MapReduce案例集群模式&本地模式

记录一下自己在开发MapReduce程序的过程。思考点是：如何下手，怎样开发。1.对于平台的要求：环境已搭建完毕，且测试通过。我自己平台是：Centos6.4 +jdk1.7+hadoop2.5.1 都是64位的我这里写的是非常简单的一种：创建一个java工程，导入jar包，写三个类。分别是：Mapper类、Reducer类、Runner类Mapper类、R

2017-11-27 19:35:14 501

转载 Hadoop之HDFS文件操作

摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词：HDFS文件命令行 Java APIHDFS是一种分布式文件系统，为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linu

2017-11-27 09:57:47 433

转载 Hadoop入门-WordCount示例

WordCount的过程如图，这里记录下入门的过程，虽然有很多地方理解的只是皮毛。Hadoop的安装安装比较简单，安装完成后进行单机环境的配置。hadoop-env.sh:指定JAVA_HOME。# The only required environment variable is JAVA_HOME. All others are# optional. When r

2017-11-27 09:42:47 486

转载聊聊Hadoop：图解HDFS是个啥

Hadoop进入到2.0以后，最大的改动便是拆分出数据处理（MapReduce）和集群资源管理（YARN）部分。HDFS作为分布式储存系统在Hadoop 2.0中继续沿用。今天读了一些介绍Hadoop生态圈的文章，感觉都写得非常地学术。周末正好有兴致和时间，做了几张介绍HDFS基本信息的图，包括HDFS的用处、架构和读写文件的流程，让大家见笑啦。HDFS是干嘛的？H

2017-11-27 09:41:00 709

转载 MapReduce Input Split（输入分/切片）详解

看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。先看一下这个图输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组。Hadoop

2017-11-26 18:06:39 554

转载 HDFS中的file与block块之间的对应关系举例

linux中的jdk-6u24-linux-i586.bin是81M[root@hadoop local]# du -sh *211M hadoop60M hadoop-1.1.2.tar.gz250M jdk81M jdk-6u24-linux-i586.bin8.0K mydata4.0K word2.txt4.0K word.t

2017-11-26 16:18:25 408

转载 hadoop软件大全下载整理（更新中）

本篇文章将整理在开发过程中所用的各种软件，并会陆续的进行更新！ Visual C++6.0 ： http://pan.baidu.com/s/1c2c9VTu 绿色版：http://pan.baidu.com/s/1dFFWKaleclipse for windows： 32位：http://pan.baidu.com/s/1eSrySEm64位：http://pan.

2017-11-25 17:17:42 1673

转载 CentOS 7 创建eclipse快捷方式

在/usr/share/application/文件夹下，用vim新建一个 eclipse.desktop 的文件，文件内容如下，具体路径根据自己的实际情况而定：[Desktop Entry]Type=ApplicationName=eclipseExec=/home/hou/eclips/eclipse //eclipse存放路径GenericName=eclipse

2017-11-25 17:16:38 456 1

转载基于Eclipse的Hadoop应用开发环境配置

我的开发环境：操作系统centos5.5 一个namenode 两个datanodeHadoop版本：hadoop-0.20.203.0Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷)第一步：先启动hadoop守护进程具体参看：http://www.cnblogs.com/flyoung2

2017-11-24 10:30:35 264

转载 Linux下用Eclipse开发调试Hadoop程序后打jar包后，到Hadoop集群上运行

Linux系统(Ubuntu14.10)下Hadoop开发环境搭建下载Eclipse，解压安装，下载hadoop-eclipse-plugin-2.5.1.jar插件，放至/eclipse/plugins/目录下。创建hadoop连接。这样就可以用eclipse编写Hadoop程序，调试正确后，就可以打成jar包，提交到Hadoop分布式集群中运行。注意，在Eclipse中运行程序，并没有提

2017-11-24 10:22:25 841

转载 Eclipse下 Hadoop Maven 项目log4j配置

在src/mian/java目录下放一个log4j.properties文件，加上日志格式内容，例如：log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayou

2017-11-23 18:17:34 502

转载 Hadoop2.6.4搭建笔记

自己搭建一个Hadoop集群，小型的。我在台式机上新建了3台虚拟机，一台用于Master，两台用于Slave。系统用的Ubuntu14.04.系统准备好之后。一、在UBuntu下创建hadoop用户和用户组1. 首先新建hadoop用户组[cpp] view plain copy sudo addgroup hadoop 2. 创建hado

2017-11-23 17:32:25 330

转载 mapreduce系列（3）----在window端远程提交mr程序运行

之前讲到windows上跑本地版的mapreduce程序，毫无问题，但是更进一步，我现在想直接把我的idea上的程序运行在linunx集群上，这样，我的本地就相当于是mapreduce的一个客户端了。沿着这个思路，我们直接把conf配置如下设置：conf.set("mapreduce.framework.name","yarn");conf.set("yarn.resourcem

2017-11-23 13:26:13 587

转载 win10+eclipse+hadoop2.7.2+maven直接通过Run as Java Application运行wordcount

标签：一、准备工作　（1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在　（2）安装maven二、最终效果　在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux终端运行三，操作步骤　1、启动dfs和yarn　　终端：${HA

2017-11-22 12:59:58 613

转载 Hadoop学习全程记录（1）-hadoop入门

几天前开始学习hadoop，从今天起，想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等，如果你也是刚学hadoop，我们可以一起讨论。学了几天，好像入门了，在这里和大家分享，就当全程笔记的第一篇吧。新说明一下我的开发环境操作系统：在windows下使用wubi安装了ubuntu 10.10hadoop版本：hadoop-0.20

2017-11-22 12:51:30 352

转载 hadoop学习之HDFS（2.5）：windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子

windows下eclipse远程连接linux下的hadoop集群不像在linux下直接配置eclipse一样方便，会出现各种各样的问题，处处是坑，连接hadoop和运行例子时都会出现问题，而网上的帖子讲的都很支离破碎，下面我们来一步一步解决，亲测有效。注意！注意！注意！windows下eclipse运行mr程序时是用的windows本地环境，毕竟跟linux有很大差异，所以不建议使用w

2017-11-22 12:00:50 450

转载 Windows环境下Hadoop开发环境配置

Windows环境下Hadoop开发环境配置一、事先准备 1) Hadoop集群环境搭建已经用三台虚拟机(操作系统为ubuntu 10.0.4)搭建完成一个hadoop分布式集群，分别是hadoop1: 192.168.201.104，hadoop2: 192.168.201.54和hadoop3: 192.168.201.100 ，其中hadoop1为namenode，其余为da

2017-11-22 11:59:09 496

原创 Struts2 json插件返回json数据配置

application/json inputStream inline;filename="depts.json" depts \[\d+\].emps,\[\d+\

2017-11-21 16:04:10 356

转载 SET FOREIGN_KEY_CHECKS=0;在Mysql中取消外键约束

Mysql中如果表和表之间建立的外键约束，则无法删除表及修改表结构。解决方法是在Mysql中取消外键约束: SET FOREIGN_KEY_CHECKS=0; 然后将原来表的数据导出到sql语句，重新创建此表后，再把数据使用sql导入，然后再设置外键约束: SET FOREIGN_KEY_CHECKS=1;

2017-11-18 14:34:18 994

转载【mysql】Date和String的互相转换（DATE_FORMAT & STR_TO_DATE）

1.Date ——> String使用的函数：DATE_FORMAT(date,format) date:需要转换的日期 format:格式化的样式format样式整理：年： %Y 显示四位： 2015 %y 只显示后两位：15月： %M 月份的英文显示：October %m 月份的阿拉伯显示：01-12 %b

2017-11-14 18:44:43 504

转载 fastjson 多级联属性过滤

最近使用FastJson结合hibernate做项目，发现关于对象的级联属性的过滤上用的不是很顺。当然简单的属性过滤 @温少已经提供了 SimplePropertyPreFilter 使用，使用方法有详细说明的。这里我针对级联属性的过滤对该类做了补充。(当然你也可以使用注解实现)代码如下： 1 package com.example.util.fastjson; 2

2017-11-14 18:43:47 1414

转载 MyEclipse10.1导出war包报错问题

下午在Myeclipse里面，本来想将一个项目导成WAR包文件，但是当点击J2EE下面的War之后，却报出了一个错误，一时懵了，从来没遇到过。之后上百度查相关的解决办法，好多回答都是说，我的Myeclipse安装的时候有问题，或者是破解的不完全，建议重装Myeclipse，但是我不是很想重装，觉得重装挺麻烦的，耽误了工作，而且万一卸载的不够彻底，不知道又会不会出

2017-11-11 19:14:36 975

转载 MySQL使用RPM安装时，各目录在哪儿？

RPM安装时，rpm包是把各个子目录分别安装到相应目录下了,不存在那个根目录.用RPM进行安装的时候，MySQL下的子目录被分散开，分别放在了以下几个目录下：（CentOS RPM 安装MySQL）[root@rhel5 ~]# find / -name mysql -print/etc/logrotate.d/mysql/etc/rc.d/init.d/m

2017-11-11 18:01:05 6521 2

转载 linux下rar包的解压方法

一widonds下打包rar文件并上传二下载并安装rar软件三rar命令语法四具体例子五更多命令查看帮助一.widonds下打包rar文件并上传yum install lrzsz rz test.rar二、下载并安装rar软件2.1 下载mkdir -p /home/oldboy/toolscd /home/oldboy/toolswget http:

2017-11-11 17:56:39 586

转载 display:inline-block，block，inline的区别与用法

一、首先要了解什么是块级元素与行级元素块级元素会占领页面的一行，其后多个block元素自动换行、可以设置width，height，设置了width后同样也占领一行、同样也可以设置 margin与padding属性。ps:常见的块级元素:div,img,ul,form,p等行级元素与其他元素在同一行上，高度，行高以及底边距不可改变，高度就是内容文字或者图片的宽度，不可以改变

2017-11-05 19:04:21 388

转载如何删除strut2校验后<s:fielderror>在jsp页面输出时的小黑点和自动换行？

删除前：删除后：删除方法：首先找到filederror.ftl文件，来源：从项目lib中找到struts2-core-2.2.1.jar，拷贝到桌面解压，在temple/simple就可以找到fielderror.ftl，然后删除里面的和只删标签，不删内容，删除完是这个样子：[html] view plain

2017-11-05 17:30:44 488

mrdu_somefun的博客