笨小葱的专栏

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable在64位系统上运行Hadoop 2.6.0会出现以下提示：用缺省的32位native库(/opt/hadoop-2.6.0/l

https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html#_emphasis_new_emphasis_literal_org_apache_hadoop_mapreduce_literal_api

hadoop MR从hbase中读取数据写入到hbase中的配置public class WordCount { private static final Logger LOGGER= LoggerFactory.getLogger(WordCount.class); static class HbaseMapper extends TableMapper{

在写MR时，如果需要根据记录内容进行，每条记录的动态目录输出可以使用MultipleOutputs类配置。public static class hdfs2HiveMap extends Mapper { private MultipleOutputs multipleOutputs; //声明 @Override protected v

--------------------------cdh中重装hbase后之前的脚本残留解决---------------------1.切换到zookeeper的bin目录；  //zookeeper-client status命令可以找到该bin目录2.执行$sh zkCli.sh输入 ls /4.输入rmr /hbas

集群部署时es的jar包可能与其他服务(hbase,spark,hive....)jar包冲突部署时需要替换官方的es架包为我们自己重新编译的jar包。 补充：如果需要定位到具体是哪个class引起的冲突，可以通过在tomcat的bin/catalina.sh中配置： JAVA_OPTS="-verbose:class"  tomcat启动后会在catali

作为习惯了用idea开发的小伙伴，不太想用eclipse开发Hadoop,于是研究了一下idea如何远程调试mr，现分享一下。一 开发环境本地win10系统Intellij idea14工具虚拟机中hadoop2.6.0伪分布模式二配置步骤(这里笨小葱参考的这篇文章：http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-ha

笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:Exception in thread "main" java.

SSHSSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议从客户端来看，SSH提供两种级别的安全验证。第一种级别（基于口令的安全验证）只要你知道自己帐号和口令，就可以登录到远程主机

1.前言在写完MR之后，通常都会自己造一些数据本地测一下保证基本逻辑没问题。这里使用MRUnit进行MR的单元测试官网地址：https://mrunit.apache.org/             这里笨小葱使用MRUnit来测试一下最简单的WordCount的MR代码。2.maven配置       这里需要注意 引入mrunit的jar包时需要加上hadoop2,来区分