浮夸

转自：http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html前言：RHadoop是由Revolution Analytics发起的一个开源项目，它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages，分别为支持用R来编...

一直都知道可以设置jvm heap大小，一直用eclipse写/调试java程序。一直用命令行or console加参数跑程序。现象：在eclipse的配置文件eclipse.ini中设置-vmargs -Xms500m -Xmx1024m，在eclipse中直接run 或者debug某些耗内存的程序时依然出现java.lang.OutOfMemoryError: Java Heap Space...

https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

MRUnit是一个用于测试mapreduce程序的java框架，它可以很方便地测试Mapper和rudecer程序 使用方法：在maven中加入下面配置：<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</art...

HADOOP篇HADOOP安装1.tar -zvxf hadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中：export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2export PATH=$HADOOP_HOME/bin:$PATHHADOOP配置1.在$HADOOP/...

【整理】MySQL引擎    MySQL数 据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL++ API自己做一个引擎。下面介绍几种数据库引擎：    ISAM：...

我在进行两个大表的join时，任务显示成功，但Hadoop出现以下异常：报出错误如下： java.lang.RuntimeException:java.lang.reflect.InvocationTargetException      at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.j...

最近有些同事些sql进行查询时，sql语句里不指定partition字段，这样直接造成hive生成Hadoop的MapReduce任务时查询的数据量巨大，从而影响整个集群的性能。经研究可以通过配置Hive参数来预防此类错误，从而达到优化的目的。在hive-site.xml中添加以下配置：<property><name>hive.mapred.mode</n...

一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个map...

linux zip 命令详解 功能说明：压缩文件。 语 法：zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>] 补充说明：zip是个使用广...

 准备1.        下载zookeeper，下载地址http://www.apache.org/dyn/closer.cgi/zookeeper，此处为zookeeper-3.3.22.        分别解压至zookeepr集群机器（一般为基数台机器）相应目录（此处为$ZOOKEEPER_HOME），集群为mem1，mem2，mem3（hosts对应）。配置1....

Hadoop的shell脚本分析        这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来。 脚本分析： bin=`dirname "$0"`bin=`cd "$bin"; pwd`if [ -e "$...

单机版搭建hadoop环境图文解析  安装过程： 一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、修改机器名五、安装ssh服务六、建立ssh无密码登录本机七、安装hadoop八、在单机上运行hadoop一、安装Linux操作系统 略二、在Ubuntu下创建hadoop用户组和用户 这里考虑的是以后涉及到hadoo...

1、主服务器和从服务器必须开启安全认证:--auth2、主服务器和从服务器的admin数据库中必须有全局用户。   在MongoDB2.0.2版本测试时，从服务器的admin数据库中没有全局用户时也能进行复制，尽管admin中无用户，客户端连接此服务器不进行验证（即--auth参数失效），但从服务器的--auth必须指定。既然启用了--auth，就应该在从服务器的admin中增加一个用户。3、...

root@localhost conf]# /usr/local/nginx/sbin/nginx/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory 从错误看出是缺少li...

#用户 用户组 user www www; #工作进程，根据硬件调整，有人说几核cpu，就配几个，我觉得可以多一点 worker_processes 5； #错误日志 error_log logs/error.log; #pid文件位置 pid logs/nginx.pid; worker_rlimit_...

　比特网(ChinaByte)4月22日消息 据外电消息报道，美国软件公司Splunk周四在纳斯达克的首日交易令人印象深刻，该公司股价当日报收于35.48美元，与17美元的IPO(首次公开募股)发行价相比翻了一番。这引发了投资者对一直相对不起眼的大数据公司板块的关注。　　该外电称，“大数据”基本上是一个包罗万象的术语，指的是收集和分析大量信息的能力，而这些信息涉及到人类生活的方方面面。过去数据...

Macbuntu 是一个用于 Ubuntu 的Mac主题包，通过其提供的 install.sh 脚本就可以把 Ubuntu 用一个命令打造成漂亮的苹果 Mac 风格，并且Macbuntu 提供多样的风格调整。当运行安装脚本时，Macbuntu 会自动安装 Compiz Extras 、Global Menu 、Docky 及 Ubuntu-Tweak 等软件，同时会自动配置好登录界面、Me...

详解使用pscp命令Linux文件上传与下载PSCP是一个文件上传下载的命令，他是ＰＵＴＴＹ的一个命令。有Window版本的也有Linux版本的。Windows下直接使用pscp.exe。Linux下安装putty就可以了。  pscp是putty安装包所带的远程文件传输工具，使用和Linux下scp命令相似，具体的使用方法如下：　　PSCP和SCP功能相同，在windows下使用...

公司项目用到了Mysql的备份与恢复操作 现把脚本程序做下笔记 Mysql备份与恢复#!/bin/shdir=/home/atj/data/tmpecho -------DB_Publish-------`if [ ! -e $dir ]; then mkdir -p $dirfibackup() { aip=$1...