LittleFatz's 笔记

以下是启动metastore时出现的exception[root@hadoop1 hadoop-1.2.1]# hive --service metastore &[1] 3530[root@hadoop1 hadoop-1.2.1]# Starting Hive Metastore Server15/02/07 15:21:38 WARN conf.HiveConf: DEP

原理参考：http://blog.csdn.net/xyilu/article/details/9066973 我的代码实现 ****************Starter******************************** import java.io.IOException;import java.util.regex.Pattern;import org.apac

安装mysql，具体操作参考：http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 安装hive：下载hive压缩包，解压缩后，进入conf复制hive-default.xml.template和hive-env.sh.template,重命名为hive-env.sh和hive-site.x

最近遇到一个问题，id_rsa.pub已经成功添加到authorized_keys文件中，但是ssh通信的时候依然需要密码 后来发现linux文件的权限设置问题，如果权限设置过于宽松的话，即使添加公钥，是依然需要密码的，经过多次试验，以下是我的设置 .ssh文件夹.ssh里的文件

select * from table limit 0,10上面句子中，0是起始offset，10是select出来的record数目，整句的意思是，选择table中前十条当然也可以直接写成select * from table limit 10如果换个offsetselect * from table limit 5,10这句的意思是，返回第6至15行record

来源：阮一峰进程（process）和线程（thread）是操作系统的基本概念，但是它们比较抽象，不容易掌握。最近，我读到一篇材料，发现有一个很好的类比，可以把它们解释地清晰易懂。1.计算机的核心是CPU，它承担了所有的计算任务。它就像一座工厂，时刻在运行。2.假定工厂的电力有限，一次只能供给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就

转载自并发编程网 – ifeve.com本文链接地址: 为什么ConcurrentHashMap是弱一致的本文将用到Java内存模型的happens-before偏序关系（下文将简称为hb）以及ConcurrentHashMap的底层模型相关的知识。happens-before相关内容参见：JLS §17.4.5. Happens-before Order、深入

一般情况下，判断奇偶数都会用如下的方法public boolean isOdd(int number){ return number % 2 == 1;}但是一旦把负整数考虑进来，就会出现问题当取余操作返回一个非零的结果时，它与左操作数具有相同的正负符号，也就是说，如果我们传入的参数是-1，运行以上方法后得到的结果是-1，而不是1因此可以把方法改成

原文出处： 并发编程网经常发现有List、Set的声明，是什么意思呢？表示包括T在内的任何T的父类，表示包括T在内的任何T的子类，下面我们详细分析一下两种通配符具体的区别。extendsList foo3的通配符声明，意味着以下的赋值是合法的：// Number "extends" Number (in this context)List foo3 = new ArrayL

原文出处： iceAeterna　　Java虚拟机通过装载、连接、初始化来使得一个Java类型可以被Java程序所使用，如下图所示，其中连接过程又分为验证、准备、解析三个部分。其中部分类的解析过程可以推迟到程序真正使用其某个符号引用时再去解析。解析过程可以推迟到类的初始化之后再进行，但这是有条件的，Java虚拟机必须在每个类或接口主动使用时进行初始化。以下为主动使用的情况：

最近在Atom上尝试安装插件，但是发现无法安装成功，网上虽然找到很多解决方法，但是发现自己也不太适用，希望我的这个方法也能够解决你的问题。1. 安装NodeJS安装这个的目的主要是为了npm，以下是npm的介绍2. 打开Atom的Setting界面，在Packages里面搜索你想要安装的插件名称3. 点击你需要安装的插件名称，这时候浏览器就会

带参数页面跳转this.props.history.pushState({passParam: true}, "/targetURL");第一个参数为你页面跳转时，需要传递的参数，如果不需要传参数，则为null。第二个参数为跳转目标页面。目标页面获取参数let temp = this.props.location.state;temp则是刚才页面跳转时所传递的参数

刚开始的时候，参考的是Red Hat上的文章：https://access.redhat.com/solutions/54740但是发现和自己的需求不相同，文章中实现的效果是，使用一个“service XXX start”，就能启动多个instance，而我需要的是每个instance由独立的“service XXX start”进行控制，不过这文档还是给了相当大的灵感。马上进入正

在eclipse中使用ant build project的时候出现 Class not found:javac1.8的错 查看eclipse plug in的ant version， 发现是1.8，然而ant 1.8对jdk1.8是不支持的，因此需要升级eclipse的ant插件版本build出错(jdk1.8 不兼容)" TITLE="eclipse中ant build出错(jdk1

iptables开机自动启动：开启： chkconfig iptables on 关闭： chkconfig iptables offiptables关闭服务：开启： service iptables start 关闭： service iptables stop查看iptables状态：service iptables status

这里以tradedate作为分区ID导入data到hive 首先创建和csv中的数据一一对应的tablecreate table t_reverse_repurchase (tradedate string, tradetimestring, securityid string, bidpx1 double, bidsize1 double, offerpx1double, offers

在尝试运行wordcount的时候 出现以下的error MAX_FAILED_UNIQUE_FETCHES”" TITLE="Hadoop中出现“Exceeded MAX_FAILED_UNIQUE_FETCHES”" />map100%，证明map阶段没有问题,问题出在reduce阶段，从jobtracker中获取任务，并且会获得map的服务器地址，而这个地址是map的主机名字

1.查看HDFS的file system情况 block size=64MB size" TITLE="HDFS修改Block size" />修改hdfs-site.xmlsize" TITLE="HDFS修改Block size" /> 重新启动hdfs 并且添加新文件 重新查看file system 修改生效size" TITLE="HDFS修改Block siz

hadoop configfiles中的master，里面指定的主机，其实不是namenode，而是secondarynamenode 1.修改conf/masters master里面配置的，其实是SNN的主机地址 2.修改hdfs-site.xml文件 dfs.http.address：namenode的http监控地址dfs.secondary.http.address

1.模拟NN崩溃，删掉 hadoop.tmp.dir 里面name文件夹中的所有文件hdfs-site.xml,修改fs.checkpoint.dir（可改可不改）2.在NN主机上，确保存在fs.checkpoint.dir的文件夹 3.将SNN中fs.checkpoint.dir中的所有文件copy到NN主机的fs.checkpoint.dir中 4.运行 bin/hadoop

如题，重新启动后，发现jps无法找到datanode进程，然后查看log namenode，发现所有datanode都无法启动" TITLE="hadoop成功启动后，重新format namenode，发现所有datanode都无法启动" />于是用master，进入namenode的路径，打开current文件夹里面的VERSION，里面的namespaceid就是我们需要的，把这个

1.网络连接方式设置为 桥接模式~2.获取root权限，修改文件 /etc/sysconfig/network-script/ifcfg-eth0 关键在于设置BOOTPROTO,DNS和GATEWAY3.重启网络服务service network restart   另外一种情况是，发现linux使用的网卡是eth1，所以eth0的设置无法生效，因此这时候

1. 在eclipse下创建javaproject，导入hadoop-1.2.1\src\contrib\eclipse-plugin，在project根目录下创建lib文件夹，将图片中的jar复制进去，并且将hadoop-1.2.1\src\contrib\build-contrib.xml复制到project根目录下  2. 修改build-contrib.xml 3. 修改

如上图所示，执行建立训练集命令的时候出错了 Unknown program'org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups'chosen.这个错是由于Mahout在0.7版本后没有了这个class 进入Mahout目录，在example/bin里有一个脚本classify-20newsgroups.sh运行这

001|2014-09-10 00-09|TKH001|2014-09-10 09-17|TKH003|2014-09-10 00-09|TKH002|2014-09-10 00-09|TKH002|2014-09-10 09-17|BEIJING ROAD003|2014-09-10 09-17|TMALL004|2014-09-10 00-09|TKH001|2014-09-10

普通ssh方式通信（需要密码）：ssh 192.168.1.102(对方的ip地址) 无需密码ssh通信：假设现在有两台机器 A：192.168.1.101 B:192.168.1.102在A上运行 ssh-keygen -t rsa无论遇到什么问题 直接按回车 最后如下图运行 cd .ssh/(这个文件夹是刚刚的命令生成滴)接着再运行 scp ./id_rsa.pub s

启动metastore服务hive --service metastore & 启动hiveserver服务hive --service hiveserver &启动hive客户端hive shell 如果配置了mysql作为metadata的管理，要记得先启动mysqlservice mysql start

这次的MySQL数据库迁移，是从中国联通到AWS，而AWS由于封装了一些操作，因此命令上会和中国联通的略微不同（中国联通只使用常规的MySQL命令）以下的步骤是设置成master-master的关系1. 在AWS和联通上创建用于replication的用户repl CREATE USER 'repl'@'#IP#' IDENTIFIED BY '#password#';