hadoop
sjtu_chenchen
硕士毕业于上海交通大学,先后就职于各类大厂,在java、devops、大数据实时计算方向有深入的研究
展开
-
hive&mysql安装配置
1)安装mysql,不提了 sudo start mysql sudo stop mysql mysql -u root -p 2) 下载一个数据包mysql-connector-java-5.1.18-bin.jar,放到hive的lib目录下3)将hive/conf下的hive-default.xml.template复制并改名为hive-site.xml。配置如下原创 2015-11-10 18:44:44 · 386 阅读 · 0 评论 -
mapreduce wordcount案例
//---------------------WCmapper.java-------------------package pack1;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.ma原创 2015-10-28 22:30:05 · 432 阅读 · 0 评论 -
hadoop2.5.1+ubantu14.04伪分布式配置及问题解答
系统:ubantu64位 hadoop: 2.5.1hadoop从大概2.5版本后,为了迎合如今64位系统,官网 下载的都是64位的。在/hadoop-2.5.1/lib/native/中libhadoop.so.1.0.0文件可以分辨的32位还是64位。方法:File libhadoop.so.1.0.0如果你用的是hadoop2.4及以下,而你的linux系统是32位的,那我建议你从网上下载原创 2015-10-26 22:54:16 · 514 阅读 · 0 评论 -
dhfs客户端编写
//在src下导入core-site.xml和hdfs-site.xmlpackage pack;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.commons.compress.utils.IOUtils;impo原创 2015-10-28 22:20:30 · 615 阅读 · 0 评论 -
mapreduce序列化机制
//-------------------FlowBean.java----------------package pack2;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;import org.apache.原创 2015-10-29 23:13:07 · 596 阅读 · 0 评论 -
hadoop自定义排序
package pack3;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritabl原创 2015-10-29 23:16:53 · 425 阅读 · 0 评论 -
mapreduce自定义分组
//-------------------FlowSumArea.java-------------package pack4;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Lo原创 2015-10-30 18:30:21 · 758 阅读 · 0 评论