孤星的博客

用流copy获取第二个block块的内容public void downloadBySeek() throws IllegalArgumentException, IOException { // 获取hadoop的压缩包文件 RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new...

连接 Configuration conf = new Configuration();// 设置用户,告诉要用的用户是谁 System.setProperty("HADOOP_USER_NAME", "hadoop");// 设置要使用的文件系统是hdfs ->地址是 192.168.141.137:9000 conf.set("fs.defaultFS", "hdfs://1...

第一列学科,第二列学号,第三列分数,求平均分map类public class map3 extends Mapper<Object, Text, Text, IntWritable>{ @Override protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable&g...

reduce 端join1.文件格式要注意,否则有乱码，可以自己处理,String string = new String(value.getBytes(),“GBK”);2.创建一个接受完整的bean(技能存放订单信息,又能存放商品信息)3.在map端接受不同文件的数据,根据是哪儿个文件,像完整的bean当中设置上对应的信息.没有的也不要是null,要设置默认值,否则会造成空指针异常...

1.上传解压2.vim /etc/profile配置环境变量export HIVE_HOME=/home/hadoop/hiveexportPATH=PATH:PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPH​OME/bin:HADOOP_HOME/sbin:$HIVE_HOME/bin3.source /e...

创建内部表create table mytable( id int, name string) row format delimited fields terminated by '\t' stored as textfile;附:mytable是表名id int是参数名字和参数类型as textfile是代表格式,可以省略,默认都是text格式创建外部表creat...

连接查询,只支持等值链接内连接select * from t_a a inner join t_b b on a.id=b.id;概念:将符合两边连接条件的数据查询出来左连接select * from t_a a left join t_b b on a.id=b.id;概念:1.以左表数据为匹配标准2.匹配不上的右边表数据显示为null3.返回的数据条数与左表相同...