头歌：共享单车之数据分析

最新推荐文章于 2024-04-08 23:26:14 发布
最新推荐文章于 2024-04-08 23:26:14 发布
阅读量1.5k 收藏 13
点赞数 4
分类专栏： Educoder 文章标签： java 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53208849/article/details/136178770
版权

第1关 统计共享单车每天的平均使用时间

package com.educoder.bigData.sharedbicycle;
 
import java.io.IOException;
import java.text.ParseException;
import java.util.Collection;
import java.util.Date;
import java.util.HashMap;
import java.util.Locale;
import java.util.Map;
import java.util.Scanner;
import java.math.RoundingMode;
import java.math.BigDecimal;
import org.apache.commons.lang3.time.DateFormatUtils;
import org.apache.commons.lang3.time.FastDateFormat;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
 
import com.educoder.bigData.util.HBaseUtil;
 
/**
 * 统计共享单车每天的平均使用时间
 */
public class AveragetTimeMapReduce extends Configured implements Tool {
 
	public static final byte[] family = "info".getBytes();
 
	public static class MyMapper extends TableMapper<Text, BytesWritable> {
		protected void map(ImmutableBytesWritable rowKey, Result result, Context context)
				throws IOException, InterruptedException {
			/********** Begin *********/
		 long beginTime = Long.parseLong(Bytes.toString(result.getValue(family, "beginTime".getBytes())));
		 long endTime = Long.parseLong(Bytes.toString(result.getValue(family, "endTime".getBytes())));
		 String format = DateFormatUtils.format(beginTime, "yyyy-MM-dd", Locale.CHINA);
		 long useTime = endTime - beginTime;
		 BytesWritable bytesWritable = new BytesWritable(Bytes.toBytes(format + "_" + useTime));
		 context.write(new Text("avgTime"), bytesWritable);		 
			/********** End *********/
		}
	}
 
	public static class MyTableReducer extends TableReducer<Text, BytesWritable, ImmutableBytesWritable> {
		@Override
		public void reduce(Text key, Iterable<BytesWritable> values, Context context)
				throws IOException, InterruptedException {
			/********** Begin *********/
		     double sum = 0;
			int length = 0;
			Map<String, Long> map = new HashMap<String, Long>();
			for (BytesWritable price : values) {
				byte[] copyBytes = price.copyBytes();
				String string = Bytes.toString(copyBytes);
				String[] split = string.split("_");
				if (map.containsKey(split[0])) {
					Long integer = map.get(split[0]) + Long.parseLong(split[1]);
					map.put(split[0], integer);
				} else {
					map.put(split[0], Long.parseLong(split[1]));
				}
			}
			Collection<Long> values2 = map.values();
			for (Long i : values2) {
				length++;
				sum += i;
			}
			BigDecimal decimal = new BigDecimal(sum / length /1000);
			BigDecimal setScale = decimal.setScale(2, RoundingMode.HALF_DOWN);
			Put put = new Put(Bytes.toBytes(key.toString()));
			put.addColumn(family, "avgTime".getBytes(), Bytes.toBytes(setScale.toString()));
			context.write(null, put);	 
			/********** End *********/
		}
 
	}
 
	public int run(String[] args) throws Exception {
		// 配置Job
		Configuration conf = HBaseUtil.conf;
		// Scanner sc = new Scanner(System.in);
		// String arg1 = sc.next();
		// String arg2 = sc.next();
		String arg1 = "t_shared_bicycle";
		String arg2 = "t_bicycle_avgtime";
		try {
			HBaseUtil.createTable(arg2, new String[] { "info" });
		} catch (Exception e) {
			// 创建表失败
			e.printStackTrace();
		}
		Job job = configureJob(conf, new String[] { arg1, arg2 });
		return job.waitForCompletion(true) ? 0 : 1;
	}
 
	private Job configureJob(Configuration conf, String[] args) throws IOException {
		String tablename = args[0];
		String targetTable = args[1];
		Job job = new Job(conf, tablename);
		Scan scan = new Scan();
		scan.setCaching(300);
		scan.setCacheBlocks(false);// 在mapreduce程序中千万不要设置允许缓存
		// 初始化Mapreduce程序
		TableMapReduceUtil.initTableMapperJob(tablename, scan, MyMapper.class, Text.class, BytesWritable.class, job);
		// 初始化Reduce
		TableMapReduceUtil.initTableReducerJob(targetTable, // output table
				MyTableReducer.class, // reducer class
				job);
		job.setNumReduceTasks(1);
		return job;
	}
}

第2关 统计共享单车在指定地点的每天平均次数 

package com.educoder.bigData.sharedbicycle;
 
 
 
import java.io.IOException;
 
import java.math.BigDecimal;
 
import java.math.RoundingMode;
 
import java.util.ArrayList;
 
import java.util.Collection;
 
import java.util.HashMap;
 
import java.util.Locale;
 
import java.util.Map;
 
import java.util.Scanner;
 
import org.apache.commons.lang3.time.DateFormatUtils;
 
import org.apache.hadoop.conf.Configuration;
 
import org.apache.hadoop.conf.Configured;
 
import org.apache.hadoop.hbase.CompareOperator;
 
import org.apache.hadoop.hbase.client.Put;
 
import org.apache.hadoop.hbase.client.Result;
 
import org.apache.hadoop.hbase.client.Scan;
 
import org.apache.hadoop.hbase.filter.BinaryComparator;
 
import org.apache.hadoop.hbase.filter.Filter;
 
import org.apache.hadoop.hbase.filter.FilterList;
 
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
 
import org.apache.hadoop.hbase.filter.SubstringComparator;
 
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
 
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
 
import org.apache.hadoop.hbase.mapreduce.TableMapper;
 
import org.apache.hadoop.hbase.mapreduce.TableReducer;
 
import org.apache.hadoop.hbase.util.Bytes;
 
import org.apache.hadoop.io.BytesWritable;
 
import org.apache.hadoop.io.DoubleWritable;
 
import org.apache.hadoop.io.Text;
 
import org.apache.hadoop.mapreduce.Job;
 
import org.apache.hadoop.util.Tool;
 
import com.educoder.bigData.util.HBaseUtil;
 
 
 
/**
 * 共享单车每天在韩庄村的平均空闲时间
 */
 
public class AverageVehicleMapReduce extends Configured implements Tool {
  
 
    public static final byte[] family = "info".getBytes();
 
  
    public static class MyMapper extends TableMapper<Text, BytesWritable> {
 
        protected void map(ImmutableBytesWritable rowKey, Result result, Context context)
 
                throws IOException, InterruptedException {
 
            /********** Begin *********/
 
           String beginTime = Bytes.toString(result.getValue(family, "beginTime".getBytes()));
 
           String format = DateFormatUtils.format(Long.parseLong(beginTime), "yyyy-MM-dd", Locale.CHINA);
 
           BytesWritable bytesWritable = new BytesWritable(Bytes.toBytes(format));
 
           context.write(new Text("河北省保定市雄县-韩庄村"), bytesWritable);
 
            /********** End *********/
 
        }
 
    }
 
 
 
    public static class MyTableReducer extends TableReducer<Text, BytesWritable, ImmutableBytesWritable> {
 
        @Override
 
        public void reduce(Text key, Iterable<BytesWritable> values, Context context)
 
                throws IOException, InterruptedException {
 
            /********** Begin *********/
 
          double sum = 0;
 
            int length = 0;
 
            Map<String, Integer> map = new HashMap<String, Integer>();
 
            for (BytesWritable price : values) {
 
                byte[] copyBytes = price.copyBytes();
 
                String string = Bytes.toString(copyBytes);
 
                if (map.containsKey(string)) {
 
                    Integer integer = map.get(string) + 1;
 
                    map.put(string, integer);
 
                } else {
 
                    map.put(string, new Integer(1));
 
                }
 
            }
 
            
 
            Collection<Integer> values2 = map.values();
 
            for (Integer i : values2) {
 
                length++;
 
                sum += i;
 
            }
 
            BigDecimal decimal = new BigDecimal(sum / length);
 
            BigDecimal setScale = decimal.setScale(2, RoundingMode. HALF_DOWN);
 
            Put put = new Put(Bytes.toBytes(key.toString()));
 
            put.addColumn(family, "avgNum".getBytes(), Bytes.toBytes(setScale.toString()));
 
            context.write(null, put);
 
 
            /********** End *********/
 
        }
 
 
 
    }
 
 
 
    public int run(String[] args) throws Exception {
 
        // 配置Job
 
        Configuration conf = HBaseUtil.conf;
 
        //Scanner sc = new Scanner(System.in);
 
        //String arg1 = sc.next();
 
        //String arg2 = sc.next();
 
        String arg1 = "t_shared_bicycle";
 
        String arg2 = "t_bicycle_avgnum";
 
        try {
 
            HBaseUtil.createTable(arg2, new String[] { "info" });
 
        } catch (Exception e) {
 
            // 创建表失败
 
            e.printStackTrace();
 
        }
 
        Job job = configureJob(conf, new String[] { arg1, arg2 });
 
        return job.waitForCompletion(true) ? 0 : 1;
 
    }
 
 
 
    private Job configureJob(Configuration conf, String[] args) throws IOException {
 
        String tablename = args[0];
 
        String targetTable = args[1];
 
        Job job = new Job(conf, tablename);
 
        Scan scan = new Scan();
 
        scan.setCaching(300);
 
        scan.setCacheBlocks(false);// 在mapreduce程序中千万不要设置允许缓存
 
        /********** Begin *********/
 
         //设置过滤
 
         ArrayList<Filter> listForFilters = new ArrayList<Filter>();
 
         Filter destinationFilter =new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("destination"),
 
               CompareOperator.EQUAL, new SubstringComparator("韩庄村"));
 
        Filter departure = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("departure"),
 
               CompareOperator.EQUAL, Bytes.toBytes("河北省保定市雄县"));
 
        listForFilters.add(departure);
 
        listForFilters.add(destinationFilter);
 
        scan.setCaching(300);
 
        scan.setCacheBlocks(false);
 
        Filter filters = new FilterList(listForFilters);
 
        scan.setFilter(filters);
 
            /********** End *********/
 
        // 初始化Mapreduce程序
 
        TableMapReduceUtil.initTableMapperJob(tablename, scan, MyMapper.class, Text.class, BytesWritable.class, job);
 
        // 初始化Reduce
 
        TableMapReduceUtil.initTableReducerJob(targetTable, // output table
 
                MyTableReducer.class, // reducer class
 
                job);
 
        job.setNumReduceTasks(1);
 
        return job;
 
    }
 
}

第3关 统计共享单车指定车辆每次使用的空闲平均时间 

package com.educoder.bigData.sharedbicycle;

import java.io.IOException;

import java.math.BigDecimal;

import java.math.RoundingMode;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.hbase.CompareOperator;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.filter.Filter;

import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;

import org.apache.hadoop.hbase.io.ImmutableBytesWritable;

import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;

import org.apache.hadoop.hbase.mapreduce.TableMapper;

import org.apache.hadoop.hbase.mapreduce.TableReducer;

import org.apache.hadoop.hbase.util.Bytes;

import org.apache.hadoop.io.BytesWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.util.Tool;

import com.educoder.bigData.util.HBaseUtil;

/**

 * 

 * 统计5996共享单车每次使用的空闲平均时间

 */

public class FreeTimeMapReduce extends Configured implements Tool {
    public static final byte[] family = "info".getBytes();

    public static class MyMapper extends TableMapper<Text, BytesWritable> {
        protected void map(ImmutableBytesWritable rowKey, Result result, Context context)

                throws IOException, InterruptedException {
            /********** Begin *********/

            long beginTime = Long.parseLong(Bytes.toString(result.getValue(family, "beginTime".getBytes())));

            long endTime = Long.parseLong(Bytes.toString(result.getValue(family, "endTime".getBytes())));

            BytesWritable bytesWritable = new BytesWritable(Bytes.toBytes(beginTime + "_" + endTime));

            context.write(new Text("5996"), bytesWritable);      

            /********** End *********/

        }

    }

    public static class MyTableReducer extends TableReducer<Text, BytesWritable, ImmutableBytesWritable> {
        @Override

        public void reduce(Text key, Iterable<BytesWritable> values, Context context)

                throws IOException, InterruptedException {
            /********** Begin *********/

            long freeTime = 0;

            long beginTime = 0;

            int length = 0;

            for (BytesWritable time : values) {
                byte[] copyBytes = time.copyBytes();

                String timeLong = Bytes.toString(copyBytes);

                String[] split = timeLong.split("_");

                if(beginTime == 0) {
                    beginTime = Long.parseLong(split[0]);

                    continue;

                }

                else {
                    freeTime = freeTime + beginTime - Long.parseLong(split[1]);

                    beginTime = Long.parseLong(split[0]);

                    length ++;

                }

            }

            Put put = new Put(Bytes.toBytes(key.toString()));

            BigDecimal decimal = new BigDecimal(freeTime / length /1000 /60 /60);

            BigDecimal setScale = decimal.setScale(2, RoundingMode.HALF_DOWN);

            put.addColumn(family, "freeTime".getBytes(), Bytes.toBytes(setScale.toString()));

            context.write(null, put);

         

         

         

         

         

            /********** End *********/

        }

    }

    public int run(String[] args) throws Exception {
        // 配置Job

        Configuration conf = HBaseUtil.conf;

        // Scanner sc = new Scanner(System.in);

        // String arg1 = sc.next();

        // String arg2 = sc.next();

        String arg1 = "t_shared_bicycle";

        String arg2 = "t_bicycle_freetime";

        try {
            HBaseUtil.createTable(arg2, new String[] { "info" });

        } catch (Exception e) {
            // 创建表失败

            e.printStackTrace();

        }

        Job job = configureJob(conf, new String[] { arg1, arg2 });

        return job.waitForCompletion(true) ? 0 : 1;

    }

    private Job configureJob(Configuration conf, String[] args) throws IOException {
        String tablename = args[0];

        String targetTable = args[1];

        Job job = new Job(conf, tablename);

        Scan scan = new Scan();

        scan.setCaching(300);

        scan.setCacheBlocks(false);// 在mapreduce程序中千万不要设置允许缓存

        /********** Begin *********/

         //设置过滤条件

        Filter filter = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("bicycleId"), CompareOperator.EQUAL, Bytes.toBytes("5996"));

        scan.setFilter(filter); 

         

         

         

            /********** End *********/

        // 初始化Mapreduce程序

        TableMapReduceUtil.initTableMapperJob(tablename, scan, MyMapper.class, Text.class, BytesWritable.class, job);

        // 初始化Reduce

        TableMapReduceUtil.initTableReducerJob(targetTable, // output table

                MyTableReducer.class, // reducer class

                job);

        job.setNumReduceTasks(1);

        return job;

    }

}

第4关 统计指定时间共享单车使用次数

package com.educoder.bigData.sharedbicycle;

import java.io.IOException;

import java.util.ArrayList;

import org.apache.commons.lang3.time.FastDateFormat;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.conf.Configured;

import org.apache.hadoop.hbase.CompareOperator;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.filter.Filter;

import org.apache.hadoop.hbase.filter.FilterList;

import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;

import org.apache.hadoop.hbase.io.ImmutableBytesWritable;

import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;

import org.apache.hadoop.hbase.mapreduce.TableMapper;

import org.apache.hadoop.hbase.mapreduce.TableReducer;

import org.apache.hadoop.hbase.util.Bytes;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.util.Tool;

import com.educoder.bigData.util.HBaseUtil;

/**

 * 共享单车使用次数统计

 */

public class UsageRateMapReduce extends Configured implements Tool {

    public static final byte[] family = "info".getBytes();

    public static class MyMapper extends TableMapper<Text, IntWritable> {

        protected void map(ImmutableBytesWritable rowKey, Result result, Context context)throws IOException, InterruptedException {
            /********** Begin *********/
           IntWritable doubleWritable = new IntWritable(1);
           context.write(new Text("departure"), doubleWritable);
            /********** End *********/

        }

    }

    public static class MyTableReducer extends TableReducer<Text, IntWritable, ImmutableBytesWritable> {

        @Override

        public void reduce(Text key, Iterable<IntWritable> values, Context context)

                throws IOException, InterruptedException {

            /********** Begin *********/        

            int totalNum = 0;
            for (IntWritable num : values) {
                int d = num.get();
                totalNum += d;
            }
            Put put = new Put(Bytes.toBytes(key.toString()));
            put.addColumn(family, "usageRate".getBytes(), Bytes.toBytes(String.valueOf(totalNum)));
            context.write(null, put);
           /********** End *********/
        }
    }

    public int run(String[] args) throws Exception {
        // 配置Job
        Configuration conf = HBaseUtil.conf;
        // Scanner sc = new Scanner(System.in);
        // String arg1 = sc.next();
        // String arg2 = sc.next();
        String arg1 = "t_shared_bicycle";
        String arg2 = "t_bicycle_usagerate";
        try {
            HBaseUtil.createTable(arg2, new String[] { "info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        Job job = configureJob(conf, new String[] { arg1, arg2 });
        return job.waitForCompletion(true) ? 0 : 1;
    }
    private Job configureJob(Configuration conf, String[] args) throws IOException {
        String tablename = args[0];
        String targetTable = args[1];
        Job job = new Job(conf, tablename);
        ArrayList<Filter> listForFilters = new ArrayList<Filter>();
        FastDateFormat instance = FastDateFormat.getInstance("yyyy-MM-dd");
        Scan scan = new Scan();
        scan.setCaching(300);
        scan.setCacheBlocks(false);// 在mapreduce程序中千万不要设置允许缓存
         /********** Begin *********/
        try {
        Filter destinationFilter = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("beginTime"), CompareOperator.GREATER_OR_EQUAL, Bytes.toBytes(String.valueOf(instance.parse("2017-08-01").getTime())));
        Filter departure = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("endTime"), CompareOperator.LESS_OR_EQUAL, Bytes.toBytes(String.valueOf(instance.parse("2017-09-01").getTime())));
        listForFilters.add(departure);
        listForFilters.add(destinationFilter);
        }catch (Exception e) {
            e.printStackTrace();
            return null;
        }
        Filter filters = new FilterList(listForFilters);
        scan.setFilter(filters);
        
        /********** End *********/
        // 初始化Mapreduce程序
        TableMapReduceUtil.initTableMapperJob(tablename, scan, MyMapper.class, Text.class, IntWritable.class, job);
        // 初始化Reduce

        TableMapReduceUtil.initTableReducerJob(targetTable, // output table

                MyTableReducer.class, // reducer class

                job);

        job.setNumReduceTasks(1);

        return job;

    }

}

 第5关 统计共享单车线路流量

package com.educoder.bigData.sharedbicycle;
 
import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
 
import com.educoder.bigData.util.HBaseUtil;
 
/**
 * 共享单车线路流量统计
 */
public class LineTotalMapReduce extends Configured implements Tool {
 
	public static final byte[] family = "info".getBytes();
 
	public static class MyMapper extends TableMapper<Text, IntWritable> {
		protected void map(ImmutableBytesWritable rowKey, Result result, Context context)
				throws IOException, InterruptedException {
			            /********** Begin *********/
						String start_latitude = Bytes.toString(result.getValue(family, "start_latitude".getBytes()));
						String start_longitude = Bytes.toString(result.getValue(family, "start_longitude".getBytes()));
						String stop_latitude = Bytes.toString(result.getValue(family, "stop_latitude".getBytes()));
						String stop_longitude = Bytes.toString(result.getValue(family, "stop_longitude".getBytes()));
						String departure = Bytes.toString(result.getValue(family, "departure".getBytes()));
						String destination = Bytes.toString(result.getValue(family, "destination".getBytes()));
						IntWritable doubleWritable = new IntWritable(1);
						context.write(new Text(start_latitude + "-" + start_longitude + "_" + stop_latitude + "-" + stop_longitude + "_" + departure + "-" + destination), doubleWritable);
		 
		 
		 
		 
		 
			/********** End *********/
		}
	}
 
	public static class MyTableReducer extends TableReducer<Text, IntWritable, ImmutableBytesWritable> {
		@Override
		public void reduce(Text key, Iterable<IntWritable> values, Context context)
				throws IOException, InterruptedException {
			            /********** Begin *********/
						int totalNum = 0;
						for (IntWritable num : values) {
							int d = num.get();
							totalNum += d;
						}
						Put put = new Put(Bytes.toBytes(key.toString() + totalNum ));
						put.addColumn(family, "lineTotal".getBytes(), Bytes.toBytes(String.valueOf(totalNum)));
						context.write(null, put);
		 
		 
		 
		 
		 
			/********** End *********/
		}
 
	}
 
	public int run(String[] args) throws Exception {
		// 配置Job
		Configuration conf = HBaseUtil.conf;
		// Scanner sc = new Scanner(System.in);
		// String arg1 = sc.next();
		// String arg2 = sc.next();
		String arg1 = "t_shared_bicycle";
		String arg2 = "t_bicycle_linetotal";
		try {
			HBaseUtil.createTable(arg2, new String[] { "info" });
		} catch (Exception e) {
			// 创建表失败
			e.printStackTrace();
		}
		Job job = configureJob(conf, new String[] { arg1, arg2 });
		return job.waitForCompletion(true) ? 0 : 1;
	}
 
	private Job configureJob(Configuration conf, String[] args) throws IOException {
		String tablename = args[0];
		String targetTable = args[1];
		Job job = new Job(conf, tablename);
		Scan scan = new Scan();
		scan.setCaching(300);
		scan.setCacheBlocks(false);// 在mapreduce程序中千万不要设置允许缓存
		// 初始化Mapreduce程序
		TableMapReduceUtil.initTableMapperJob(tablename, scan, MyMapper.class, Text.class, IntWritable.class, job);
		// 初始化Reduce
		TableMapReduceUtil.initTableReducerJob(targetTable, // output table
				MyTableReducer.class, // reducer class
				job);
		job.setNumReduceTasks(1);
		return job;
	}
}
爱吃肉的白熊
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
共享单车之数据分析
Junds0的博客
04-26 2790
本关任务：使用Hbase的MapReduce对已经存在Hbase 的共享单车运行数据进行分析，统计共享单车指定车辆每次使用的平均空闲时间，其中共享单车运行数据在Hbase的t_shared_bicycle表中（表结构可在编程要求中进行查看）。本关任务：使用Hbase的MapReduce对已经存在 Hbase 的共享单车运行数据进行分析，统计共享单车每天在指定地点的平均次数，其中共享单车运行数据在Hbase的t_shared_bicycle表中（表结构可在编程要求中进行查看）。
共享单车大数据分析代码.txt
01-06
头歌（educoder）平台实战项目——共享单车大数据分析
共享单车数据分析
热门推荐
远方
03-26 1万+
Capital Bikeshare trip data 数据特征 总共七个特征： Duration：骑行持续时间，数据形式：844108ms和14h 26min. 2sec Start date：开始日期，数据形式：12/31/2010 23:49 End date：结束日期，数据形式：1/1/2011 14:15 Start station ：起始站，数据形式：10th &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp
头歌 共享单车大数据项目数据分析
在下小秦
06-26 3779
头歌共享单车项目代码
头歌共享单车之数据分析
weixin_62408538的博客
07-08 784
第一关：统计共享单车每天的平均使用时间。第二关：共享单车每天在韩庄村的平均空闲时间。第三关：统计5996共享单车每次使用的空闲平均时间。直接从begin开始看，到end结束就好了。第四关：共享单车使用次数统计。第五关：共享单车线路流量统计。
Python数据分析--Kaggle共享单车项目实战
02-24
岭回归(英文名：ridgeregression,Tikhonovregularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归...
Kaggle共享单车数据分析 .pdf
03-04
Kaggle共享单车数据分析 本文通过对Kaggle共享单车数据的分析，探讨了共享单车的租赁情况对季节、天气、工作日、节假日等因素的影响，并对注册用户和非注册用户的租赁行为进行了比较。 数据概述 数据来自Kaggle的...
共享单车骑行数据分析
11-26
Python数据分析实战项目-共享单车有效的解决了“走路累，公交挤，开车堵，打车贵”的苦恼。一夜之间，北上广深、甚至部分二线城市，共享单车大街小巷随处可见。
Spark SQL上海摩拜共享单车数据分析源码
04-23
在这个"Spark SQL上海摩拜共享单车数据分析源码"项目中，开发者利用Spark SQL对上海摩拜共享单车的数据进行了深入分析。项目采用Java语言编写，并借助Maven构建工具来管理依赖项，确保了项目的可重复性和稳定性。 ...
共享单车
02-13
共享单车：对纽约市花旗自行车服务的任何分析 分析概述 此分析的目的是检查与纽约市花旗自行车服务相关的数据，以便将数据提供给可能投资该服务到我们客户的家乡爱荷华州得梅因市的潜在投资者。 。 技术 与该分析相关的主要技术是Tableau，用于呈现可视化内容，以说服投资者进行投资。 数据文件是一个大的平面.csv文件。 但是，关键数据列的格式不是准备可视化所需的格式。 因此，使用的第二种技术是Python Pandas，在其中读取.csv并将行程持续时间列从原始的整数格式（秒）转换为Hours：Minutes：Seconds的新格式。 下图是转换之前的Pandas数据框： 查看跳闸时间列如何更改。 转换了Tripduration列后，Pandas用于将转换后的数据帧导出到新的.csv。 从第二个.csv中，准备了可视化效果。 结果 为此数据生成了五种主要可视化。 所有用户的结帐时间 以
共享单车之数据分析-统计共享单车每天的平均使用时间
m0_58245389的博客
05-22 1634
任务描述本关任务：使用的对已经存在 Hbase 的共享单车运行数据进行分析，统计共享单车每天的平均使用时间，其中共享单车运行数据在的表中（表结构可在编程要求中进行查看）。相关知识为了完成本关任务，你需要掌握：如何配置的类是运行在上的一个并行计算框架，分为节点和节点。提供了的和两个方法来完成的配置。initTableMapperJob 方法: initTableReducerJob 方法:
共享单车之数据分析第1关：统计共享单车每天的平均使用时间
m0_58772685的博客
11-25 3767
共享单车之数据分析 第1关：统计共享单车每天的平均使用时间
头歌：共享单车之数据可视化
最新发布
m0_53208849的博客
04-08 984
【代码】头歌：共享单车之数据可视化。
EduCoder （头歌）共享单车之数据可视化
Serein0711的博客
05-10 7707
摘要:头歌 EduCoder 共享单车之数据可视化 大数据
共享单车之数据分析第5关：统计共享单车线路流量
m0_58772685的博客
11-25 4194
共享单车之数据分析第5关：统计共享单车线路流量
共享单车之数据可视化
Junds0的博客
11-08 1057
上图中，线段AB是路程线，只要绘制出CBD就可以实现箭头效果，为了灵活绘制箭头，需要用户自定义箭头的长度（r）和角度（angle）。给起点和终点都创建标注，描述起点为乡里乡情铁锅炖南228米，终点为擎天矿用材料有限公司北609米，要求设置的字体大小为。上图可以看到路程，但只有一条线并无法详细的向我们展示信息，因此我们可以通过给路程线添加标注位置和方向箭头。再根据B点、小绿点的屏幕坐标及angle角度，计算出C，D两点的屏幕坐标。利用map的坐标转换方法，将C，D两点的屏幕坐标转成经纬度表示的坐标。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值