hbase入库

需求：抽取一批定向用户的号码

难点：运营商提供的数据用户号码等隐私字段都经过了脱敏处理，使用了MD5加密

解决：

方案一：部分url字段中包含了用户号码的明文字段，可以从中提取。

方案二：根据电信号码的编码规律得到所有电信号码以及其对应的MD5编码，通过撞库可以获取指定用户的号码。

<pre name="code" class="plain">

hadoop dfs -text /daas/bstl/dpiqixin/beijing/20151115/MBLDPI.2015111523.7.1447602727877.lzo_deflate | grep --color 'phone=' |cut -d \| -f2,28
 

将明文经过md5加密，和运营商的加密后的号码字段匹配，如果匹配成功，则提取正确。

md5加密代码：

import java.security.MessageDigest;  
import java.security.NoSuchAlgorithmException;  
    
public class ParseMD5 {  
  
    /** 
     * @param str 
     * @return 
     * @Date: 2013-9-6   
     * @Author: lulei   
     * @Description:  32位小写MD5 
     */  
    public static String parseStrToMd5L32(String str){  
        String reStr = null;  
        try {  
            MessageDigest md5 = MessageDigest.getInstance("MD5");  
            byte[] bytes = md5.digest(str.getBytes());  
            StringBuffer stringBuffer = new StringBuffer();  
            for (byte b : bytes){  
                int bt = b&0xff;  
                if (bt < 16){  
                    stringBuffer.append(0);  
                }   
                stringBuffer.append(Integer.toHexString(bt));  
            }  
            reStr = stringBuffer.toString();  
        } catch (NoSuchAlgorithmException e) {  
            e.printStackTrace();  
        }  
        return reStr;  
    }  
      
    /** 
     * @param str 
     * @return 
     * @Date: 2013-9-6   
     * @Author: lulei   
     * @Description: 32位大写MD5 
     */  
    public static String parseStrToMd5U32(String str){  
        String reStr = parseStrToMd5L32(str);  
        if (reStr != null){  
            reStr = reStr.toUpperCase();  
        }  
        return reStr;  
    }  
      
    /** 
     * @param str 
     * @return 
     * @Date: 2013-9-6   
     * @Author: lulei   
     * @Description: 16位小写MD5 
     */  
    public static String parseStrToMd5U16(String str){  
        String reStr = parseStrToMd5L32(str);  
        if (reStr != null){  
            reStr = reStr.toUpperCase().substring(8, 24);  
        }  
        return reStr;  
    }  
      
    /** 
     * @param str 
     * @return 
     * @Date: 2013-9-6   
     * @Author: lulei   
     * @Description: 16位大写MD5 
     */  
    public static String parseStrToMd5L16(String str){  
        String reStr = parseStrToMd5L32(str);  
        if (reStr != null){  
            reStr = reStr.substring(8, 24);  
        }  
        return reStr;  
    }  
    
    public static void main(String[] args) {
		String md5str="A8D549CC736F231536386A1673A53B95";
		String phone="13381231629";
//		System.out.println(md5str.length());
		String md5str2=parseStrToMd5U32(phone);
		System.out.println(md5str2.equals(md5str));
	}
}

方法二探究：

中国电信手机号码开头数字

2G/3G号段（CDMA2000网络）133、153、180、181、189

4G号段 177、173

编码规则都是人定的。大陆的手机号码是11位，而香港的手机号码只有8位。大陆的编码规则为：
前3位：网络识别号，如134-139、158、159属中国移动；130-132、156属中国联通。
　　第4～7位（中四位）：地区编码,如0252代表湖南省长沙市。一些网站和手机APP可以查归属地就是根据这个数据库。
　　第8～11位（后四位）：用户号码，从0000至9999，每段1万户。

附手机号码区域查询库：

1、初始数据在Data.mdb文件中，需要导出为dainxin.txt文件才能进行处理

2、为了方便，在linux中用grep命令和重定向得到只包含电信数据的初始文件

3、用java生成需要的库文件

public class NumProducer {
	public static void main(String[] args) throws Exception {
		List<String> prefix = DianxinList.elements();
		List<String> sufix = getSufix();
		List<String> nums=new ArrayList<>();
		String num=null;
		String local="";
		FileWriter writer=new FileWriter(new File("dianxin"));
		for (String each : prefix) {
			String pre=each.split(",")[1];
			pre=pre.substring(1, pre.length()-1);
			local=each.split(",")[2];
			local=local.substring(1, local.length()-1);
			for (String suf : sufix) {
				num=pre+suf;
				String md5str=ParseMD5.parseStrToMd5U32(num);
				writer.write(num+","+md5str+","+local+"\r\n");
//				nums.add(num);
//				System.out.println(num);
			}
//			System.out.println(pre.subSequence(1, pre.length()-1));
		}
		
		writer.close();
		
	}
	
	public static List<String> getSufix(){
		List<String> result=new ArrayList<>();
		for(int i=0;i<10000;i++){
			String num=String.format("%04d", i);
			result.add(num);
//			System.out.println(num);
		}
		return result;
	}
	
}

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class DianxinList {
	
	private static final String FILE_NAME = "dianxin2";

	private static List<String> url_parse_param = new ArrayList<String>();
	
	static {
		File file = new File(System.getProperty("user.dir") + "/" + FILE_NAME);
		if (file.exists()) {
			BufferedReader br = null;
			try {
				br = new BufferedReader(new InputStreamReader(new FileInputStream(file)));
				String line = null;
				while ((line = br.readLine()) != null) {
					url_parse_param.add(line);
				}
				
				
			} catch (Exception e) {
				e.printStackTrace();
			} finally {
				if (br != null) {
					try {
						br.close();
					} catch (IOException e) {
						e.printStackTrace();
					}
				}
			}
		}
	}
	
	public static List<String> elements() {
		return url_parse_param;
	}
	
	public static Map<String, String> getParserMap(){
		Map<String, String> map=new HashMap<>();
		
		List<String> es = DianxinList.elements();
		for (String each : es) {
			String name=each.split("\\|")[0];
			map.put(name, each);
		}
		return map;
	}
	
}

4、为了方便查询，将数据用hbase入库

hbase创建表

create 'ee_dianxin_phone','info'

5、导入：其中-Dmapreduce.job.queuename=dmp1是队列的设置，间隔符号是逗号，第一个字段定位rowkey,后面字段对应指定的列中

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv  -Dmapreduce.job.queuename=dmp1 -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info:md5code,info:local ee_dianxin_phone /user/chenjinghui 

更多关于hbase的导入： hbase导入