HBase中关于中文的处理

1、HBase版本hbase-0.20.5,Hadoop的版本hadoop-0.20.2,JDK1.6

2、在HBase中创建了表,如果想通过控制台使用命令写入含有汉字的数据,录入是不成功的。

3、如果想对汉字进行录入,可以通过代码实现,这里我使用的是java,代码如下:

         /**
	 * 向指定的表插入单个Put对象
	 * 
	 * @param tablename
	 * @param conf
	 * @throws Exception
	 */
	public static void insertData(String tableName, HBaseConfiguration conf) {
		HTable table = null;
		try {
			if (table == null) {
				table = new HTable(conf, tableName);
			}
			// 这里我使用time+6位随机数为row关键字,确保不重复
			String rowname = System.currentTimeMillis() / 1000 + "" + CommUtil.getSixRadom();
			System.out.println("rowname = " + rowname);
			Put p = new Put(Bytes.toBytes(rowname));
			p.add("acc".getBytes(), new Long(System.currentTimeMillis()).longValue(), "大绝招".getBytes());
			p.add("pwd".getBytes(), new Long(System.currentTimeMillis()).longValue(), "123456".getBytes());
			p.add("sex".getBytes(), new Long(System.currentTimeMillis()).longValue(), "1".getBytes());
			p.add("age".getBytes(), new Long(System.currentTimeMillis()).longValue(), "2222".getBytes());
			table.put(p);
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			CommUtil.HBaseClose(table);
		}
	}

 
4、通过查询可以查找出汉字内容,代码如下:
         /**
	 * 扫描HBase数据内容
	 * 
	 * @param tablename
	 * @param conf
	 * @param table
	 */
	public static void scanData(String tableName, HBaseConfiguration conf) {
		HTable table = null;
		Scan s = null;
		ResultScanner scanner = null;
		try {
			if (table == null) {
				table = new HTable(conf, tableName);
			}
			s = new Scan();
			s.addColumn(Bytes.toBytes("acc"));
			scanner = table.getScanner(s);
			for (Result r = scanner.next(); r != null; r = scanner.next()) {
				byte[] value = r.getValue("acc".getBytes());
				String m = new String(value);
				System.out.println("Found row: " + m);
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			scanner.close();
		}
	}

 

 

5、结果返回正常的汉字,这里指的是在windows环境下,eclipse控制台输出的是汉字。如果是在linux下先在控制台输出汉字,则和操作系统的编码格式有关系。

6、通过上面的步骤可以看出来,输入是通过代码循环录入,当然,上面我只是录入的一条数据内容。如果想把文件内容作为数据的输入,那么需要把代码修改,并打成jar包在linux上执行。这里涉及到了在hbase中采用MR代码来录入数据。至于如何配置,我会另外写一片文章来简单概述一下,这里我就默认已配置完成。

7、编写MR代码,读取文件数据,并录入到hbase表中,代码如下:

public class InsertDataToHBase {
	public static class InsertDataToHBaseMapper extends Mapper<Object, Text, NullContext, NullWritable> {

		public static String table1[] = { "field1", "field2", "field3"};

		public static String table2[] = { "field1", "field2", "field3"};

		public static String table3[] = { "field1", "field2", "field3"};

		public static HTable table = null;

		protected void setup(Context context) throws IOException, InterruptedException {
			HBaseConfiguration conf = new HBaseConfiguration();
			String table_name = context.getConfiguration().get("tabel_name");
			if (table == null) {
				table = new HTable(conf, table_name);
			}
		}

		public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
			String arr_value[] = value.toString().split("/t");
			String table_name = context.getConfiguration().get("tabel_name");
			String temp_arr[] = table1;
			int temp_value_length = 0;

			if (table_name.trim().equals("table1")) {
				temp_arr = table1;
				temp_value_length = 3;
			} else if (table_name.trim().equals("table2")) {
				temp_arr = table2;
				temp_value_length = 3;
			} else if (table_name.trim().equals("table3")) {
				temp_arr = table3;
				temp_value_length = 3;
			}

			List<Put> list = new ArrayList<Put>();
			if (arr_value.length == temp_value_length) {
				String rowname = System.currentTimeMillis() / 1000 + "" + CommUtil.getSixRadom();
				Put p = new Put(Bytes.toBytes(rowname));
				for (int i = 0; i < temp_arr.length; i++) {
					p.add(temp_arr[i].getBytes(), "".getBytes(), arr_value[i].getBytes());
				}
				list.add(p);
			}
			table.put(list);
			table.flushCommits();
		}
	}

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		if (otherArgs.length != 3) {
			System.err.println("Usage: InsertDataToHBase <inpath> <outpath> <tablename>");
			System.exit(2);
		}
		conf.set("tabel_name", otherArgs[2]);
		Job job = new Job(conf, "InsertDataToHBase");
		job.setNumReduceTasks(0);
		job.setJarByClass(InsertDataToHBase.class);
		job.setMapperClass(InsertDataToHBaseMapper.class);
		FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
		// job.submit();
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

 

8、对于数据文件,如果有汉字,要求是UTF-8的编码格式,这样,在通过代码读取数据内容的时候才能显示成中文。这里有个地方需要注意一下,如果数据文件是在windows上,那么你通过另存为转成UTF-8的编码格式,汉字会有3个位的头,如果是这样的数据录入,查询出来之后,汉字的头前会显示一个“?”,这个是由于windows编码格式和Linux不同所致。处理这样的问题可以将文件拷贝到Linux下,做如下操作:

iconv -f GBK -t UTF-8 gbk.txt -o utf8.bcp

另外需要注意的是,如果文件后缀是txt,那么你即使转换之后,在windows再次打开,系统也会默认给你增加3个位的头。所以建议数据文件不要以txt后缀命名。

9、汉字录入HBase之后,使用命令查看显示如下:

1279677870714210            column=acc:, timestamp=1279677870656, value=/xB4/xF3/xBE/xF8/xD5/xD0

可以看到是ASCII编码,可以将这些内容拷贝到UE,以16进制查看,然后对应的修改,可以看到最终显示是汉字“大绝招”

 

10、总结一下,内容写的比较少,代码贴了一些,大家看看,如果觉得有写的不对的或是有疑问的地方,可以给我发邮件dajuezhao@gmail.com

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页