python读取hive数据库mapreduce_MapReduce+hive数据操作-------第一天

packageData;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.FileReader;importjava.io.IOException;importjava.io.OutputStreamWriter;importjava.io.UnsupportedEncodingException;importjava.io.Writer;public classData {public static void main(String[] args) throwsFileNotFoundException, UnsupportedEncodingException {

FileReader read= new FileReader("result.txt");

BufferedReader br= newBufferedReader(read);

Writer writer= null;

File outFile= new File("result2.txt");

writer= new OutputStreamWriter(new FileOutputStream(outFile),"utf-8");

BufferedWriter bw= newBufferedWriter(writer);

String row;

String[] data=new String[6];int hang=1;try{while((row = br.readLine())!=null){

data=change(row);

data=chage(data);for(int i=0;i

System.out.print(data[i]+"\t");

}

System.out.println();

row=data[0]+","+data[1]+","+data[2]+","+data[3]+","+data[4]+","+data[5];

bw.write(row+ "\r\n");//i++;

}

}catch(IOException e) {//TODO Auto-generated catch block

e.printStackTrace();

}

}private staticString[] chage(String[] data) {/** for(int i=0;i

String[] time=new String[7];int j=0;int k=0;for(int i=0;i

time[k]=data[1].substring(j,i);

j=i+1;

k++;

}

}

time[k]=data[1].substring(j, data[1].length());switch(time[1]) { case "Jan":time[1]="01";break; case

"Feb":time[1]="02";break; case "Mar":time[1]="03";break; case

"Apr":time[1]="04";break; case "May":time[1]="05";break; case

"Jun":time[1]="06";break; case "Jul":time[1]="07";break; case

"Aug":time[1]="08";break; case "Sep":time[1]="09";break; case

"Oct":time[1]="10";break; case "Nov":time[1]="11";break; case

"Dec":time[1]="12";break; }

data[1]=time[2]+"-"+time[1]+"-"+time[0]+" "+time[3]+":"+time[4]+":"+time[5];

data[3]=data[3].substring(0, data[3].length()-1);returndata;

}private staticString [] change(String row) {char [] str1=row.toCharArray();

String [] data=new String [6];int j=0;int k=0;for(int i=0;i

data[k]=row.substring(j, i);

j=i+1;

k++;

}

}

data[k]=row.substring(j, str1.length);returndata;

}

}

基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。   Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下: 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值