hadoop和hive的实践应用（三）——hive的基本应用

前面我已经搭好了hadoop和hive环境，并且在hive中创建了表page,将数据load了进去。现在我想从这个表中统计每个url的流量，并放到其他关系中数据库中或者展现在页面上，怎么办？

去官网是看一下，不难发现可以用java ,python，php都可以实现，下面就用python 简单的写了写

 

from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

 

urlcount={}
def getFlowbyHive():
    try:
        transport = TSocket.TSocket('219.*.*.200',10000)
        transport = TTransport.TBufferedTransport(transport)
        protocol  = TBinaryProtocol.TBinaryProtocol(transport)
      
        client = ThriftHive.Client(protocol)
        transport.open()
        client.execute("select URL, count(*) from page GROUP BY URL")
        while (1):
           row = client.fetchOne()
           sp = row.split('/t')
           if (len(sp)<2):
             continue
           if (row == None):
              break
           urlcount[sp[0]]=sp[1]
           print sp[0],sp[1]
         transport.close()
      
    except Thrift.TException, tx:
       print '%s' % (tx.message)

 

需要在219.*.*.200服务器上启动hive服务，用于python,java等程序连接hive,bin/hive --service hiveserver 10001不跟端口号默认10000支持nohup后台启动执行程序，完了urlcount中现在应经存上了url:count的键值对，入库或展现由你来处理了。

HWI是Hive Web Interface的简称，是hive cli的一个web替换方案。0.7默认是自带hwi的，conf/hive-default.xml文件都是默认值，在后台启动hwi服务

nohup bin/hive --service hwi > /dev/null 2> /dev/null &

浏览器中输入：http://10.20.151.7:9999/hwi/ 就可以访问，可以查看数据仓库，执行语句了