hadoop
蜡笔小吴
我是一个好人
展开
-
Hive:用Java代码通过JDBC连接Hiveserver
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hiv转载 2015-04-23 14:09:12 · 813 阅读 · 0 评论 -
hadoop1.x和hadoop2.x的对比
1.能否总结出MapReduce设计思路?2.hadoop1遇到了什么问题?3.hadoop2做了什么改进,具体哪些变化?对 hadoop1 和 hadoop 2 做了一个解释 图片不错 拿来看看Hadoop 1.0从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:首先用户程序 (JobClient) 提交了一个转载 2015-12-03 21:15:20 · 346 阅读 · 0 评论 -
Hadoop2.x集群动态添加删除数据节点
如果Hadoop集群已经在运行了,这时可能需要动态的添加新的数据节点到Hadoop系统中去,或者将某个数据节点下线,由于业务的需要,集群是不能重启的,那么具体的DataNode添加、删除步骤是什么样的呢?下面以DataNode的上线为例详细说明下如何动态的给HDFS集群新增数据节点(Hadoop2.0版本)。 首先简单说下几个相关的配置文件。(1)由dfs.hosts转载 2015-10-30 11:17:50 · 1291 阅读 · 0 评论 -
Ganglia监控Hadoop集群的安装部署
摘要: Ganglia监控Hadoop集群的安装部署 一、 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.16 ...Ganglia监控Hadoop集群的安装部署转载 2015-05-14 12:37:41 · 355 阅读 · 0 评论 -
Libnids开发包介绍
Libnids是一个用于网络入侵检测开发的专业编程接口,它使用了Libpcap所以它具有捕获数据包的功能。同时,Libnids提供了TCP数据流重组功能,所以对于分析基于TCP协议的各种协议Libnids都能胜任.Libnids还提供了对IP分片进行重组的功能,以及端口扫描检测和异常数据包检测功能。Libnids数据结构一.基本常量1.报警类型enum{NIDS_W转载 2015-05-13 19:23:07 · 418 阅读 · 0 评论 -
Hive运行架构及配置部署
Hive 运行架构由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具;构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库;设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据:使用HQL作为查询接口;使用HDFS作为存储底层;使用MapReduce作为执行层;2008年faceb转载 2015-05-12 17:21:00 · 490 阅读 · 0 评论 -
使用java连接hive,并执行hive语句详解
安装hadoop 和 hive我就不多说了,网上太多文章 自己看去首先,在机器上打开hiveservice[html] view plaincopyhive --service hiveserver -p 50000 & 打开50000端口,然后java就可以使用java连了,需要的jar包我发个图片就这多jar包,必须的不多说,直转载 2015-04-21 20:36:38 · 5557 阅读 · 1 评论 -
使用Hive读取Hbase中的数据
第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6转载 2015-04-21 15:30:01 · 366 阅读 · 0 评论 -
hive与hbase数据交互的详解指南
目录[-]HBase和Hive的集成原理1.文章来源:2.基本介绍3.软件版本4.安装位置5.整合步骤1.在 /usr/local/hbase-0.90.4下:2.修改hive-site.xml文件6.测试hive到hbase中1. 用hive创建hbase能识别的表2. 导入数据到关联hbase的表中去1.在hive中新建一张中间表2.插入数据到hbase表中去3.查看关联hbase转载 2015-04-21 16:05:49 · 2766 阅读 · 0 评论 -
java通过jdbc连接hive1.0.0(伪分布)的问题
通过java连接hive1.0.0 读取数据的时候(伪分布式),首先在hbase中已经有表flowSets,表的结构是一个列簇:flow;其中有一列为bytes;启动hive:hive -hiveconf hbase.master=master:60000接下来创建表:create external table flowsets(key string, value string)sto原创 2015-04-23 19:22:54 · 574 阅读 · 0 评论 -
hadoop中的Shuffle
缺省情况下,MapReduce Framework的Shuffle & Sort过程将所有和某一个键相关联的值“组合”(group)在一起,传送到一个唯一确定的Reducer,而且传送到每个Reducer的键是“排序”的(sort)。这对应到三个操作:1)“组合”; 2)“排序”; 和 3)partition(确定哪个键及其值的组合送到哪个Reducer)。这三个操作涉及到最基本的MapRed转载 2016-06-07 15:43:34 · 311 阅读 · 0 评论