Hive性能调优

1.JOIN优化 执行JOIN语句时,将大表放在右边,如果表小到可以全部加载到内存中,可以考虑执行map端的JOIN 2. Reducer数量 可以将Reducer最大值设置为n*0.95,n为TaskTracker数量 通过设置hive.exec.reducers.max可以增加Redu...

2016-11-15 18:39:20

阅读数 205

评论数 0

Hadoop性能调优

一.操作系统调优 1.避免使用swap分区 2.调整内存分配策略 系统内核根据vm.overcommit_memory的值来决定分配策略,值为0,1,2。 0表示内核将检查是否有足够的可用内存供应用进程使用,如果有则申请允许,否则内存申请失败 1表示内核允许分配所有的物理内存,而不管内存的内存状态...

2016-11-15 16:34:36

阅读数 286

评论数 0

Storm单机部署

1.依赖环境下载: java 6+ python 2.6+ 下载并配置环境变量,最好设置对应软链,方便更换版本 具体过程略。。。 2.下载storm包 http://storm.apache.org/downloads.html 下载后解压 tar zxvf  apache-stor...

2016-11-13 18:56:53

阅读数 259

评论数 0

MapReduce_SecondarySort示例

示例代码: package com.xfyan.three; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import o...

2016-11-13 11:25:15

阅读数 166

评论数 0

MapReduce_TotalSort示例

示例代码: package com.xfyan.four; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import or...

2016-11-13 11:23:19

阅读数 149

评论数 0

Mapreduce_WritableComparable自定义示例

通过override compareTo()方法来实现自定义排序规则 代码如下:package com.xfyan.MR.one; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; ...

2016-11-13 11:08:40

阅读数 215

评论数 0

MapReduce_Join示例

Join示例: 需求:两个文件student_info.txt和student_class_info.txt student_info.txt: Amy 00001 Tom 00002 Binder 00003 student_class_info.txt 00001 Chi...

2016-11-13 10:51:31

阅读数 222

评论数 0

Android实现二维码登录的简单实现

在Android app的开发中,完成一个二维码登录的功能可以帮助我们的了解前后端与Android的简单交互过程,在此做一个简单的登录测试。涉及到简单的PHP的使用以及XAMPP的使用。 1.实现二维码登录的流程介绍 PC端打开登录界面显示二维码-->> 移动端对二维...

2016-11-12 08:52:11

阅读数 1713

评论数 0

CDH Hadoop HA+Zookeeper部署问题

网上已经有一些关于hadoop ha部署的资料了这里就不重复了~ 参考链接: Hadoop2.5.2+HA+zookeeper3.4.6详细配置过程 https://my.oschina.net/wangyanpei/blog/485165 zookeeper部署教程: http://...

2016-11-12 08:51:02

阅读数 2035

评论数 0

使用IDE(eclipse,idea)开发spark程序

1.使用spark-shell编写程序: 启动spark-shell bin/spark-shell --master local[4] --jars testcode.jar [4]表示在4个cpu核上运行,--jars指明需要的jar包路径   加载text文件 scala>...

2016-11-12 08:50:01

阅读数 1006

评论数 0

Spark部署与程序运行示例

Spark部署 1.       Local模式部署: 1)    安装java,配置环境变量 2)    主节点配置 cd $SPARK_HOME/conf cp spark-env.template spark-env.sh vim spark-env.sh   export ...

2016-11-12 08:47:07

阅读数 603

评论数 1

hive使用过程中对mysql授权问题

授权: 1.mysql> grant all privileges on *.* to root@'%' identified by '123456'; 2.mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTIO...

2016-11-12 08:46:10

阅读数 1467

评论数 0

Hive基本概念及操作

1.三种部署方式: 1)内嵌模式 元数据服务和HIve服务运行在一个JVM中,同时使用内嵌的Derby数据库作为元数据存储,只能支持同时最多一个用户打开Hive会话。   2)本地模式 Hive服务和元数据服务运行在一个JVM中,采用外置的MySQL作为元数据存储。支持多用户同时访问Hiv...

2016-11-12 08:44:00

阅读数 698

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭