- 博客(13)
- 收藏
- 关注
原创 Hive性能调优
1.JOIN优化执行JOIN语句时,将大表放在右边,如果表小到可以全部加载到内存中,可以考虑执行map端的JOIN2. Reducer数量可以将Reducer最大值设置为n*0.95,n为TaskTracker数量通过设置hive.exec.reducers.max可以增加Reducer数量,但是这样并不能直接增大Hive中作业的Reducer个数,HIve作业的Reducer个数
2016-11-15 18:39:20 477
原创 Hadoop性能调优
一.操作系统调优1.避免使用swap分区2.调整内存分配策略系统内核根据vm.overcommit_memory的值来决定分配策略,值为0,1,2。0表示内核将检查是否有足够的可用内存供应用进程使用,如果有则申请允许,否则内存申请失败1表示内核允许分配所有的物理内存,而不管内存的内存状态如何2表示内核允许分配超过所有物理内存和交换空间的总和,通过vm.overcommit_
2016-11-15 16:34:36 493
原创 Storm单机部署
1.依赖环境下载:java 6+python 2.6+下载并配置环境变量,最好设置对应软链,方便更换版本具体过程略。。。2.下载storm包http://storm.apache.org/downloads.html下载后解压 tar zxvf apache-storm-1.0.2.tar,gz3.启动相应服务并在web ui上查看mkdir logs启动
2016-11-13 18:56:53 433
原创 MapReduce_SecondarySort示例
示例代码:package com.xfyan.three;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache
2016-11-13 11:25:15 303
原创 MapReduce_TotalSort示例
示例代码:package com.xfyan.four;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.m
2016-11-13 11:23:19 248
原创 Mapreduce_WritableComparable自定义示例
通过override compareTo()方法来实现自定义排序规则代码如下:package com.xfyan.MR.one;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Text;import org.apach
2016-11-13 11:08:40 487
原创 MapReduce_Join示例
Join示例:需求:两个文件student_info.txt和student_class_info.txtstudent_info.txt:Amy 00001Tom 00002Binder 00003student_class_info.txt00001 Chinese00002 Math00003 English要求输出:Amy Chi
2016-11-13 10:51:31 337
原创 Android实现二维码登录的简单实现
在Android app的开发中,完成一个二维码登录的功能可以帮助我们的了解前后端与Android的简单交互过程,在此做一个简单的登录测试。涉及到简单的PHP的使用以及XAMPP的使用。1.实现二维码登录的流程介绍PC端打开登录界面显示二维码-->>移动端对二维码进行扫描-->>后台将用户username在数据库中进行轮询查找,查找到后跳转到成功登录界面。2
2016-11-12 08:52:11 2887
原创 CDH Hadoop HA+Zookeeper部署问题
网上已经有一些关于hadoop ha部署的资料了这里就不重复了~参考链接:Hadoop2.5.2+HA+zookeeper3.4.6详细配置过程https://my.oschina.net/wangyanpei/blog/485165zookeeper部署教程:http://wenku.baidu.com/view/f070cb8de53a580216f
2016-11-12 08:51:02 2531
原创 使用IDE(eclipse,idea)开发spark程序
1.使用spark-shell编写程序:启动spark-shellbin/spark-shell --master local[4] --jars testcode.jar[4]表示在4个cpu核上运行,--jars指明需要的jar包路径 加载text文件scala> val textFile = sc.textFile("file:///data/
2016-11-12 08:50:01 1439
原创 Spark部署与程序运行示例
Spark部署1. Local模式部署:1) 安装java,配置环境变量2) 主节点配置cd $SPARK_HOME/confcp spark-env.template spark-env.shvim spark-env.sh export SPARK_MASTER_IP=your_master_ip;
2016-11-12 08:47:07 1027 1
原创 hive使用过程中对mysql授权问题
授权:1.mysql> grant all privileges on *.* to root@'%' identified by '123456';2.mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION ;3.mysql>flush privileges;删除授权:mys
2016-11-12 08:46:10 3067
原创 Hive基本概念及操作
1.三种部署方式:1)内嵌模式元数据服务和HIve服务运行在一个JVM中,同时使用内嵌的Derby数据库作为元数据存储,只能支持同时最多一个用户打开Hive会话。 2)本地模式Hive服务和元数据服务运行在一个JVM中,采用外置的MySQL作为元数据存储。支持多用户同时访问Hive 3)远程模式元数据服务和Hive服务运行在不同的JVM中,这样做
2016-11-12 08:44:00 1009
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人