Binder?-CSDN博客

原创 Hive性能调优

1.JOIN优化执行JOIN语句时，将大表放在右边，如果表小到可以全部加载到内存中，可以考虑执行map端的JOIN2. Reducer数量可以将Reducer最大值设置为n*0.95，n为TaskTracker数量通过设置hive.exec.reducers.max可以增加Reducer数量，但是这样并不能直接增大Hive中作业的Reducer个数，HIve作业的Reducer个数

2016-11-15 18:39:20 467

原创 Hadoop性能调优

一.操作系统调优1.避免使用swap分区2.调整内存分配策略系统内核根据vm.overcommit_memory的值来决定分配策略，值为0,1,2。0表示内核将检查是否有足够的可用内存供应用进程使用，如果有则申请允许，否则内存申请失败1表示内核允许分配所有的物理内存，而不管内存的内存状态如何2表示内核允许分配超过所有物理内存和交换空间的总和，通过vm.overcommit_

2016-11-15 16:34:36 488

原创 Storm单机部署

1.依赖环境下载：java 6+python 2.6+下载并配置环境变量，最好设置对应软链，方便更换版本具体过程略。。。2.下载storm包http://storm.apache.org/downloads.html下载后解压 tar zxvf apache-storm-1.0.2.tar,gz3.启动相应服务并在web ui上查看mkdir logs启动

2016-11-13 18:56:53 425

原创 MapReduce_SecondarySort示例

示例代码：package com.xfyan.three;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache

2016-11-13 11:25:15 297

原创 MapReduce_TotalSort示例

示例代码：package com.xfyan.four;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.m

2016-11-13 11:23:19 239

原创 Mapreduce_WritableComparable自定义示例

通过override compareTo（）方法来实现自定义排序规则代码如下：package com.xfyan.MR.one;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Text;import org.apach

2016-11-13 11:08:40 478

原创 MapReduce_Join示例

Join示例：需求：两个文件student_info.txt和student_class_info.txtstudent_info.txt：Amy 00001Tom 00002Binder 00003student_class_info.txt00001 Chinese00002 Math00003 English要求输出：Amy Chi

2016-11-13 10:51:31 333

原创 Android实现二维码登录的简单实现

在Android app的开发中，完成一个二维码登录的功能可以帮助我们的了解前后端与Android的简单交互过程，在此做一个简单的登录测试。涉及到简单的PHP的使用以及XAMPP的使用。1.实现二维码登录的流程介绍PC端打开登录界面显示二维码-->>移动端对二维码进行扫描-->>后台将用户username在数据库中进行轮询查找，查找到后跳转到成功登录界面。2

2016-11-12 08:52:11 2879

原创 CDH Hadoop HA+Zookeeper部署问题

网上已经有一些关于hadoop ha部署的资料了这里就不重复了~参考链接：Hadoop2.5.2+HA+zookeeper3.4.6详细配置过程https://my.oschina.net/wangyanpei/blog/485165zookeeper部署教程：http://wenku.baidu.com/view/f070cb8de53a580216f

2016-11-12 08:51:02 2521

原创使用IDE（eclipse，idea）开发spark程序

1.使用spark-shell编写程序：启动spark-shellbin/spark-shell --master local[4] --jars testcode.jar[4]表示在4个cpu核上运行，--jars指明需要的jar包路径加载text文件scala> val textFile = sc.textFile("file:///data/

2016-11-12 08:50:01 1433

原创 Spark部署与程序运行示例

Spark部署1. Local模式部署：1）安装java，配置环境变量2）主节点配置cd $SPARK_HOME/confcp spark-env.template spark-env.shvim spark-env.sh export SPARK_MASTER_IP=your_master_ip;

2016-11-12 08:47:07 1020 1

原创 hive使用过程中对mysql授权问题

授权：1.mysql> grant all privileges on *.* to root@'%' identified by '123456';2.mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'WITH GRANT OPTION ;3.mysql>flush privileges;删除授权：mys

2016-11-12 08:46:10 3057

原创 Hive基本概念及操作

1.三种部署方式：1）内嵌模式元数据服务和HIve服务运行在一个JVM中，同时使用内嵌的Derby数据库作为元数据存储，只能支持同时最多一个用户打开Hive会话。 2）本地模式Hive服务和元数据服务运行在一个JVM中，采用外置的MySQL作为元数据存储。支持多用户同时访问Hive 3）远程模式元数据服务和Hive服务运行在不同的JVM中，这样做

2016-11-12 08:44:00 997

Binder~的博客