2017年02月_leishenop

原创 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

今天在使用之前用CDH装的集群中的Hive时，一些常规的操作可以执行，但是使用了select操作的时候就会报出下面的错误:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

2017-02-17 15:10:22 8348

转载 Spark on Yarn Client和Cluster模式详解

Spark在YARN中有yarn-cluster和yarn-client两种运行模式:I. Yarn ClusterSpark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的worker节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全

2017-02-15 17:12:14 3815

原创 Android通过Post上传数据和图片到Servlet

之前在做Android服务端客户端Demo的时候，暂时使用的Servlet来从当服务端，这样的话，当我们需要从Android客户端与服务端进行数据交互的时候，需要从客户端上传数据到Servlet.下面是实例代码：Android上传数据到Servlet代码 //用于提交数据的client HttpClient

2017-02-14 20:27:35 4907

转载 java中函数是值传递还是引用传递？

相信有些同学跟我一样，曾经对这个问题很疑惑。在网上也看了一些别人说的观点，评论不一。有说有值传递和引用传递两种，也有说只有值传递的，这里只说下个人见解先看一个例子public class Test1 { public static void main(String[] args) { int a = 10; changeNum(a);

2017-02-14 17:59:04 238

转载 HBase的RowKey设计原则

Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopR...

2017-02-13 18:41:27 447

转载提高mysql千万级大数据SQL查询优化30条经验（Mysql索引优化注意）

转自：http://www.jincon.com/archives/120/1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null

2017-02-12 23:39:39 357

转载 JDK 1.8 HashMap详细介绍

摘要HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（JavaDevelopmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实现和功能原理。简介

2017-02-11 14:56:46 1525

leishenop的专栏