2018年03月_z_xiaozhuT

转载 Spark性能优化：开发调优篇

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业...

2018-03-30 18:06:20 275

转载 Spark性能优化：资源调优篇

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，...

2018-03-30 10:44:28 200

Maven的六类属性　　内置属性　　　　主要有两个常用内置属性：${basedir}项目的根目录(包含pom.xml文件的目录)，${version}项目版本　　POM属性　　　　用户可以使用该属性引用POM文件中对应元素的值，常用的POM属性包括：　　　　　　${project.build.sourceDirectory}：项目的主源码目录，默认为src/main/java　　　　　　${pro...

2018-03-29 16:08:21 1484

转载 Hive SQL优化之 Count Distinct

Hive是Hadoop的子项目，它提供了对数据的结构化管理和类SQL语言的查询功能。SQL的交互方式极大程度地降低了Hadoop生态环境中数据处理的门槛，用户不需要编写程序，通过SQL语句就可以对数据进行分析和处理。目前很多计算需求都可以由Hive来完成，极大程度地降低了开发成本。目前，Hive底层使用MapReduce作为实际计算框架，SQL的交互方式隐藏了大部分MapReduce的细节。这种细...

2018-03-22 11:04:12 393

转载修改Windows环境变量立即生效

步骤如下： 1. 我的电脑>属性>高级>环境变量，添加新环境变量或修改已有的环境变量 2. 运行“DOS命令提示符”或run cmd 3. 假设要修改PATH变量，不管PATH的原值是什么，在DOS窗口直接把PATH修改为任意值，如：输入：set PATH=C:，关闭DOS窗口。 4. 再次打开DOS窗口，输入：echo %PATH% ，这时可以发现，我的电脑>属性&gt...

2018-03-14 15:11:28 351

转载 Hive报错，显示已经有一个Derby数据库启动了（spark同）

在系统安装完hive，还未将mysql指定为元数据仓库的时候。运行hive的过程中，易产生一种不稳定的状态。情形一：已经有一个hive连接在访问Derby创建的metastore_db文件夹，由于Derby数据库自身的缺点--仅支持一个链接对其进行访问，所以这时，如果再有一个终端调用hive，就有第二个链接访问Derby数据库了，就会抛出这个异常。解决方法很简单。用mysql作为元数据仓库，mys...

2018-03-05 16:03:17 1854

转载 Hbase之Rowkey设计原则

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行...

2018-03-05 11:44:52 433

z_xiaozhuT的博客