2017年10月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

翻译 [Spark版本更新]--2.1.2发行说明

2017年10月09日，Spark官方进行了一次小版本升级。相关的发行说明如下：一、子任务[ SPARK-21083 ] - 分析空表后存储零大小和行数二、修复的Bug[ SPARK- 12717] - 使用多个线程时，pyspark广播失败[ SPARK-16251 ] - LocalCheckpointSuite的丢失的检查点块失败，信息消息是片状的。[ SPARK-16625 ] - Ora...

2017-10-31 11:47:55 878

原创 [Java排序算法]--堆排序 (Heap Sort)

前言最近遇到一个求解TopN的场景，从1亿条数据中，找出最大或者最小的10个数。怎么办？不可能对数据进行全排序吧，哪里有那么大的内存空间！谷歌搜索了相关的解决方案，最终定位在使用堆排序解决这个问题。摘要 1、什么是二叉树？ 2、什么是堆？ 3、堆排序原理？ 4、堆排序的Java实现。 5、堆排序的Sc...

2017-10-31 10:17:11 2842

转载 [Spark调优]--TaskSetManager的有效Locality Levels

原文：https://www.jianshu.com/p/05034a9c8cae基于spark-1.5.0测试在Spark Application Web UI的 Stages tag 上，我们可以看到这个的表格，描述的是某个 stage 的 tasks 的一些信息，其中 Locality Level 一栏的值可以有 PROCESS_LOCAL、NODE_LOCAL、NO_PREF、RACK_L...

2017-10-26 16:32:17 525

原创 [CDH基础]--所有主机列表中的平均负载含义

前言在CDH运维过程中，常常会考虑机器的负载情况，这样有助于判断设备的健康情况，CDH的管理也会使用Linux的命令检查平均负载，那么怎么去查找呢？本文就简单介绍下平均负载的含义。内容(1)Linux系统平均负载3个数字的含义。 1)查看平均负载的命令在Linux shell下，有很多命令可以看到Load Average，例如： root@Sl...

2017-10-19 13:39:57 1973

翻译 [CDH FAQ]--常见问答

原文：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_faqs.html#concept_zd5_ywy_4jCloudera Manager 5常见问题解答本指南介绍有关Cloudera Manager的常见问题解答。继续阅读：· 一般的问题o Cloudera Manager 5的新功能是什...

2017-10-18 16:37:56 1031

原创 [Scala基础]--类型转换(String to Double 、Long、Float和Int)

前言：关于Scala的类型转换方式有许多种，但初学时仍会忽略一些重要细节，比如异常情况的捕获等等。那么本文将简单介绍Scala的String进行相关的类型转换，供大家学习参考。主要内容： 1、Scala的富包装器:富操作和富类列表 2、Scala的隐式转换的目的通过隐式转换，程序员可以在...

2017-10-18 11:57:27 52876 1

原创 [CDH启动组件报错UNKNOW]--zookeeper或者其他组件重启出错

一、情景：当CDH集群初次启动后，过了一段时间，然后再重启其中组件时，不能启动，cm界面报Unknow错误。二、错误信息： UNKNOW三、分析： 1、了解cloudera manager的工作原理 2、判断是哪个工作流程出问题 3、查看cloudera agent和zookeeper的日志四、解决方法：重启组件所在的cloudera agent...

2017-10-17 15:52:04 1966

原创 [Java定时器]--定时器举例

一、定时器是什么？答：顾名思义即是用于定时执行任务而设定。二、Java有几种定时器？答：有常用的4种Java定时器三、举例说明环境：jdk-1.7+idea16+centos-6.8代码：package com.test.java.Thread;import java.util.Calendar;import java.util.Date;import java.util.Timer;i...

2017-10-11 16:08:38 1684