2017年03月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [Spark基础]--spark自定义分区及使用方法

Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None(2)每个RDD的分区ID范围：0~numPartitions-1，决定这个值是属于那个分区的。分区方式的优劣HashPartitione...

2017-03-30 19:05:02 18918 10

转载 [Spark进阶]-- spark-client和spark-cluster详解

摘要在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Client更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,M...

2017-03-28 15:38:13 15089

翻译 [CDH基础]-- 通过cloudera manager管理界面添加图表

英文原文链接：https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_metrics.html 译文如下：本节提供有关Cloudera Manager支持的度量标准的信息。度量是可以被测量以量化实体或活动的状态的属性。它们包括属性，例如打开的文件描述符的数量或群集中的CPU利用率百分比。Cloudera...

2017-03-16 17:41:31 8423

原创 [Web service]-- Java简单使用get方式调用url接口

调用天气预报接口举例： package webservice.weather;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import java.net.*;import java.io.*;/*...

2017-03-15 23:32:13 4598 2

原创 [Java基础]-- httpclient发送post请求

常常在生产环境中，为了保密，我们不会发送get请求，而是发送post请求，下面我就使用httpclient方式举例说明发送post请求：一、环境：idea16、jdk1.7、scala-2.10.5、httpclient-4.2.5、httpcore-4.2.5二、调用聚合数据获取周边餐饮api实现代码： package webservice.com.baidu.translat...

2017-03-15 23:10:15 1348

转载 [面试]-- 65个最常见的面试问题与技巧性答复(面试技巧和注意事项)

1、请你自我介绍一下你自己？回答提示：一般人回答这个问题过于平常，只说姓名、年龄、爱好、工作经验，这些在简历上都有。其实，企业最希望知道的是求职者能否胜任工作，包括：最强的技能、最深入研究的知识领域、个性中最积极的部分、做过的最成功的事，主要的成就等，这些都可以和学习无关，也可以和学习有关，但要突出积极的个性和做事的能力，说得合情合理企业才会相信。企业很重视一个人的礼貌，求职者要尊重考官，在回答每个问题之后都说一句“谢谢”，企业喜欢有礼貌的求职者。2、你觉得你个性上最大的优点是什么？回答提示：沉着冷静、..

2017-03-02 09:33:06 142644 4

转载 [Kerberos基础]-- 简介

Kerberos简介 Kerberos协议：Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-grantingticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥，使得该协议具有相当的安全性。条件先...

2017-03-02 09:29:18 604