2017年07月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [Scala基础]-- 伴生类和伴生对象

Scala比 Java 更面向对象的一个方面是 Scala 没有静态成员。替代品是，Scala 有：单例对象：singleton object。除了用 object 关键字替换了 class 关键字以外，单例对象的定义看上去就像是类定义。如下代码展示了一个例子：1、表中的单例对象被叫做 ChecksumAccumulator ，与前一个例子里的类同名。当单例对象与某个类共享同一个名称时，他被称作...

2017-07-31 14:39:35 7220

转载 [Mysql基础]-- MySQL索引背后的数据结构及算法原理

摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第...

2017-07-28 14:13:47 525

翻译 [Java基础]-- 快速排序专栏

快速排序像合并排序一样，QuickSort是一个分割和征服算法。它选择一个元素作为枢轴，并将给定的数组围绕拾取的枢轴分隔。 quickSort有许多不同的版本，以不同的方式选择枢纽。始终选择第一个元素作为枢轴。始终选择最后一个元素作为枢轴（实现如下）选择随机元素作为枢轴。选择中位数作为枢轴。quickSort的关键过程是partition（）。目标分区是给定一个数组和数...

2017-07-28 13:26:38 528

翻译 [scala代码风格指南]--Scaladoc

英文原文：http://docs.scala-lang.org/style/译文如下：Scaladoc为所有包，类，特征，方法和其他成员提供文档很重要。Scaladoc通常遵循Javadoc的约定，但是还有许多其他功能可以使编写scaladoc更简单。一般来说，您想要更多地关注实体和写作风格，而不是格式化。Scaladoc需要对代码的新用户以及经验丰富的用户有用。实现这一点非常简单：从简洁的总结（...

2017-07-26 13:56:45 2265

翻译 [scala代码风格指南]--声明

英文原文：http://docs.scala-lang.org/style/译文如下：一、类Class / Object / Trait构造函数应该全部声明为一行，除非该行变为“太长”（大约100个字符）。在这种情况下，将每个构造函数参数放在自己的行上，缩进四个空格：class Person(name: String, age: Int) {}class Person( name: S...

2017-07-26 13:51:38 439

翻译 [scala代码风格指南]--方法调用

英文原文：http://docs.scala-lang.org/style/译文如下：一般来说，Scala中的方法调用遵循Java约定。换句话说，调用目标和dot（.）之间不应有空格，也不应该在点和方法名之间有空格，方法名和参数分隔符之间也不应有空格（括号）。每个参数应该用逗号（）之后的单个空格分隔,：foo(42, bar)target.foo(42, bar)target.foo()从2....

2017-07-26 13:36:54 845

翻译 [scala代码风格指南]--控制结构

英文原文：http://docs.scala-lang.org/style/译文如下：所有的控制结构应该在定义关键字之后写入一个空格：// right!if (foo) bar else bazfor (i <- 0 to 10) { ... }while (true) { println("Hello, World!") }// wrong!if(foo) bar else ba...

2017-07-26 13:32:14 433

翻译 [scala代码风格指南]--文档

英文原文：http://docs.scala-lang.org/style/译文如下：通常，文件应包含单个逻辑编译单元。通过“逻辑”我的意思是一个类，特征或对象。本指南的一个例外是具有伴随对象的类或特征。伴随对象应与其相应的类或特征分组在同一文件中。这些文件应该根据它们包含的类，特征或对象来命名：package com.novell.coolnessclass Inbox { ... }// ...

2017-07-26 13:26:30 440

翻译 [scala代码风格指南]--嵌套块

英文原文：http://docs.scala-lang.org/style/译文如下：一、大括号打开花括号（{）必须在与它们所表示的声明相同的行上：def foo = { ...}在技术上，Scala的解析器确实支持GNU风格的符号，并在声明之后添加开放式的大括号。然而，由于实施分号推理的方式，解析器在处理这种风格时并不是非常可预测的。只要按照上面展示的大括号规则，许多头痛就会得到保存。...

2017-07-26 13:00:15 502

翻译 [scala代码风格指南]--类型

英文原文：http://docs.scala-lang.org/style/译文如下：一、接口在可能的情况下使用类型推断，但首先要清楚，并且在公共API中有利于明确。您几乎不应该注释私有字段或本地变量的类型，因为它们的类型通常会立即显示在其值中：private val name = "Daniel"但是，您可能希望仍然显示分配值具有复杂或非显而易见形式的类型。所有公共方法都应该有明确的类型注释。在...

2017-07-26 12:38:22 501

翻译 [scala代码风格指南]--命名规范

英文原文：http://docs.scala-lang.org/style/译文如下：命名约定一般来说，Scala使用“驼峰命名法”命名。也就是说，每个单词都被大写，除了可能的第一个单词：UpperCamelCaselowerCamelCasenames（_）中的下划线实际上并不被编译器所禁止，而是强烈地不鼓励，因为它们在Scala语法中具有特殊意义。（但请看下面的例外。）一、类/性状类应以上面...

2017-07-26 12:32:08 6850

翻译 [scala代码风格指南]--缩进

英文原文：http://docs.scala-lang.org/style/译文如下：缩进缩进应遵循“2个空格的惯例”。因此，而不是像这样缩进：// wrong!class Foo { def bar = ...}你应该这样缩进：// right!class Foo { def bar = ..}Scala语言鼓励了嵌套范围和逻辑块（函数值等）的惊人数量。自己动手，不要在语法上自己找麻烦，...

2017-07-26 12:18:14 3750 1

原创 [Spark基础]-- spark ml和mllib库的说明

官方说明：https://spark.apache.org/docs/latest/ml-guide.html一、Spark ML1、定义Spark机器学习2、针对的对象:DataFrame(1)ml主要操作的是DataFrame。(2)DataFrame和RDD什么关系？DataFrame是Dataset的子集，也就是Dataset[Row]。(3)DataSet是对RDD的封装...

2017-07-19 14:17:08 4999

原创 [Spark基础]--Spark启动过程（针对standalone）-spark-1.6.0

Spark启动过程正常启动Spark集群时往往使用start-all.sh ，此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。1、启动Master(1)注册SignalLogger日志记录器(2)创建名称为master的Actor 并启动，在启动master之前会： a). 加载Spark环境变量 b). 创建wor...

2017-07-19 10:33:50 675

转载 [Nginx基础]-- 配置文件nginx.conf详解

转自：http://www.cnblogs.com/gide/p/6180251.htmlnginx.conf详细配置参考如下：#定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型，[ debug | info | notice | warn | error ...

2017-07-19 09:57:21 706

翻译 [Kafka基础]-- kafka指南

参考：https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocolhttp://kafka.apache.org/protocol.html 介绍概观预赛网络分区和自举分区策略配料版本控制和兼容性议定书协议原始类型阅读请求格式语法的...

2017-07-18 18:07:45 809

转载 [面试]-- Hbase面试问题

1.hbase怎么预分区？2.hbase怎么给web前台提供接口来访问？3.htable API有没有线程安全问题，在程序中是单例还是多例？4.hbase有没有并发问题？5.metaq消息队列，zookeeper集群，storm集群，就可以完成对商城推荐系统功能吗？还有没有其他的中间件？6.storm 怎么完成对单词的计数？7.hdfs的client端，复制到第三个副本时宕...

2017-07-18 10:33:41 1986

翻译 [Spark版本升级]-- spark-2.2.0发行说明

Spark-2.2.0版本发行时间：2017-7-11 一、Jira说明：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275 子任务[ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...

2017-07-18 10:31:45 6565

转载 [面试]-- Hadoop常识性的面试题

1. 集群多少台, 数据量多大, 吞吐量是多大, 每天处理多少G的数据？2. 我们的日志是不是除了apache的访问日志是不是还有其他的日志？3. 假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有什么？4. 你们的服务器有多少台？服务器的内存多大？5. 你们的服务器怎么分布的？（这里说地理位置分布，最好也从机架方面也谈谈）6. 你平常在公司都干些什么（...

2017-07-17 11:03:37 1138 2

原创 [Linux]-- IBM X3650 M4服务器安装centos找不到硬盘的解决方法

http://blog.sina.com.cn/s/blog_1326c0ca50102wfaf.html

2017-07-17 11:00:51 4723

翻译 [Spring基础]-- spring构建rest ful 风格的web service

原文：http://spring.io/guides/gs/rest-service/译文：构建一个RESTFUL的web服务本指南将会引导你使用spring完成创建一个hell world RESTful 的服务。1、你将构建什么？将会构建一个接受HTTp get请求的服务：http://localhost:8080/greeting 并且会有一个JSON格式的响应：{...

2017-07-17 10:56:33 549

转载 [Spark基础]-- Spark Scheduler 原理剖析

转自：https://www.qcloud.com/community/article/835460作者 |涂小刚编辑 | 顾乡通过文章“【Spark教程】核心概念RDD”我们知道，Spark的核心是根据RDD来实现的，Spark任务调度则为Spark核心实现的重要一环。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Sta...

2017-07-17 10:55:54 716

原创 [Java基础]-- java设计模式汇总

参考：http://blog.csdn.net/hanqing280441589/article/category/6014207

2017-07-17 10:54:48 389

原创 [大数据汇总]-- 2016-09-03笔记（北京国家会议中心）

黄勇去哪儿网数据架构师黄勇：大家好，我是去哪儿网的黄勇。今天给大家讲的是我们去哪儿网的高可用的方案。首先介绍一下我自己，我是07年参加工作的，我从07到09在智联招聘做Oracle，后来去了去哪儿网，后来开始做去IOE，然后在百度和去哪儿网待了五年。我当十年DBA的过程中，我发现尤其是MySQL，很多人考虑我们的MySQL高可用做。有些大公司有自己的研发人员，可以做自己的GT...

2017-07-11 22:50:54 839

原创 [scala基础]--结果匹配方式

一、使用try{}catchval custom_id_b = try { custom_domainMap(domain_b)} catch { cas二、使用match{}caseval custom=custom_id_map.get(domain)val custom_id_b=custom match {case Some(id)=>id case None=>"...

2017-07-11 22:49:57 357

原创 [Spark基础]-- 基础学习大纲参考

课程大纲一 Spark概述（共1课时） 1.1 Spark产生背景包括mapreduce缺陷，多计算框架并存等 1.2 Spark基本特点 1.3 Spark版本演化 1.4 ...

2017-07-11 22:41:52 1009

转载 [Spark基础]-- spark-2.0图文讲解核心

转自：https://www.qcloud.com/community/article/339784?fromSource=gwzcw.107190.107190.107190 导语spark2.0于2016-07-27正式发布，伴随着更简单、更快速、更智慧的新特性，spark 已经逐步替代 hadoop 在大数据中的地位，成为大数据处理的主流标准。本文主要以代码和绘图的方式结合，对运...

2017-07-11 22:34:15 956

原创 [Java基础]-- 关键字transient的使用

介绍有许多朋友已经详细介绍了java transient关键字的使用，本文就捡重点的说明。重点在对象传输过程需要实现Serializable接口序列化，如果不想让对象中的某些属性被序列化，则使用transient 。...

2017-07-10 23:34:57 437

原创 [Java基础]-- jdk生成日志信息

第一个类：分析引擎sdk java服务器端数据收集--AnalyticsEngineSDK2package com.my.util;import java.io.UnsupportedEncodingException;import java.net.URLEncoder;import java.util.HashMap;import java.util.Map;import ...

2017-07-10 23:33:20 755

原创 [HBase 基础]-- 增删改查表(包含过滤)

一、简单模式的实现的代码如下import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase....

2017-07-10 23:31:38 611

原创 [Nginx基础]-- nginx做负载均衡

Nginx做负载均衡参考一http://ari.iteye.com/blog/833153http://wgkgood.blog.51cto.com/1192594/1529618 参考二http://aijuans.iteye.com/blog/2154373

2017-07-10 23:31:18 412

原创 [Python 基础]-- 实践抓取淘宝MM照片

python实践抓取淘宝MM照片 https://mp.weixin.qq.com/s?__biz=MzA5ODUzOTA0OQ==&mid=403566343&idx=1&sn=a2d900bc56a18824d3d62f1642e520fd&scene=1&srcid=0315T7fIRgNXbQIDCFZ8W2jj&pass_ticket=...

2017-07-10 23:28:49 511

原创 [Kerberos基础]-- httpclient访问httpfs服务(有Kerberos认证)

场景：cdh集群已经添加kerberos认证，但是需要访问httpfs服务，怎么办？如下实现：1、引入maven<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/...

2017-07-09 15:38:46 5693 1

原创 [oozie基础]-- 部署spark、hadoop、hive、shell和java程序举例

一、oozie执行shell脚本(执行mr任务,实现合并增量数据)参考：http://gethue.com/use-the-shell-action-in-oozie/1、点击创建、拖动到上面 2、添加命令:bash，当然也可以是linux的其他可执行的命令 3、添加参数：注意---》参数名称是shell脚本的全称(run-mr-compact.sh) ...

2017-07-09 15:31:02 2705

转载 [Spark进阶]-- Spark Dataframe操作

参考：https://github.com/rklick-solutions/spark-tutorial/wiki/Spark-SQL#introductionSkip to coSpark SQL is a component on top of Spark Core that introduces a new data abstraction called SchemaRDD, w...

2017-07-05 15:06:48 7798

原创 [Scala文件操作]----读取和写入字符

如果有以下情景，怎么用scala实现读写文件？1、实现读取以下文件内容E:/device_level2、将字符串写入文件"E:/test.txt"实现如下：package com.ngaa.scala.testimport java.io.{ByteArrayInputStream, File, FileInputStream, InputStream}import scala.io.Bu...

2017-07-05 14:53:58 2722 1

原创 [HBase配置]-- 常数说明（2.x之前版本）

参考官方：https://hbase.apache.org/apidocs/constant-values.htmlhttps://hbase.apache.org/apidocs/org/apache/hadoop/hbase/HConstants.html#MAX_ROW_LENGTH包含每一种说明SKIPNAVIGATION LINKSHConstantsholds a ...

2017-07-05 10:05:44 1247