- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 [1.1]第一个Spark应用程序之Java & Scala版 Word Count
参考王家林-DT大数据梦工厂系列教程场景编写第一个Spark应用程序代码package cool.pengych.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDD.rddToPairRDDFunctions/*
2016-04-28 12:18:10
3032
4
转载 [0.0] scala 背后的故事
作者：紫杉链接：http://www.zhihu.com/question/27332932/answer/36205274来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一直以来关于Scala究竟是简单还是困难，在Scala使用者之中都有不少争议。Yang Zhang作为Scala的爱好者，委婉的提出Scala内部核心构造过于复杂，他发布这篇文章
2016-04-27 17:24:22
2361
转载 scala中协变与逆变的理解
转自 ： 未知 ，后续发现了补上（ [Mr.Snail注] 本文转自一篇文章，那篇文章也是转载的 ，但是没有标注原文链接 - 这里强烈呼吁大家尊重原作者劳动成果，转载文章时，文首就标注原文链接）范型基础一句话来说，范型就是定义以类型为参数的类或接口（Scala中为特征）的功能。Java里从JDK5开始就有了范型，想必知道的人应该比较多了，下面就简单举例说明一下。例如，假设有
2016-04-27 10:25:48
932
1
原创 祝你生日快来
主题祝你生日快来，天天向上，天天开心感悟明天27岁了，祝自己生日快了！早上8.30起来到晚上7点左右，成功搭建了Spark的开发环境，当然，这中间出现了不少问题。晚上吃点什么好呢？反正不想吃饭了，于是，跑到世纪华茂买了一大袋“泡吧熊仔蛋糕” ，一小瓶劲酒，一个小蛋糕，还有几包小鱼仔，当然还有大蒜。今晚应该写点什么，话说男人的青春从 27岁开始会慢慢有了色彩 - 阿 Q精神？
2016-04-26 22:33:27
891
7
原创 hdfs架构分析与第一个hdfs应用程序
参考王家林大数据IMF系列场景hdfs架构分析与第一个hdfs应用程序分析HDFS架构.主从结构-主节点，只有一个：namenode(HA下会有多个NameNode)-从节
2016-04-24 16:46:10
1036
翻译 ClassLoader机制分析与自制加解、密类加载器
参考张孝详系列深入理解JVM机制 - 周志明场景ClassLoader机制 ？ 由下及上委托，上面没有再往下，直到自身（自身没有目标类，就抛ClassNotFoundException,不用子类类加载器） 1、AppClassLoader:加载ClassPath目录下的.class文件 2、ExtClassLoader：加载～/jre/lib/ext.jar中的.c
2016-04-23 08:34:02
564
翻译 代码详解动态代理
参考《深入理解JAVA虚拟机》-周志明《张孝祥系列》场景java的动态代理到底是怎么回事？怎么为已经存在的多个具有‘相同接口’的‘目标类’的各个方法增加一些系统功能，例如，异常处理、日志、事物与缓存等？目标类：系统各个业务DAO，eg、UserDaoImpl;相同接口：IBaseDAO => 怎么为 业务DAO增加缓存功能 ？分析以上问题的解决，需要用到一个代理
2016-04-23 08:19:48
708
翻译 泛型一条街
参考张孝祥系列JDK 1.8 API场景为什么java后来要引入泛型？泛型原理与特性？如何自定义方法泛型与类泛型？如何通过反射获取参数化类型的实际类型参数分析package cool.pengych.java.generic;import java.lang.reflect.InvocationTargetException;import java.lang.ref
2016-04-21 11:05:23
631
原创 注解初体验与自定义注解实战
参考张孝祥系列场景有这样一个问题：我以前写了一个方法 sayHello(){...}, 后来发现方法的实现有点小问题，那我该怎么办呢？假设项目中有些模块已经使用了这个方法。直接删除这个方法肯定不行的？以前使用过该方法的代码都会报错。此时，需要一种方式 - 友好的简洁的提示大家，后续不要再使用这个方法了： “这个方法过时了，以后别用了，改用 sayHey(){...}” 。注解就是
2016-04-20 14:34:24
577
原创 hashCode与equals源码分析与应用
参考1、JDK1.8源码2、张孝祥系列3、《数据结构高分笔记》- 率辉场景hashCode到底怎么理解分析基本理论有这样一个场景：怎么从集合中查找某一个具体的元素？假设集合由一万个元素组成，如果一个一个从头到尾依次对比查询，显然太慢 - 当然这也是一种查找方法。常用查找方法大致可分为三大类：顺序结构查找类型、还有基于二叉树的分支结构查询类型以及基于Hash
2016-04-19 11:50:39
502
转载 Ubuntu14.04安装配置Hadoop2.6.0（完全分布式）与 wordcount实例运行
转自 ： http://www.linuxidc.com/Linux/2015-01/112029p2.htm 原文我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/Sing
2016-04-15 11:19:24
1359
翻译 SSH简介与Hadoop集群环境搭建之 SSH免密钥登录
关于ssh简介SSH（secure shell） 是一种网络服务程序，相对于FTP与Telnet而言，传输数据更加安全与高效。安全是因为SSH会对传输的数据加密，而FTP直接以明文的形式传输用户的用户名与IP等信息容易被中间人截取信息并篡改。高效是因为SSH会对传输的数据进行压缩。通信过程这里以A、B两台服务器为例，加以说明SSH的通信过程（此处应该有图的，但是
2016-04-15 11:09:50
2094
1
原创 隐式转换的理解
参考《 scala in depth》by Joshua D.Suereth场景scala隐式转换系统中转换规则彻底解说分析scala以语法简洁与功能强大著称，而语法简洁在很大程度上得意于scala的隐式转换系统。隐式转换系统能够使程序员少写一些代码 -天才编译器在编译时能自动推导出你所简写的那些代码，只要你是按照隐式转换规则来简写的（你可能在想，scala的编译器肿么这么真强...
2016-04-12 22:42:20
774
原创 枚举类完美解读
参考 张孝祥系列教程《thinking in java》- bruce eckel场景为什么需要枚举？从 程序中如何表示星期说起！在实际开发中，当然可以在专门的常量类，比如说在Constants.java 中定义常量：public static final int MON = 1 , public static final int TUS = 2 等。但是这么做一点都不
2016-04-11 16:26:38
581
翻译 （for+if） 循环最佳实践推导
import scala.collection.immutable.Stream.Empty/** * Created by pengyucheng on 4/5/16. * * function : for + if ; for VS reduce */object forBestPractise { def main(args: Array[String])=
2016-04-06 11:59:14
599
原创 [0.4]面向表达式编程之美
参考文献《Scala in depth》 by Joshua D.Suereth《Thinking in scala》 by Bruce Eckel & Dianne Marsh场景什么是面向表达式编程，面向表达式编程的优点分析语句与表达式的概念与区别为什么要纠结这个问题呢？答，为了更好地理解面向表达式编程。【Mr.Snail注：以下概念有点抽象，说了等于没有说，但又不得不说 】大致可以从以下两方
2016-04-04 11:12:11
1096
原创 模式匹配常见应用形态
参考文献scala 深入浅出实战经典 . 王家林场景赋值语句、for循环与提取器下的模式匹配实战实验package com.scode.scalaimport scala.Range/** * author: Ivy Peng * function: 模式匹配实战 * date:2016/04/1 7:00 * * 赋值语句、for循环与提取器下的模式匹配 *
2016-04-01 12:29:24
909
数据开发岗简历编写模板
2019-03-24
虚拟机下 Red hat linux 9 系统的安装
2016-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人