开发
文章平均质量分 82
大后端开发笔记
一方架构
技术有点水
展开
-
代码详解动态代理
参考《深入理解JAVA虚拟机》-周志明《张孝祥系列》场景java的动态代理到底是怎么回事?怎么为已经存在的多个具有‘相同接口’的‘目标类’的各个方法增加一些系统功能,例如,异常处理、日志、事物与缓存等?目标类:系统各个业务DAO,eg、UserDaoImpl;相同接口:IBaseDAO => 怎么为 业务DAO增加缓存功能 ?分析以上问题的解决,需要用到一个代理翻译 2016-04-23 08:19:48 · 711 阅读 · 0 评论 -
模式匹配基本语法与在集合中的使用
场景常用元组操作实验package com.scode.scala/** * author: Ivy Peng * function: 1、学习模式匹配 基本语法与在集合中的使用 * 2、了解提取器Extractor工作机制(待进一步理解) * date:2016/03/20 11.47 * sum: * 模式匹配语法:varName match * {原创 2016-03-20 12:57:30 · 759 阅读 · 0 评论 -
基于HDFS的SparkStreaming案例实战
参考DT大数据梦工厂场景SparkStreaming监听HDFS上某一目录,并打印该目录下文件的类容实验package cool.pengych.spark.streaming;import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.function.FlatMapFunc原创 2016-06-01 16:57:37 · 998 阅读 · 0 评论 -
定时器的使用
参考张孝祥系列场景Timer类的使用实验package cool.pengych.java.thread;import java.util.Date;import java.util.Timer;import java.util.TimerTask;/** * 定时器复习 :编写一个小程序轮流间隔2秒、4秒轰炸 * 1、递归的使用 * 2、循环取翻译 2016-05-05 10:59:29 · 469 阅读 · 0 评论 -
case class与case object实战
参考文献 scala 深入浅出实战经典 . 王家林场景 case class与case object的基本使用与嵌套case实验package com.scode.scala/** * author: Ivy Peng * function: case class 与 case object学习 * date:2016/03/20 12.14 * sum: * 1、作用:语言级别的优化原创 2016-03-20 12:53:36 · 776 阅读 · 0 评论 -
(for+if) 循环最佳实践推导
import scala.collection.immutable.Stream.Empty/** * Created by pengyucheng on 4/5/16. * * function : for + if ; for VS reduce */object forBestPractise { def main(args: Array[String])=翻译 2016-04-06 11:59:14 · 603 阅读 · 0 评论 -
mini售票系统之创建线程的三种方式
场景学习多线程编程,写 一个mini售票系统问题怎么创建线程,如何模拟售票窗口实验模拟3个窗口卖10张票,代码如下:/** * Project Name:thinkinginjava * File Name:ThreadCallable.java * Package Name:com.sourcecode.java.thread * Date:201原创 2016-02-15 00:16:39 · 893 阅读 · 0 评论 -
ClassLoader机制分析与自制加解、密类加载器
参考张孝详系列深入理解JVM机制 - 周志明场景ClassLoader机制 ? 由下及上委托,上面没有再往下,直到自身(自身没有目标类,就抛ClassNotFoundException,不用子类类加载器) 1、AppClassLoader:加载ClassPath目录下的.class文件 2、ExtClassLoader:加载~/jre/lib/ext.jar中的.c翻译 2016-04-23 08:34:02 · 570 阅读 · 0 评论 -
匿名函数与高阶函数的使用
场景匿名函数的语法与常用使用方式、高阶函数初体验实验package com.scode.scalaimport scala.io.Source/** * author: Ivy Peng * function: 1、学习匿名函数作为函数参数的使用方式 * 2、了解函数内部定义函数-实现高内聚、低耦合 * 3、高阶函数-初体验:多重嵌套 * dat翻译 2016-03-09 23:46:53 · 469 阅读 · 0 评论 -
模式匹配常见应用形态
参考文献scala 深入浅出实战经典 . 王家林场景赋值语句、for循环与提取器下的模式匹配实战实验package com.scode.scalaimport scala.Range/** * author: Ivy Peng * function: 模式匹配实战 * date:2016/04/1 7:00 * * 赋值语句、for循环与提取器下的模式匹配 *原创 2016-04-01 12:29:24 · 919 阅读 · 0 评论 -
代码解说多线程互斥与同步通信问题
参考张孝详系列场景编写一个程序:子线程连说 3 次 “ 你愿意吗?” ,接着主线程连续回答 10次 “我愿意” ,然后子线程再说3次“你愿意吗?”,主 线程回答“我愿意” 10次 。。。 轮流如此往复执行 10次。分析“连说 3 次”,“连续回答” 意味着互斥-主线程执行的时候,子线程不能执行;子线程执行的时候,主线程不能执行。“轮流往复”意味着同步-原创 2016-05-06 12:38:41 · 878 阅读 · 0 评论 -
二黄的第一枚神器
背 景“明天周五,下周二要上线?” 、“有没有搞错!今天搞 openAPI,明天搞数据中台,计划要搞营销中台”、“1个人干 6 个人的活,到是给我发 7 个人的工资啊 ”二黄啃完剩下的面包,打开桌面上的《订单数据对外接口需求文档》; 新的一天,在一万只草泥马奔腾后,悄然拉开序幕。需求理解open API 1.0 第一个版本,暂不上签名与加密、流量控制等非功能性需求开放一个订单开票数...原创 2019-08-31 17:32:11 · 656 阅读 · 0 评论 -
欧洲区域 IT 负责人应聘小结
场 景上周四收到公司发的一封邮件:公开竞选欧洲区域 IT 负责人,工作地主要在德国与意大利;抱着玩的态度投了个人信息,今天早上打开邮件:通过了海选, 上午 10.38 参加英语口语测试 :过 程啊,只有 1 个小时的准备时间,匆忙打了腹稿。大概 20 位同事申请这个岗位,我是最后一个面的。这里罗列一下面试的过程,方便后续竞聘用(扎心,这次后面的几个问题没有回答好,感觉没戏):me : I...原创 2018-12-03 15:24:09 · 589 阅读 · 0 评论 -
数据采集方案初探
问题用户浏览网站、App或者小程序的基础行为(浏览、点击、搜索与收藏等)数据怎么采集?会话粒度的数据怎么获取? 埋点与无埋点采集?背景数据采集是整个数据分析的前奏,直接关系到后续数据展现的准确性。本文聚焦网站及H5编写的微信服务号,旨在统一用户行为数据采集方式,形成一致的SDK编码规范。 当前,主流数据采集方式有埋点与无埋点两种。所谓的埋点方式即在网站、APP或者小程序的前或后端某处嵌入一段js或原创 2017-01-14 17:58:04 · 9719 阅读 · 0 评论 -
2020年·MBA论说文写作模板
题 目请以 团结、合作与风险管理为主题,写一篇 700 字的论说文,题目自拟。一、注重【团结|合作|风控】,赢得未来【抗疫精神 | 材料摘要】对我们当下也有非常重要的借鉴意义。它启示我们大到一国一族,小到一人一家,想要持续发展,都离不开【强有力的风险管控 | 团结 | 合作】。风控是立身之本,是个人发展进步的基础一个人只有树立良好的【风险管控 | 团结 | 合作】意识,才能取得长足的进步。“疾风知劲草,烈火见真金”,从青丝到白发,从北国到南疆,张桂梅始终坚持为国效力、为党分忧、为民尽责的本色。她原创 2020-12-15 18:00:48 · 492 阅读 · 1 评论 -
基于 PredictionIO 搭建全栈式机器学习平台
场景怎么从零构建自己的机器学习平台(以下简称平台)?分析我们不妨从 平台的终端用户 -App开发人员 与 平台自身的开发人员 入手,分析一下,机器学习平台应该具备哪些能力。对于使用者而言,平台需要简单易接入、能实时提供服务怎么在app中植入机器学习相关算法,让app变得智能? 对于App开发者而言,我们当然希望植入机器学习算法像调用普通 api 一样简单。事实上,目前成熟的AI...原创 2018-06-14 16:59:21 · 2560 阅读 · 0 评论 -
数学基础
背景扎实机器学习数学基础,坚持四个月,每天进步一点点微积分001 泰勒公式及应用线性代数概率论与梳理统计原创 2018-08-27 09:00:42 · 379 阅读 · 0 评论 -
ML学习笔记 0 之综述
场景这几个月断断续续学了一下吴恩达在coursera上发布的机器学习教程?国内的网络被墙了,看不了,花钱买了一个翻墙软件,终于可以看了,但网速太慢:学点东西真不容易。昨天晚上终于找到了一个地方,可以下载,可以下载,可以下载 - 开心!于是,果断又将第一周课程的第一部分看了好几篇。ok,从今天开始进入机器学习的学习与博客记录阶段:通过复述与简要概述作者的话,形成自己的机器学习体系 - 啊,进步的味道笔原创 2017-06-29 20:06:23 · 767 阅读 · 1 评论 -
什么是机器学习
转自 : 计算机的浅意识 致谢原作者!写的实在太棒了!从机器学习谈起 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇,从这里开始,必须对机器学习了解才能进一步介绍EasyPR的内核。当然,本文也面对一般读者,不会对阅读有相关的前提要求。 在进入正题前,我想读者心中可能会有一个疑惑转载 2016-07-24 19:33:11 · 1855 阅读 · 0 评论 -
flume简介与监听文件目录并sink至hdfs实战
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后原创 2016-06-02 17:09:32 · 12156 阅读 · 0 评论 -
Hive简介、安装及数据导入基本方法
参考Hive安装 王家林DT大数据梦工厂场景Hive存在的意义,怎么安装?如何把本地数据导入到Hive中来?分析简介1、Hive是分布式数据仓库,同时又是查询引擎,所以Spark SQL取代的只是Hive的查询引擎,在企业实际生产环境下Hive+SparkSQL是经典组合。 2、Hive本身是一个简单单机版本的软件,主要负责: a) 把HQL翻译成Mapper(s)-Reducer-Mappe原创 2016-06-16 21:46:58 · 863 阅读 · 0 评论 -
SSH简介与Hadoop集群环境搭建之 SSH免密钥登录
关于ssh简介SSH(secure shell) 是一种网络服务程序,相对于FTP与Telnet而言,传输数据更加安全与高效。安全是因为SSH会对传输的数据加密,而FTP直接以明文的形式传输用户的用户名与IP等信息容易被中间人截取信息并篡改。高效是因为SSH会对传输的数据进行压缩。通信过程这里以A、B两台服务器为例,加以说明SSH的通信过程(此处应该有图的,但是翻译 2016-04-15 11:09:50 · 2106 阅读 · 1 评论 -
shell 编程光速入门与实战
场景光速入门shell与编写软件自动化部署脚本 分析一、什么是Shell 编程 ? 为什么要学习shell编程?shell编程定义利用shell为我们提供的功能,编写应用程序。这个程序里面可能包含shell的内置命令与外部命令。辣么问题来了:什么是 shell 呢?有哪些shell呢?为什么要学习bash shell ? bash Shell为我们提供哪些功能呢?原创 2016-03-02 00:04:17 · 639 阅读 · 1 评论 -
hdfs架构分析与第一个hdfs应用程序
参考王家林大数据IMF系列场景hdfs架构分析与第一个hdfs应用程序分析HDFS架构.主从结构-主节点,只有一个:namenode(HA下会有多个NameNode)-从节原创 2016-04-24 16:46:10 · 1039 阅读 · 0 评论 -
Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
转自 : http://www.linuxidc.com/Linux/2015-01/112029p2.htm 原文我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/Sing转载 2016-04-15 11:19:24 · 1365 阅读 · 0 评论 -
拥有更优雅的家用开发环境?可以考虑租用一台云服务器
场景想自己在家里学做大数据开发,暂时由于种种原因,又不想买一台2核4G以上配置的的实体电脑方案可以考虑租用云服务器,2核4G的一个月租用费也就198.5RMB(前三个月半价,以阿里云为例),个人感觉挺实惠。这里以租用阿里云服务器为例,简单介绍一下,我想其他像腾讯云,百度云都差不多。1.、入口2、购买后,并运行实例(注:一个实例就相当于自己原创 2016-03-04 23:34:33 · 1567 阅读 · 0 评论 -
[0.0] scala 背后的故事
作者:紫杉链接:http://www.zhihu.com/question/27332932/answer/36205274来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。一直以来关于Scala究竟是简单还是困难,在Scala使用者之中都有不少争议。Yang Zhang作为Scala的爱好者,委婉的提出Scala内部核心构造过于复杂,他发布这篇文章转载 2016-04-27 17:24:22 · 2380 阅读 · 0 评论 -
[0.4]面向表达式编程之美
参考文献《Scala in depth》 by Joshua D.Suereth《Thinking in scala》 by Bruce Eckel & Dianne Marsh场景什么是面向表达式编程,面向表达式编程的优点分析语句与表达式的概念与区别为什么要纠结这个问题呢?答,为了更好地理解面向表达式编程。【Mr.Snail注:以下概念有点抽象,说了等于没有说,但又不得不说 】大致可以从以下两方原创 2016-04-04 11:12:11 · 1107 阅读 · 0 评论 -
[3.0]数组的创建及原理初探
参考ClassTag API 泛型的理解与应用 上下文界定 类型系统问题怎么理解scala中数组的创建方式? T:ClassTag如何类理解?def makeArray[T:ClassTag](elems : T*):Array[T] = Array[T](elems:_*) // 创建任意类型的数组 分析第一、makeArray方法体中的 语句:Array[T](elems:_*)会调用原创 2016-05-24 10:45:07 · 599 阅读 · 0 评论 -
[2.0] 函数式编程初探
Object-Oriented Meets Functional Have the best of both worlds. Construct elegant class hierarchies for maximum code reuse and extensibility, implement their behavior using higher-order functions.转载 2016-08-03 12:36:39 · 621 阅读 · 0 评论 -
隐式转换的理解
参考《 scala in depth》by Joshua D.Suereth场景scala隐式转换系统中转换规则彻底解说分析scala以语法简洁与功能强大著称,而语法简洁在很大程度上得意于scala的隐式转换系统。隐式转换系统能够使程序员少写一些代码 -天才编译器在编译时能自动推导出你所简写的那些代码,只要你是按照隐式转换规则来简写的(你可能在想,scala的编译器肿么这么真强...原创 2016-04-12 22:42:20 · 782 阅读 · 0 评论 -
scala中协变与逆变的理解
转自 : 未知 ,后续发现了补上( [Mr.Snail注] 本文转自一篇文章,那篇文章也是转载的 ,但是没有标注原文链接 - 这里强烈呼吁大家尊重原作者劳动成果,转载文章时,文首就标注原文链接)范型基础一句话来说,范型就是定义以类型为参数的类或接口(Scala中为特征)的功能。Java里从JDK5开始就有了范型,想必知道的人应该比较多了,下面就简单举例说明一下。例如,假设有转载 2016-04-27 10:25:48 · 942 阅读 · 1 评论 -
[1.1] 面向对象编程之get-set方法与构造器详解
场景肿么理解scala中的val与var关键字呢?有人说,用 val修饰的量是常量,且具有公有get方法与私有set方法 - 真的有私有set方法吗? 没有! 由于scala代码最终被scala编译器编译成字节码字,最终在JVM上运行.因此,可以通过反编译工具将字节码字反编译成我们熟悉的java代码,类比理解scala中的val与var.知识点字段默认就是由private关键字修饰的.其中, va原创 2016-08-01 19:20:08 · 1440 阅读 · 0 评论 -
泛型一条街
参考张孝祥系列JDK 1.8 API场景为什么java后来要引入泛型?泛型原理与特性?如何自定义方法泛型与类泛型?如何通过反射获取参数化类型的实际类型参数分析package cool.pengych.java.generic;import java.lang.reflect.InvocationTargetException;import java.lang.ref翻译 2016-04-21 11:05:23 · 640 阅读 · 0 评论 -
注解初体验与自定义注解实战
参考张孝祥系列场景有这样一个问题:我以前写了一个方法 sayHello(){...}, 后来发现方法的实现有点小问题,那我该怎么办呢?假设项目中有些模块已经使用了这个方法。直接删除这个方法肯定不行的?以前使用过该方法的代码都会报错。此时,需要一种方式 - 友好的简洁的提示大家,后续不要再使用这个方法了: “这个方法过时了,以后别用了,改用 sayHey(){...}” 。注解就是原创 2016-04-20 14:34:24 · 585 阅读 · 0 评论 -
about <<Not only on Java>>
Hey, this is Ivy Peng from TIANLAI House.From now on ,we're gonna learn Java ,which is definitely one of the world's most popular and lovely language,together.As from the name Not Only On Java ,you原创 2015-09-15 22:58:35 · 657 阅读 · 2 评论 -
javac 不是内部命令完美解决方案
场景工作近4年了,编码能力还停留在刚毕业的水准,打算从头学Java,用记事本写一个“Hello World”程序。在网上随意下载了一个JDK,按照网上经典的windows环境变量配置方法配置后,在控制台执行 javac 命令出现不是内部或外部命令异常。一、问题在控制台执行 javac 出现:而 执行 java 命令却可以正常显示: 二、分析出现该问题的原因大致有原创 2016-02-09 22:10:52 · 2108 阅读 · 0 评论 -
枚举类完美解读
参考 张孝祥系列教程《thinking in java》- bruce eckel场景为什么需要枚举?从 程序中如何表示星期说起!在实际开发中,当然可以在专门的常量类,比如说在Constants.java 中定义常量:public static final int MON = 1 , public static final int TUS = 2 等。但是这么做一点都不原创 2016-04-11 16:26:38 · 587 阅读 · 0 评论 -
提交spark作业:如何在java中执行shell脚本
参考java运行shell脚本方法示例 中华石衫 java1.6 API 文档场景一. 怎么在J2EE后端调用并执行spark作业呢? 执行spark作业通常用一个封装了./spark-submit命令及相关执行参数的shell脚本,例如:/home/hadoop/spark-1.6.0-bin-hadoop2.6/bin/spark-submit \--class cool.pengyc翻译 2016-06-30 16:24:22 · 6921 阅读 · 0 评论 -
实战解读阿里fastjson基本操作
场景json是一种很常用的数据传输与存储格式,听说阿里的fastjson转换速度是目前各类json中最快的,本文就以fastjson为例讲解json的基本操作.知识点java bean如何转换成 json 字符串? json字符串 如何转换成 java bean ? json 字符串 如何转换成 json object ?实验代码package cool.pengych.sparker.test原创 2016-06-21 23:42:14 · 817 阅读 · 0 评论