2018年05月_chenshiying007

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创大数据持续更新

大数据持续更新Sqoop是什么Hadoop生态系统概述HDFS应用场景、原理、基本架构YARN应用场景、原理与资源调度spark学习一

2018-05-22 19:30:26 765

原创 scala 学习持续更新

scala 学习持续更新搭建Scala开发环境，使用Intellij IDEA开发Scala程序1_scala的基本语法2 scala 环境搭建及其各种符号的含义3 scala 基本语法脚本4、scala学习 tuple Array Map5 scala 基本语法...

2018-05-22 19:26:41 1803

项目相关navicat连接oracle数据库postman安装 v4.9.2nginx 80端口映射多个应用Readis安装zookeeper使用说明linux_安装CDNlinux开发环境搭建keytool证书工具使用小结gradle 使用实战XWiki 安装手册项目管理神器——Confluence篇github贡献开源项目的流程github 之理解 Github Flownosql数据库mo...

2018-05-20 07:43:05 485

原创收录架构相关博客文章

收录架构相关博客文章集中式架构与分布式架构比较分布式系统数据层设计模式互联网架构为什么要做服务化微服务架构技术栈分布式理论：CAP 是三选二吗？使用LCN框架解决分布式事物百度开源的分布式 id 生成器支付宝分布式事务服务 DTS四支付宝架构师眼里的高可用与容灾架构演进蚁金服支付宝系统的单元化蚂蚁金服蓝绿发布实践亿级用户下的新浪微博平台架构...

2018-05-19 07:30:38 620

原创 2019年博客地址汇总

更多干货分布式实战（干货） spring cloud 实战（干货） mybatis 实战（干货） spring boot 实战（干货） React 入门实战（干货）构建中小型互联网企业架构（干货） python 学习持续更新 ElasticSearch 笔记 kafka storm 实战 (干货) ...

2018-05-16 21:38:11 2542 3

原创 26 scala 学习

26 scala 学习比较Type 与 Classimport scala.reflect.runtime.universe._class Sparktrait Hadoopobject Flinkclass Java { class Scala}object Type_Advanced { def main(args: Array[String]) { ...

2018-05-30 22:06:13 181

转载 Java 8 中的 Streams API 详解

Java 8 中的 Streams API 详解https://www.ibm.com/developerworks/cn/java/j-lo-java8streamapi/为什么需要 StreamStream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream...

2018-05-29 22:54:09 363

原创 25 scala 模式匹配

25 scala 模式匹配list 模式匹配object For_Advanced { def main(args: Array[String]): Unit = { for (i <- List(1, 2, 3, 4, 5)) { println(i) } for (index@"Flink" <- List("Hadoop", "Spar...

2018-05-29 08:51:19 332

原创 24 scala ator

24 scala actor匿名actorimport scala.actors.Actor._import scala.actors.Actorobject Actor_Message extends Actor { def act() { while (true) { receive { case msg => println("Messag...

2018-05-29 08:50:19 461

原创 23 scala 并发编程 actor

23 scala 并发编程 actor概述Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。 Spark中使用的分布式多线程框架，是Akk...

2018-05-28 21:07:28 476

原创 22 scala 笔记

22 scala 笔记隐式类import java.io.Fileimport scala.io.Sourceobject Context_Helper { implicit class FileEnhancer(file: File) { def read = Source.fromFile(file.getPath).mkString } implicit cl...

2018-05-28 20:32:07 414

原创 21 scala 笔记

scala 学习笔记复合类型Compound_Type 必须同时是 Compound_Type1 和 Compound_Type2 类型trait Compound_Type1;trait Compound_Type2;class Compound_Type extends Compound_Type1 with Compound_Type2object Compound_Type {...

2018-05-28 09:58:33 401

原创 20 scala 学习笔记

20 scala 学习笔记Scala多重界定T <: A with B T是 A 或者 B的子类T >: A with B T是 A 或者 B 的父类T >:A<:B T是B的子类同时 T是B的父类且A 之B 的子类> T <% A <% B T 有多个视图界定。T 可以隐式转换为A类型且也可以转换为B类型Scala类型约束object Type_...

2018-05-27 20:39:40 401

原创 19 scala 学习笔记

19 scala 学习笔记泛型上界大（父类）> 小（子类）小（子类）< 大（父类）泛型上界。定义泛型的时候如果要求T必须包含某个函数class Pair[T <: Comparable[T]](val first: T, val second: T) { def bigger = if (first.compareTo(second) > 0) first e...

2018-05-25 07:50:23 359

原创 18 scala 学习笔记

18 scala 学习笔记一、List 协变协变(+)sealed abstract class List[+A] extends AbstractSeq[A]list中的元素，存在子类和父类的关系，Int的夫类为Any 那么List[Int]就是List[Any]的子类. 接口编程中子类可以赋给父类。 scala 中叫协变 val list: List[Int] = List(1, 2, ...

2018-05-24 21:37:11 413

原创 17 scala case class object

17 scala case class object概述case class1、case 类在编译的时候会自动增加一个单列对象（single object）。2、产生了一个apply的方法，那么我们可以直接把对象当作方法来用，比如 Person(12,Tom),就代表已经创建一个Person的对象，同时调用了這个对象的apply方法3、产生了一个upapply的方法，也就是说在模式匹配的时候可以...

2018-05-24 11:46:33 1427

原创 16 scala 模式匹配

16 scala 模式匹配概述Scala的模式匹配发生在但绝不仅限于发生在match case语句块中，这是Scala模式匹配之所以重要且有用的一个关键因素模式匹配的种类在Scala中一共有如下几种类型的模式匹配：通配符匹配（Wildcard Pattern Matching ）常量匹配（Constant Pattern Matching ）变量匹配（Variable Pattern Match...

2018-05-24 11:08:58 412

原创 15 scala 柯里化

15 scala 柯里化概述柯里化(Currying)Scala允许函数定义多组参数列表，每组写在一对圆括号里。当用少于定义数目的参数来调用函数的时候，将返回一个以余下的参数列表为参数的函数。例子 val a = Array("Hello", "Spark") val b = Array("hello", "spark") val result = a.corresponds...

2018-05-24 10:28:16 581

原创 14 scala 隐式转换实现SAM

14 scala 隐式转换实现SAM概述在Scala中，要某个函数做某件事时，会传一个函数参数给它。而在Java中，并不支持传送参数。通常Java的实现方式是将动作放在一个实现某接口的类中，然后将该类的一个实例传递给另一个方法。很多时候，这些接口只有单个抽象方法（single abstract method），在Java中被称为SAM类型。object SAM { def main(a...

2018-05-24 09:24:15 453

原创 13 scala 闭包

13 scala 闭包闭包object ClosureOps { def main(args: Array[String]) { val data = List(1, 2, 3, 4, 5, 6) var sum = 0 data.foreach(sum += _) def add(more: Int) = (x: Int) => x + more ...

2018-05-23 21:02:46 323

原创 12 scala 偏函数

12 scala 偏函数偏函数object PartialAppliedFuntion { def main(args: Array[String]){ val data = List(1, 2, 3, 4, 5, 6) data.foreach(println _) data.foreach(x => println(x)) def sum...

2018-05-23 20:57:27 393

原创 11 scala 本地函数

11 scala 本地函数本地函数import scala.io.Sourceobject FunctionOps { def main(args: Array[String]) { val width = args(0).toInt for (arg <- args.drop(1)) processData(arg, width) var in...

2018-05-23 20:45:40 418

原创 10 scala 正则表达式

scala 正则表达式RegExpressOpsobject RegExpressOps { def main(args: Array[String]): Unit = { val regex="""([0-9]+) ([a-z]+)""".r val numPattern = "[0-9]+".r val numberPattern = """\s+[0.

2018-05-23 20:34:22 417

原创 9 scala 包类对象成员访问权限

scala 包类对象成员访问权限包对象包类对象成员访问权限伴生类伴生对象访问权限包package com.scala.sparkpackage object people { val defaultName = "Scala"}package people { class people { var name = defaultName }}...

2018-05-23 19:36:45 1076

原创 8 scala 对象

8 scala 对象概述Override 覆盖操作抽象类抽象字段抽象方法traitOverride 覆盖操作class OverrideOperations {}class Person1(val name: String, var age: Int) { println("The primary constructor of Person") val school = "B...

2018-05-23 17:21:03 365

转载使用Git协作开发，注意几点避免代码覆盖事故

使用Git协作开发，注意几点避免代码覆盖事故由于Git库在客户端和服务器端都有仓库，涉及到仓库之间的同步，所以使用不当容易造成事故。Git提倡灵活使用分支进行开发协作，方法有多种：如Git官网上的书中提到，某些大的开源项目的做法是开发者各自建立自己的开发分支，然后合并到共享的开发分支上，合并时需要有管理员审核通过后才能合并到主分支上。而实际开发过程中，我们发现很多事故就是出在merge时，因此简单...

2018-05-23 15:59:56 13145

原创 7 scala 集合操作

7 scala 集合操作Hello listobject HelloList { def main(args: Array[String]) { val bigData = List("Hadoop", "Spark") val data = List(1, 2, 3) val bigData_Core = "Hadoop" :: ("Spark" :: Nil)...

2018-05-23 07:05:42 631

原创 6 scala 基础语法函数高级函数隐式转换

6 scala 基础语法函数高级函数隐式转化概述函数高级函数隐式转化CurringCurringobject Curring { def main(args: Array[String]) { def multiple(x: Int, y: Int) = x * y def multipleOne(x: Int) = (y: Int) => x * y p...

2018-05-22 19:09:47 397

原创 5 scala 基本语法

5 scala 基本语法更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)Array 代码for yield针对每一次 for 循环的迭代, yield 会产生一个值...

2018-05-22 18:21:16 434

原创 4、scala学习 tuple Array Map

4、scala学习 tuple Array Maptuple def main(args: Array[String]): Unit = { val triple = (100, "Scala", "Spark") println(triple._1) println(triple._2) println(triple._3) }Array ...

2018-05-22 07:02:16 368

原创 C/C++ 开源库及示例代码

C/C++ 开源库及示例代码Table of Contents说明1 综合性的库2 数据结构 & 算法2.1 容器2.1.1 标准容器2.1.2 Lockfree 的容器2.1.3 环形缓冲2.1.4 多维数组2.1.5 图2.2 对容器的操作2.3 字符串处理2.3.1 字符集2.3.2 字符串格式化2.3.3 正则表达式2.3.4 （其它）2.4 内存相关2.4.1 智能指针2.4.2...

2018-05-22 06:59:05 1680

原创 Python 开源库及示例代码

Python 开源库及示例代码Table of Contents说明1 算法1.1 字符串1.1.1 正则表达式1.1.2 字符集1.1.3 （其它）1.2 编码 & 解码1.2.1 base641.2.2 UUencode1.2.3 BinHex1.3 数学类1.4 容器2 跨语言编程2.1 整合 C & C++2.2 整合 JVM 平台2.3 整合 dotNet 平台2.4 整...

2018-05-22 06:55:46 6670 1

原创 3 scala 基本语法脚本

3 scala 基本语法脚本更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)学习脚本object ScalaBasics { // def loope...

2018-05-21 21:34:10 452

原创 2 scala 环境搭建及其各种符号的含义

scala 环境搭建及其各种符号的含义更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)概述学习scala 是为了看spark 源码做准备，所以查看spark 对于的...

2018-05-21 21:22:05 460

转载微服务的4个设计原则和19个解决方案

更多干货分布式实战（干货） spring cloud 实战（干货） mybatis 实战（干货） spring boot 实战（干货） React 入门实战（干货）构建中小型互联网企业架构（干货） python 学习持续更新 ElasticSearch 笔记 kafka storm 实战 (干货)转：http://p.primeton.com/articles/59b...

2018-05-19 07:46:10 1637

原创 python Flask项目

Flask简单项目更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述Flask官网： http://flask-sqlalchemy.pocoo.org/中文...

2018-05-18 22:08:53 995

转载亿级用户下的新浪微博平台架构

亿级用户下的新浪微博平台架构更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)一、概述新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年...

2018-05-18 07:52:08 1438

原创 python flask 例子

python flask 例子更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)概述Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI ...

2018-05-17 16:28:39 2846

原创 python 装饰器

python 装饰器更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)概述装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功...

2018-05-17 15:32:29 645

转载 Spring Cloud Zuul微服务网关的API限流

Spring Cloud Zuul微服务网关的API限流更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)API限流微服务开发中有时需要对API做限流保护，防止网络攻...

2018-05-17 15:00:18 9991