2018年06月_l1212xiao

12月 08月 07月 06月 05月 04月

转载 scala的隐式转换

摘要：通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。使用方式：1.将方法或变量标记为implicit2.将方法的参数列表标记为implicit3.将类标记为implicit Scala支持两种形式的隐式转换：隐式值：用于给方法提供参数隐式视图：用于类型间转换或使针对某类型的...

2018-06-29 16:19:56 231

转载 Spark远程调试

Spark远程调试本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。 1、了解jvm一些参数属性 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 这里对上面的几个参数进行说明：-Xdebug 启用调试特性-Xrunjdwp ...

2018-06-29 11:48:10 1076

转载 Spark中的checkpoint作用与用法

Spark中的checkpoint作用与用法2017年07月27日 23:19:11checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者pe...

2018-06-28 12:27:21 442

翻译 Spark共享变量-Broadcast广播变量介绍及scala实现

通常情况下，当1个function传递到1个spark operation（例如：map、reduce）时，这个function是在远程的集群node上被执行的。这些变量会被复制到每一台机器，在远程机器上不会更新这些变量，然后又传送回driver program。跨tasks共享读写变量的支持，通常是低效率的。然而，spark提供了2种通用的共享变量模式：广播变量和累加器。广播变量广播变量...

2018-06-28 11:33:23 3687

转载 Mysql 工作原理

Mysql 工作原理刚开始接触一个新的事物的时候，我觉得很有必要从其工作原理入手，弄清楚这个东西的来龙去脉，为接下来的继续深入学习做好铺垫，掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图：上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成...

2018-06-27 21:39:23 361

转载 scala-泛型

Scala学习——泛型[T]6种使用 1 package com.dtspark.scala.basics 2 3 /** 4 * 1,scala的类和方法、函数都可以是泛型。 5 * 6 7 * 2,关于对类型边界的限定分为上边界和下边界（对类进行限制） 8 * 上边界：表达了泛型的类型必须是"某种类型"或某种类型的"子类"，语法为“<:”, 9 * 下边界...

2018-06-21 20:12:32 164

翻译 Java Lambda表达式

Java Lambda表达式入门原文链接: Start Using Java Lambda Expressions下载示例程序 Examples.zip 。简介虽然看着很先进，其实Lambda表达式的本质只是一个"语法糖",由编译器推断并帮你转换包装为常规的代码,因此你可以使用更少的代码来实现同样的功能。本人建议不要乱用,因为这就和某些很高级的黑客写的代码一样,简洁,难懂,难以调试,维护人员想骂娘...

2018-06-15 16:03:30 361

转载 kafka 知识总结

1.kafka 知识总结1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是defaultPartition Utils.abs(key.hashCode...

2018-06-13 15:55:25 343

翻译 storm消息容错机制（ack-fail）

storm消息容错机制（ack-fail）1、介绍在storm中，可靠的信息处理机制是从spout开始的。一个提供了可靠的处理机制的spout需要记录他发射出去的tuple，当下游bolt处理tuple或者子tuple失败时spout能够重新发射。Storm通过调用Spout的nextTuple()发送一个tuple。为实现可靠的消息处理，首先要给每个发出的tuple带上唯一的ID，并且将ID作为...

2018-06-08 10:06:16 1659

原创 Vmware14安装苹果系统macos

使用Vmware14安装苹果系统macos一、工具&材料：1、Vmware 14 pro；2、用于VMware 12的mac补丁，unlocker：项目地址: https://github.com/DrDonk/unlocker这个补丁也能用于其他平台比如linux。3、然后就是macos的镜像文件二、应用unlocker补丁：把下载好的unlocker解压，右键使用管理员运行win-i...

2018-06-06 19:13:23 2378

翻译 Linux 的硬链接与软链接详解

理解 Linux 的硬链接与软链接Linux 的文件与目录现代操作系统为解决信息能独立于进程之外被长期存储引入了文件，文件作为进程创建信息的逻辑单元可被多个进程并发使用。在 UNIX 系统中，操作系统为磁盘上的文本与图像、鼠标与键盘等输入设备及网络交互等 I/O 操作设计了一组通用 API，使他们被处理时均可统一使用字节流方式。换言之，UNIX 系统中除进程之外的一切皆是文件，而 Linux 保持...

2018-06-06 11:06:02 292

转载 IntelliJ IDEA debug使用教程

IntelliJ IDEA debug使用教程在调试代码的时候，你的项目得debug模式启动，也就是点那个绿色的甲虫启动服务器，然后，就可以在代码里面断点调试啦。下面不要在意，这个快捷键具体是啥，因为，这个keymap是可以自己配置的，有的人keymap是mac版的，有的是Windows版的。我的就是Windows，而且修改keymap为eclipse的keymap，因为我算是eclipse转过来...

2018-06-04 21:16:07 362

原创修改/usr 权限后，不能使用su/sudo

运行su,报错：su: Authentication failure解决方法：chown root:root /bin/suchmod 4755 /bin/su或者运行sudo时，报如下这个错误sudo: must be setuid root，解决方法chown root:root /usr/bin/sudochmod 4755 /usr/bin/sudo注意，以上命令需要root权限，如果不...

2018-06-01 13:19:44 3167