- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 1.spark概述
本文是根据spark官方英文文档进行翻译而来，英文出处http://spark.apache.org/docs/latest/index.html 1.spark概述apache spark是一个快速、通用的集群计算系统，它提供了高层次的API文档，包含了Java、Scala、Python和R语言，同时还提供了一个优化后的通用的针对图计算的引擎。它提供了大量的计算工具，比如SparkSql
2016-04-20 23:32:40
317
转载 logback使用详解-java
1.scan参数可以在每隔60秒来对配置文件进行一次检测，如果日志文件有改动，则加载最新的策略。2.property属性值设置方法如下所示，如果要使用，可以用${}来使用 ${APP_Name} 3.时间戳使用，如下所示 后面的datePattern可以定义时间戳的输出格式 ${
2016-04-13 17:21:03
586
转载 高性能web服务容错机制
一、 重试机制最容易也最简单被人想到的容错方式，当然就是“失败重试”，总而言之，简单粗暴！简单是指它的实现通常很简单，粗暴则是指使用不当，很可能会带来系统“雪崩”的风险，因为重试意味着对后端服务的双倍请求。 1. 简单重试我们请求一个服务，如果服务请求失败，则重试一次。假设，这个服务在常规状态下是99.9%的成功率，因为某一次波动性的异常，成功率下跌到95%，那么如
2016-04-11 18:11:41
1378
转载 sed常用命令
1. Sed简介 sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
2016-04-11 11:59:42
382
1
原创 hadoop学习从0开始-mapreduce
1.首先根据输入进行分片，inputsplit，每个分片的大小是固定的，分片的大小跟数据库的大小是相同的，比如默认是64M，如果输入文件有两个，32M和72M，会有三个分片，不足的是一个，超过的72M会分为两个，一个是8M，另一个是64M。2,第二阶段是根据规则，生成键值对，键是文本位置，值是文本内容。3.调用mapper的map类，
2016-04-06 17:23:19
558
web.py-0.33
2014-06-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人