tokendeng-CSDN博客

转载大数据分析市场非常繁盛

《大数据分析引擎Apache Flink升级成为Apache顶级项目》Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式 MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。从Apache官方博客中得知，Flink已于近日升级成为Apac

2015-01-21 08:49:18 1010

转载 Heterogeneous Storages in HDFS

Reference：《Archival Storage, SSD & Memory》《Heterogeneous Storages in HDFS》Hadoop has traditionally been used for batch processing data at large scale. Batch processing applications care mo

2015-01-20 11:27:58 905 1

转载在异步Java代码中解救已检测异常

《Rescuing Checked Exceptions in Asynchronous Java Code》《在异步Java代码中解救已检测异常》Java语言通过已检测异常语法所提供的静态异常检测功能非常实用，通过它程序开发人员可以用很便捷的方式表达复杂的程序流程。实际上，如果某个函数预期将返回某种类型的数据，通过已检测异常，很容易就可以扩展这个函数，将所提供的输入不适于

2015-01-07 11:26:35 781

原创从off-heap到Azul's Zing(JVM)

参阅下面文章：《Difference between “on-heap” and “off-heap”》《JVM性能优化,Java的伸缩性》《Azul Offers Free Zing JVM to Open Source Community Projects》《The Azul Garbage Collector》Java语言是一种自动内存管理算法，JVM负责内存的分配与

2014-12-23 10:16:35 2105

原创 Hadoop 如何使用libhdfs.so

Hadoop提供了C接口，这样可以通过C语言直接操纵Hadoop文件系统，虽然功能没有Java版本的完备，但可以满足一些项目需要。有关C接口的介绍，请点击此处。本文主要一步一步实验如何使用libhdfs.so共享库。官方发行的本地库貌似只提供了32位的，如果在64位的平台，需要自己编译。这里做如下假定：已经部署了一个健康的Hadoop集群，对外的访问接口为：10.1

2014-12-17 11:44:02 4877

原创 CentOS下添加动态链接库的方法

一些C/C++编译好后，当运行时，报错说无法加载共享库，例如：./write: error while loading shared libraries: libhdfs.so.0.0.0: cannot open shared object file: No such file or directory发生这种报错的原因是，编译的程序运行期间需要依赖某个共享库，比如上面，wri

2014-12-17 11:01:21 9905

原创设计模式培训有感

第一：思维决定方式。z

2014-11-10 20:50:49 638

原创 Maven报错Missing artifact jdk.tools:jdk.tools:jar:1.7

在Eclipse中检出Maven工程，一直报这个错：“Missing artifact jdk.tools:jdk.tools:jar:1.7”

2014-11-05 15:58:46 59312 13

原创本地Maven与Eclipse中Maven插件冲突的问题

本地安装了Maven，同时Eclipse也安装了Maven插件，在Eclipse中通过SVN插件检出Ma

2014-11-05 15:42:28 2700

转载 CAP理论十二年回顾："规则"变了

原文点击此处

2014-11-03 10:30:00 506

转载 CAP Twelve Years Later: How the "Rules" Have Changed

原文点击此处This article first appeared in Computer magazine and is brought to you by InfoQ & IEEE Computer Society.The CAP theorem asserts that any networked shared-data system can have on

2014-11-03 10:27:32 1230

原创 HBase中如何执行Ruby

如果要使用脚本，可以看Hbase的bin 目录.在里面找到后缀为 *.rb的脚本.要想运行这个脚本，要这样$ ./bin/hbase org.jruby.Main PATH_TO_SCRIPT

2014-09-29 15:46:28 1459

转载 Paxos算法简述

原出处点击此处

2014-09-17 17:05:13 1057

原创 Hadoop-2.2.0启动日志管理

在yarn-site.xml添加配置： Whether to enable log aggregation yarn.log-aggregation-enable true

2014-09-03 17:15:24 559

原创 Linux时钟同步

时钟同步命令：ntpdate ntp.nasa.gov

2014-09-01 14:05:13 637

原创 CentOS下SSH配置无密码登录

如果没有安装SSH服务，通过命令安装：

2014-09-01 10:46:37 2167

原创磁盘空闲管理

1.空闲区表法　　空闲表法属于连续分配方式。它与内存管理中的动态分区分配方式雷同。　　将外存空间上一个连续未分配区域称为“空闲区”。操作系统为磁盘外存上所有空闲区建立一张空闲表，每个表项对应一个空闲区，空闲表包含“序号，第一空闲盘块号，空闲盘块数”等信息。它适用于连续文件结构。　　它为每个文件分配一个连续的存储空间。系统为外存上的所有空闲区建立一张空闲表，每个空闲区对应于一个空闲表

2014-08-28 09:20:28 8461 1

原创 Java VisualVM 监控远程机器

假设要从A机器使用Java VisualVM远程监控B机器，A机器一般

2014-08-26 13:48:49 690

原创 HDFS源码分析：“-put”到底做了些什么（客户端）

源码分析的目的不是为了扣代码中一字一句，

2014-07-31 20:37:50 3822

原创搭建RHadoop环境

我们想通过R分析Hadoop上的数据。

2014-07-30 17:33:24 479

原创 Linux下安装R语言

从网上下载R语言安装包R-2.15.3.tar.gz，然后使用命令：

2014-07-30 09:48:56 1201

原创 Hadoop-2.2.0下的基准测试。

要进行基准测试，首先启动hdfs和yarn：

2014-07-29 14:09:29 898

原创 CentOS下端口查看

列出所有正在使用的端口号以及关联的进程

2014-07-29 10:46:32 655

原创 Timer与TimerTask

Timer是Java中的定时任务调度器，而TimerTask相当于一个定时需要被调度的任务。

2014-07-25 15:52:32 455

原创 ZooKeeper安装

ZooKeeper安装很简单。下载安装介质后，解压到目录：

2014-07-25 14:53:37 430

原创 Linux下安装JDK

步骤1　安装JDK。将下载的.bin 文件复制到Linux 的某个目录下，比如/usr/lib/jvm/，然后在Shell 中执行以下命令为该文件添加可执行权限：chmod +x /usr/lib/jvm/jdk1.6.0_25.bin然后执行以下命令安装JDK：sudo /usr/lib/jvm/jdk1.6.0_25.bin之后将会出现安装信息，直至屏幕显示要求按下回车

2014-07-25 14:03:27 694