coding乐园

前言 最近在研究hadoop集群的负载分析，同学推荐Hadoop自带的监控端口JMX，于是查阅资料做了一下总结。 认识JMX 1.首先看官方接口说明类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet只提供web页面来访问JMX 例如：启动了hadoop集群（master slave1 slave2） 通过端口50070访问：ma...

前置条件： 首先确保系统已经正确安装docker 验证：sudo docker versionorsudo docker -v启动dockersudo service docker start 拉取hadoop镜像 这里用的github开源的镜像地址：sudo docker pull kiwenlau/hadoop:1.0clone到本地...

前言 BigDataBench已经升级到4.0版本，但是相对应的handbook还是3.x的，在安装配置以及运行实例的时候会遇到各种不可预测的问题。在这里记录下我在使用过程中踩到的雷区。 环境准备 hadoop集群环境已经正确安装，可通过50070端口访问namenode和datanode 在这里也是使用BigDataBench_V4.0_Hadoop进行的测试 下载wget h...

开发和运维高并发系统的工程师可能都有过类似经验，明明系统已经调优完毕，该异步的异步，该减少互斥的地方引入无锁，该减少IO的地方更换引擎或者硬件，该调节内核的调节相应参数，然而，如果在系统中引入实时监控，总会有少量响应的延迟高于均值，我们把这些响应称为尾延迟（Tail Latency）。对于大规模分布式系统来说，尾延迟的影响尤其严重，例如大规模搜索引擎，单个请求可能就会发送到上万台服务器，系统不得不...

问题说明： 在运行负载测试的离线负载时，出现如下error：./gen_random_text: error while loading shared libraries: libgsl.so.0: cannot open shared object file: No such file or directory原因及解决方案 原因：由错误信息可知：当加载共享库时，不能打开共享文件...

1. 大数据概念 无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征 数据量大 类型繁多 价值密度低 速度快时效高 3. 大数据处理平台 离线处理平台 交互式处理平台 流处理平台 4.大数据技术路线图 5. Hadoop 定义 Apache开源软件基金会开发的运行于大规模服务器上的大数据存...