实用的top命令

对于系统级的监控来说,top命令是实用而高效的瑞士军刀。相比vmstat,sar来说提供的是实时的进程信息,对于监控性能,排查问题是很高效的。而且提供了交互式的命令模式,能够灵活的对输出结果进行组合。 如果数据库系统中存在着cpu或者内存的过度使用,或者说IO等待较高,都可以通过top命令进行一...

2016-03-20 22:02:12

阅读数 219

评论数 0

linux下挂载新硬盘和分区的步骤

今天和大家分享一下在linux下挂载新硬盘的步骤。 演示的环境基于centos   [root@localhostetc]# uname -a Linuxlocalhost.localdomain 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:2...

2016-03-20 21:58:49

阅读数 2911

评论数 0

别再比较Hadoop和Spark了,那不是设计人员的初衷

别再比较Hadoop和Spark了,那不是设计人员的初衷 2016-03-13 中国大数据 程序员日记  对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比...

2016-03-13 21:22:20

阅读数 265

评论数 0

Hadoop生态系统在壮大:十大炫酷大数据项目

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间,这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目,并顺便了解几个新兴项目。 管理和分析大数据已经变成了重大挑战,数量急剧增加的信息从社交媒体、连接到物联网中“物...

2016-03-13 10:49:06

阅读数 549

评论数 0

用数据讲故事:七种不同的数据展示方法

摘要: 什么使一个故事真正成为数据驱动呢?在某种程度上,数字不再仅仅是出现在侧栏的表格,而是能够在真正意义上促进故事的发展。数据可以帮助我们用不同视角叙述不同类型的故事。我在Tableau Public的同事Ben Jones鼓励 ... 什么使一个故事真...

2016-03-06 22:31:30

阅读数 920

评论数 0

Linux下删除已创建用户

由于某种原因,根据业务命名规范或者业务惯例需要对误创建的用户或者已经创建的用户需要删除,在Linux下删除用户如下方法: 一、在创建用户时,提升该用户名已经存在 查看用户ID时,已经在/et    c/group和/etc/passwd文件中已经存在该用户信息 二、删...

2016-03-06 12:53:39

阅读数 1535

评论数 0

机器学习的十三套框架

导读 过去几年以来,机器学习已经开始以前所未有的方式步入主流层面。这种趋势并非单纯由低成本云环境乃至极为强大的GPU硬件所推动; 除此之外,面向机器学习的可用框架也迎来了爆发式增长。此类框架全部为开源成果,但更重要的是它们在设计方面将最为复杂的部分从机器学习中抽象了出来,从而保证相关技术方案...

2016-03-05 22:21:28

阅读数 348

评论数 0

Hadoop部署目录的作用

一、Hadoop home 目录          这是Hadoop home软件安装所在的目录,尽管名称里含有home,但通常不要将Hadoop安装在用户的home目录。当配置正确后,该目录是只读的,如果Hadoop是通过包来安装的,那么该目录通常在/usr/local、/opt 或/u...

2016-03-03 21:41:16

阅读数 360

评论数 0

MapReduce两种主要的后台程序-jobtracker和tasktracker

一、Jobtracker           Jobtracker是主线程,它负责接收客户作业提交,调度任务到工作节点上运行,并提供诸如监控工作节点状态及任务进度等管理功能,一个MapReduce集群有一个jobtracker,一般运行在可靠的硬件上。          tasktracke...

2016-03-02 23:01:37

阅读数 3860

评论数 1

程序猿的年终总结,各种版本各种残

1、朱自清版 这几天心里颇不宁静了,眼看上线的日子越来越临近,而项目Bug之多,密密的交叉着,却无从改起,于是想法纠结乱麻了一片……???这样想着,猛一抬头,不觉墙上的日历只剩薄薄的一叠了,轻轻地再撕去一张,想必明天是验收不了…… 2、仓央嘉措版 你编...

2015-12-31 16:45:13

阅读数 370

评论数 0

HIVE 简介

1、什么是Hive? Hive是基于Hadoop文件系统之上的数据仓库架构,它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换、加载)工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言--Hive QL,Hive QL允许用户进行和SQL相似的操作,它可以将...

2015-11-30 17:15:23

阅读数 288

评论数 0

数据分析实例:在一线城市的你,生活有多苦逼

摘要: 曾经,“逃离北上广”成为年轻人中一个口号式的选择,但是,这个口号根本就没喊上多久,就没人响应了,因为,“逃离北上广”的人又都回来了。只有“北上广”加上深圳,才聚集着中国最多的资源、最好的机会,逃是逃不 ... 曾经,“逃离北上广”成为年轻人中一个口...

2015-11-20 16:06:39

阅读数 331

评论数 0

MapReduce原理

1、MapReduce简介 MapReduce是现今一个非常流行的分布式计算框架,它被设计成用于并行计算海量数据,第一个提出该技术框架的是Google公司,MapReduce框架的核心步骤主要分两部分:Map和Reduce,当你向MapReduce提交一个计算作业时,它会首先把计算作业拆分成若干个...

2015-11-20 10:50:28

阅读数 510

评论数 0

Hadoop HDFS原理

1 Hadoop搭建环境: 虚拟机操作系统: CentOS6.6 64位,单核,1G内存JDK:1.7.0_55 64位Hadoop:1.1.2 2 HDFS原理 HDFS(Hadoop distributied File System)是一个分布式文件系统,是谷歌GFS文件系统的山寨版,它...

2015-11-18 22:26:05

阅读数 415

评论数 0

Hadoop HDFS

Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统,HDFS是高度容错以及使用低成本的硬件设计。 HDFS拥有超大型的数据量,并提供更轻松地访问。为了存储这些庞大的数据,这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失,在发生...

2015-11-17 17:02:56

阅读数 274

评论数 0

Hadoop是什么?

Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。   Hadoop的架构 在...

2015-11-17 17:00:17

阅读数 345

评论数 0

Hadoop大数据解决方案

传统的企业方法          在这种方法中,一个企业将有一个计算机存储和处理大数据。对于存储而言,程序员会自己选择的数据库厂商,如Oracle,IBM等的帮助下完成,用户交互使用应用程序进而获取并处理数据存储和分析。   局限性          这种方式能完美地处理那些可以由...

2015-11-17 16:54:01

阅读数 593

评论数 0

毕业3年

写给那些曾经在我生命里肆无忌惮地陪伴我,和我一起挥霍青春的人。          毕业三年,从学校里面走出来,随着时间的印证,现实已经把梦击打的粉碎,也不知道什么时候学会专注的过日子,专注的去做饭、打扫屋子、洗擦锅灶,也许这也是生活。          2015年,是我幸福的一年,在这一年中,我挣...

2015-11-15 15:32:09

阅读数 272

评论数 0

存储过程-1

存储过程-1 一、存储过程的定义: 1、定义: 存储过程(stored Procedure)是一组完成特定功能的SQL语句集,经过编译后存储在数据库中,用户通过指定存储过程的名字并给出参数来执行它,存储过程是数据库中一个很重要的对象,任何一个设计良好的数据库应用程序都应该用到存储过程。存储过...

2013-05-14 21:12:51

阅读数 390

评论数 0

oracle 等待事件-1

一、等待事件的相关知识 1、等待事件的源起      等待事件的概念大概是从ORACLE 7.0.12中引入的,大致有100个等待事件。在ORACLE 8.0中这个数目增大到了大约150个,在ORACLE 8I中大约有220个事件,在ORACLE 9IR2中大约有400个等待事件,而在...

2013-05-05 20:28:59

阅读数 738

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭