2016年03月_灯惉

03月

转载实用的top命令

对于系统级的监控来说,top命令是实用而高效的瑞士军刀。相比vmstat,sar来说提供的是实时的进程信息，对于监控性能，排查问题是很高效的。而且提供了交互式的命令模式，能够灵活的对输出结果进行组合。如果数据库系统中存在着cpu或者内存的过度使用，或者说IO等待较高，都可以通过top命令进行一个快速的定位到系统进程信息，然后从系统级和数据库级的进程进行一个映射，从而得到数据库级的进程信息,定位

2016-03-20 22:02:12 327

转载 linux下挂载新硬盘和分区的步骤

今天和大家分享一下在linux下挂载新硬盘的步骤。演示的环境基于centos [root@localhostetc]# uname -aLinuxlocalhost.localdomain 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011x86_64 x86_64 x86_64 GNU/Linux[root@loc

2016-03-20 21:58:49 3458

转载别再比较Hadoop和Spark了，那不是设计人员的初衷

别再比较Hadoop和Spark了，那不是设计人员的初衷2016-03-13 中国大数据程序员日记对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。

2016-03-13 21:22:20 399

转载 Hadoop生态系统在壮大：十大炫酷大数据项目

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物件”的传感器、结构化数据、非结构化数据以及可以收集的其他一切数据收集而来。为了应对这项任务，开发人员已

2016-03-13 10:49:06 927

转载用数据讲故事：七种不同的数据展示方法

摘要: 什么使一个故事真正成为数据驱动呢？在某种程度上，数字不再仅仅是出现在侧栏的表格，而是能够在真正意义上促进故事的发展。数据可以帮助我们用不同视角叙述不同类型的故事。我在Tableau Public的同事Ben Jones鼓励 ...什么使一个故事真正成为数据驱动呢？在某种程度上，数字不再仅仅是出现在侧栏的表格，而是能够在真正意义上促进故事的发展。

2016-03-06 22:31:30 1386

原创 Linux下删除已创建用户

由于某种原因，根据业务命名规范或者业务惯例需要对误创建的用户或者已经创建的用户需要删除，在Linux下删除用户如下方法：一、在创建用户时，提升该用户名已经存在查看用户ID时，已经在/et c/group和/etc/passwd文件中已经存在该用户信息二、删除该用户Vi 编辑用户属组配置文件group并删除最后一行后wq保存该文件。

2016-03-06 12:53:39 4037

转载机器学习的十三套框架

导读过去几年以来，机器学习已经开始以前所未有的方式步入主流层面。这种趋势并非单纯由低成本云环境乃至极为强大的GPU硬件所推动; 除此之外，面向机器学习的可用框架也迎来了爆发式增长。此类框架全部为开源成果，但更重要的是它们在设计方面将最为复杂的部分从机器学习中抽象了出来，从而保证相关技术方案能够为更多开发人员服务。在今天的文章中，我们将共同了解十三款机器学习框架，一部分去年刚

2016-03-05 22:21:28 641

原创 Hadoop部署目录的作用

一、Hadoop home目录这是Hadoop home软件安装所在的目录，尽管名称里含有home，但通常不要将Hadoop安装在用户的home目录。当配置正确后，该目录是只读的，如果Hadoop是通过包来安装的，那么该目录通常在/usr/local、/opt或/usr中。二、DataNode数据目录其中的一个或多个目录被DataNod

2016-03-03 21:41:16 674

原创 MapReduce两种主要的后台程序-jobtracker和tasktracker

一、Jobtracker Jobtracker是主线程，它负责接收客户作业提交，调度任务到工作节点上运行，并提供诸如监控工作节点状态及任务进度等管理功能，一个MapReduce集群有一个jobtracker，一般运行在可靠的硬件上。 tasktracker是通过周期性的心跳来通知jobtracker其当前的健康状态，每一次心跳包含了可用的map和redu

2016-03-02 23:01:37 5358