2016年11月_lepton126

12月 11月 10月 09月 05月 01月

转载为eclipse安装marketplace

http://blog.csdn.net/buptdavid/article/details/42423247Eclipse Marketplace是个插件应用商店，很实用的一个功能。打开 eclipse，help--Eclipse Marketplace Client就能找到有的eclipse中没有这个功能就需手动添加Eclipse Marketpla

2016-11-23 20:32:21 386

在对各种日志进行统计时，逻辑通常是比较简单的，当文件存储在hdfs上时，就会被切分成许多block,针对一个具体存储节点，一般是存储的是某个文件的某个块，因此，在这种情况下做统计，永远是一个局部的数据，如果客户端读文件的每个block，最后做统计，就变成了一个单机版，用单机版处理动辄几十G的文件时，除了内存需求的问题，速度也会变得非常慢，由此看来，专门写客户端去做统计肯定不合适，应该是把程序分发到

2016-11-23 11:23:33 1893

原创 MapReduce程序测试

下面是在《Hadoop实战》中的一段代码，测试步骤如下1、在完成hadoop环境搭建的基础，将 export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH添加到/etc/profile末尾的，可使代码中的import语句完成导入，具体代码如下import java.io.IOException;import ja

2016-11-22 16:28:04 1740

转载 centos hadoop2.7 环境下配置运行环境

http://blog.csdn.net/segen_jaa/article/details/47817219本文以 Hadoop 2.6.0 环境下的 WordCount 实例来介绍 2.x 版本中如何编辑自己的 MapReduce 程序。Hadoop 2.x 版本中的依赖 jarHadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中，而是

2016-11-22 09:46:20 449

转载用openssl来加密文件

http://os.51cto.com/art/201611/521183.htm使用 OpenSSL 的常规方式是：# openssl command command-options arguments 在 Linux 中加密文件要加密当前工作目录的内容(根据文件的大小，这可能需要一点时间)：# tar -czf - * | openssl enc -e -a

2016-11-19 17:08:39 545

转载 hosts.all hosts.deny 举例

http://os.51cto.com/art/201611/521409.htm正确理解 hosts.allow 和 hosts.deny 文件当一个网络请求到达你的主机的时候，TCP 封装器会使用 hosts.allow 和 hosts.deny (按照这样的顺序)来决定客户端是否应该被允许使用一个提供的服务。.在默认情况下，这些文件内容是空的，或者被注释掉，或者根

2016-11-19 17:05:29 6394

转载 iconv linux编码转换

http://os.51cto.com/art/201611/521444.htm在 Linux 中，命令行工具 iconv 用来将使用一种编码的文本转化为另一种编码。你可以使用 file 命令，并添加 -i 或 --mime 参数来查看一个文件的字符编码，这个参数可以让程序像下面的例子一样输出字符串的 mime (Multipurpose Internet Mail Exte

2016-11-19 17:02:28 497

转载 linux 系统应该删除哪些文件

http://os.51cto.com/art/201611/521752.htm磁盘空间满由于Linux没有回收站功能，所以线上服务器上所有要删除的文件都会先移动到系统/tmp目录下，然后定期清除/tmp目录下的数据。这个策略本身没有问题，但是通过检查发现这台服务器的系统分区中并没有单独划分/tmp分区，这样/tmp下的数据其实占用了根分区的空间。既然找到了问题，那么删除/t

2016-11-19 16:50:37 2111

原创 linux下删除除了某个文件以外的所有目录及文件的方法

比如要删除除了test.tar.gz文件以外的所有目录及文件$shopt -s extglob$rm -fr !(test.tar.gz)$shopt -u extglob了解下什么是shopt在缺省情况下，有些是打开的，有些是关闭的，shopt各选项随着bash版本的更新会有增加，与shopt相关的基本操作如下：# shopt -p 列出所有选项# shopt -s

2016-11-18 15:18:47 2648

转载 namp使用举例

http://os.51cto.com/art/201611/521566.htm怎样在我的网络上找到活动主机在此示例中，这两台计算机都位于专用的 192.168.56.0/24 网络上。 Kali 机器的 IP 地址为 192.168.56.101，要扫描的 Metasploitable 机器的 IP 地址为 192.168.56.102。假如我们不知道 IP 地址信

2016-11-18 14:17:29 620

转载如何恢复Linux中的误删文件

http://os.51cto.com/art/201611/521650.htm当我们使用窗口管理器来删除文件时，我们仅仅只是将文件从某个目录移动到了另一个目录中(回收站)。在这种情况下，唯一得到更新的就是你文件系统索引节点(inode)的元数据信息，例如被删除文件的时间戳、文件所占存储区块和扩展属性等数据。你可以使用tune2fs(调整和查看ext2/ext3文件系统的文件系统参数)来

2016-11-18 11:20:54 2291

转载安装CentOS后,一般要做的几个事

http://os.51cto.com/art/201611/521585.htm1. 在服务器上配置静态IP地址我们要做的头一件事就是为CentOS服务器配置静态IP地址、路由和DNS。我们将使用ip命令，取代ifconfig命令。编辑/etc/sysconfig/network-scripts/目录下面的接口文件：# vi /etc/sysconfig/network-sc

2016-11-18 11:18:21 480

原创白话聊聊Hadoop的Namenode是怎么管理元数据的？

什么是元数据呢？百度百科的解释是这样的，描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。说了这么了多，简单地说，就是管理数据的数据。在hadoopk 中有两个角色，name

2016-11-16 09:19:29 4556 1

原创 hadoop 配置机架感知 rack awareness

Rack awareness 机架感知1、什么是机架感知，hadoop的策略是什么这是Hadoop的机架感知机制。机架感知(RackAwareness)通常，大型Hadoop集群会分布在很多机架上。在这种情况下， -- 希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 -- 为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。综合考

2016-11-10 14:31:38 2312