- 博客(16)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop 分布式安装过程简述
1.实验分布结构： 节点 责任描述 主节点（1个，主机名hadoop） NameNode、JobTracker、SecondaryNameNode 从节点（2个，主机名hadoop1、hadoop2） DataNode、TaskTracker主机名的配置：[root@hadoop2 ~]# vi /etc/sysconfig/networkps：编辑此文件：HOSTNAME=
2015-07-15 00:40:39
1164
原创 hadoop 在搭建分布式时遇到DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
搭建分布式hadoop时遇到节点某些进程无法启动时的一些解决方案
2015-07-14 23:47:48
1102
原创 配置SSH时遇到 "Host key verification failed." 的解决方案
SSH遇到 Host key verification failed 时的解决方案，有两种方法
2015-07-12 23:47:58
5437
1
原创 Linux 系统扫描技术及安全防范 之 mtr
简介一般在windows 来判断网络连通性用ping 和tracert,ping的话可以来判断丢包率，tracert可以用来跟踪路由，在Linux中有一个更好的网络连通性判断工具，它可以结合ping nslookup tracert 来判断网络的相关特性,这个命令就是mtr使用举例[root@hadoop ~]# mtr -husage: mtr [-hvrctglspni46] [--help]
2015-07-11 22:36:23
619
原创 Linux 系统扫描技术及安全防范 之 traceroute
traceroute的工作原理traceroute， 也就是 trace route，跟踪路由。这个程序最早是Van Jacobson实现的。主要的原理是IP路由过程中对数据包TTL(Time to Live，存活时间)的处理。当路由器收到一个IP包时，会修改IP包的TTL（及由此造成的头部检验和checksum变化）。每收到一个包，检查这个 的TTL是否是0或1。如果是，表明这个包还没有到达目的地
2015-07-11 22:16:38
1400
原创 Linux 系统扫描技术及安全防范 之 fping
获取安装包到fping的官方网站（http://fping.org）获取fping的安装包[hadoop@hadoop Desktop]$ wget http://fping.org/dist/fping-3.10.tar.gz安装软件包1 .解压 [hadoop@hadoop Desktop]$ tar -xvf fping-3.10.tar.gz 2.安装[hadoop@hadoop
2015-07-11 20:05:18
537
原创 Hadoop 之 Shuffle
1.每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。2.写磁盘前，要partition,sort。如果有combiner，combine排序后数据。3.等最后记录
2015-07-08 23:24:21
423
原创 Hadoop自定义计数器的使用
定义：hadoop计数器:可以让开发人员以全局的视角来审查程序的运行情况以及各项指标，及时做出错误诊断并进行相应处理。内置计数器（MapReduce相关、文件系统相关和作业调度相关）例子：（内置计数器） Counters: 19 File Output Format Counters
2015-07-01 23:04:13
1079
原创 堆和栈
Java把内存划分成两种：一种是栈内存，一种是堆内存。 在函数中定义的一些基本类型的变量和对象的引用变量都在函数的栈内存中分配。 当在一段代码块定义一个变量时，Java就在栈中为这个变量分配内存空间，当超过变量的作用域后，Java会自动释放掉为该变量所分配的内存空间，该内存空间可以立即被另作他用。 堆内存用来存放由new创建的对象和数
2015-07-01 22:59:09
305
原创 HADOOP之MAPREDUCE
摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词：Hadoop MapReduce 分布式处理面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大
2015-07-01 22:55:27
294
原创 HADOOP之HDFS
摘要：HDFS是Hadoop的核心模块之一，围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词：Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一，HDFS是什么？它是Hadoop分布式文件系统（Hadoop Distributed File System），摘录Apache 组织关于HDFS的介绍“The Hadoop D
2015-07-01 22:52:20
716
原创 HADOOP之HDFS文件操作
摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词：HDFS文件 命令行 Java APIHDFS是一种分布式文件系统，为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linu
2015-07-01 22:48:32
465
MySQL 远程连接后建表问题
2015-08-15
Hadoop分布式搭建时，在主节点JPS找不到JobTracker进程
2015-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人