Waterkong的博客

1. 利用云服务器获得一个Linux环境。复制IP地址。2. 利用 putty.exe 填写复制的IP地址，在自己的 windos 中登陆云服务器。3. 用  root 用户登陆 Linux。4. 配置自己的 jdk 。5. 配置自己的 hadoop。6. 每天搞一点，配置所遇到的问题记录的新的文章中。

最近在交叉看几本书，对阅读做个记录。《精通hadoop》《hadoop实战》《hadoop技术详解》（一）标准的HDFS集群由3个守护进程组成。（1） NameNode（NN），一个集群一个， 储存文件系统的源数据，储存文件与数据块的映射，提供文件系统的全景图。（2）次NameNode，一个集群一个，处理NameNode内务日志检查点。（3）DataNode，（DN）一个集群多

1. 在终端使用  wget +"hadoop  下载地址"，下载安装包。hadoop-1.2.1.tar.gz              下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gzhadoop-3.0.0-alpha1.tar.gz 下载地址：http://

详细教程这儿有篇宝典，简单有效，相见恨晚：点击打开宝典 安装SSH，配置SSH的无密码登录。记得先更新一下APT：sudo apt-get update安装个Vim ：sudo apt-get install vim安装SSH服务：sudo apt-get install openssh-server安装后登陆一下本机： ssh localhost这时候是需要密码的，然后退出准备配置

个人博客https://kongdada.github.io/这个也是最近经手的一个项目中涉及到的一个可以将HDFS上的数据直接导入HBASE表中的命令行工具。这个属于HBASE所以与上一篇Hadoop中的工具分开来写。Hbase importTsv概述和使用步骤：ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命...

个人博客https://kongdada.github.io/昨天碰到一个pig任务执行过程中发生了内存溢出。写点文字记录一下解决过程，顺便整理一下自己的思路。一 错误信息2018-08-15 05:20:24,102 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLa...

个人博客https://kongdada.github.io/今天总结一下经手的一个项目中用到的Hadoop工具；距离上一篇文章不知不觉快4个月过去了，期间经历了毕业，入职这些事儿。一直想写个求职总结，错过了当初那份激情，现在已经有点淡忘那种真真切切的朝不保夕的感受。看后来有没有心情在更吧。我毕设也挺好玩，挺简单的一个东西，有时间也可以写写。这都是后话。Hadoop Streaming...