Hadoop学习史
爱吃奶油蛋糕和果冻
还喜欢吃鸭脖鸡爪和蘑菇,烤鸡烤鸭烤羊肉,牛排猪蹄和排骨,火锅烧烤小可乐,各种鸡蛋和卤味,棉花糖也不错,想起来再补充
展开
-
P31 hadoop中的序列化机制
原创 2019-11-18 21:30:12 · 77 阅读 · 0 评论 -
yarn的job提交流程
1.在WCRunner.java中以下代码处打断点,进入waitForCompletion2.waitForCompletion在Job.class中3.4.5.6.7.8.9.10.11.12.13.14.15.16.17....原创 2019-11-03 21:56:33 · 463 阅读 · 0 评论 -
yarn的通用性意义
yarn并不知道MR具体是怎么运行的,只负责启动MRAppMaster,这使yarn具有很好的通用性,扩大应用领域和生存周期,即使出了一个不同于MR的运算框架(如storm、spark),Hadoop也可以提供运算平台,有了hdfs和yarn,什么框架都畅通无阻运行海量批处理,mapreduce海量实时处理,spark海量流式处理,storm...原创 2019-11-03 10:57:52 · 289 阅读 · 0 评论 -
MR程序的几种提交运行模式
本地模式运行1/在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下(c:/wc/srcdata/) ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)(此处若想简写为wc/srcdata要将core-si...翻译 2019-11-02 23:25:17 · 480 阅读 · 0 评论 -
job提交的逻辑及YARN框架的技术机制
接下来再观察一遍这个过程运行wordcount程序即wc.jar为了便于观察再复制一个会话其中一个会话运行程序,另一个会话查看进程运行hadoop jar wc.jar cn.itcast.centosdvd.mr.wordcount.WCRunner的同时用jps查看进程1.起始进程2.3.3.4.5.6.7....原创 2019-10-28 17:15:16 · 105 阅读 · 0 评论 -
HDFS架构以及namenode和secondarynamenode的工作机制以及查看DataNode分块情况等(早期笔记)
原创 2019-10-27 15:29:04 · 260 阅读 · 0 评论 -
给centos设置静态IP(命令行方法)(早期笔记)
原创 2019-10-27 15:25:26 · 320 阅读 · 0 评论 -
SSH 设置免密登录(每次启动start-dfs.sh等都是远程登录,都需要输入密码,这就是在解决这个问题)(早期笔记)
原创 2019-10-27 15:23:59 · 1740 阅读 · 0 评论 -
centos伪分布式集群搭建(早期笔记)
本文只是记录一下之前的笔记。一、让普通用户具备sudo执行权限二、市Linux服务器在启动时不用默认启动图形界面三、改IP要重启network服务四、修改centos主机的名字为weekend110(默认是localhost)五、在centos中安装jdk六、配置jdk七、centos中安装Hadoop并配置环境八、关闭centos防火墙九、将Hadoop加入环...原创 2019-10-27 15:16:15 · 114 阅读 · 0 评论 -
Linux删除文件
1、删除文件命令rm -f 文件名将会强行删除文件,且无提示2、删除文件夹以及文件夹中的所有文件命令:rm -rf 目录名字其中:-r:向下递归删除-f:直接强行删除,且没有任何提示注意:使用rm -rf要格外注意,linux中没有回收站,慎重操作。...原创 2019-10-27 14:31:49 · 151 阅读 · 0 评论 -
MapReduce之wordcount(基本思想与简单编写提交集群执行)
MapReduce 是一种分布式编程模型,用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现,而不需要花费大量精力在因分布式上运行而带来的问题。MapReduce 采用分治法的思想,把一个大的任务切分为很多小的任同时执行(Map 阶段),汇总所有的执行结果(Reduce 阶段)。用户以 kv 对的形式把数据提交给 map,map 处理完后以 kv 对的形式提交给 ...原创 2019-10-27 14:30:40 · 484 阅读 · 0 评论 -
跟踪分析数据源码2
文章链接1:下载hdfs中的文件(原始写法)文章链接2:跟踪分析数据源码11.在以下代码处加断点FSDataInputStream in = fs.open(src);2.(1)此时进入open到FileSystem.class中 的open(即父类open),此函数中并没有做什么实质性的工作。此时再进入open是一个抽象函数(2)所以进入其实现方法Open ...原创 2019-10-26 17:42:42 · 186 阅读 · 0 评论 -
跟踪分析数据源码
基于Hadoop3.2.1--------------------------------------------------------------------------------------------------利用之前的文章下载hdfs文件底层原始写法代码中,跟踪分析数据源码文章链接:下载hdfs中的文件(原始写法)1.首先在FileSystem fs=FileSystem...原创 2019-10-20 00:12:34 · 291 阅读 · 0 评论 -
eclipse debug 无法调试
经常出现debug模式进入后,debug的几个按钮置灰,F5,6,8,没有任何反应时,这样操作:退出 Eclipse.打开 Eclipse 目录下的 configuration 下的 org.eclipse.osgi, 清空这个目录。启动 eclipse....转载 2019-10-19 17:14:54 · 243 阅读 · 0 评论 -
下载hdfs中的文件(原始写法)
package cn.itcast.centosdvd.hdfs;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.h...原创 2019-10-19 13:45:03 · 314 阅读 · 0 评论 -
RPC小demo
服务端:LoginServiceInterface.javapackage cn.itcast.centosdvd.rpc;public interface LoginServiceInterface { public static final long versionID=1L; public String login(String username,String passw...原创 2019-10-18 22:53:46 · 80 阅读 · 0 评论 -
JAVA客户端编写
Windows下不配环境运行可能会报错,Linux下肯定能运行。package cn.itcast.centosdvd.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java...原创 2019-10-18 22:45:52 · 1245 阅读 · 0 评论 -
junit常用注解详细说明
Java注解((Annotation)的使用方法是@注解名 ,能通过简单的词语来实现一些功能。在junit中常用的注解有@Test、@Ignore、@BeforeClass、@AfterClass、@Before、@After、@Runwith、@Parameters以下是相关的介绍和使用说明:一.@Test在junit3中,是通过对测试类和测试方法的命名来确定是否是...原创 2019-10-17 21:44:09 · 353 阅读 · 0 评论 -
vi搜索字符串
1.命令模式下,输入:/然后输入字符串如搜索user, 输入/user按下回车之后,可以看到vim已经把光标移动到该字符处和高亮了匹配的字符串2.查看下一个匹配,按下n(小写n)3.跳转到上一个匹配,按下N(大写N)4.搜索后,我们打开别的文件,发现也被高亮了,怎么关闭高亮? 命令模式下,输入:nohlsearch 也可以:setnohlsearch...原创 2019-10-10 23:19:00 · 112 阅读 · 0 评论 -
Xftp出错
Xftp安装出错:找不到msi,可能由于之前版本没有卸载干净,找到目录中名字类似于{2D76AF66-6E44-4AD8-91B4-CBD509588E99}的文件夹,删除之原创 2019-10-10 20:35:16 · 741 阅读 · 0 评论