![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop相关知识
英菲nidi50070
这个作者很懒,什么都没留下…
展开
-
带你快速了解Hadoop的序列化
一、为什么要序列化一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的” 对象,可以将“活的”对象发送到远程计算机。二、什么是序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持...原创 2018-11-29 13:21:45 · 152 阅读 · 1 评论 -
快速入门CDH(Cloudera Hadoop)集群的搭建
在此说明,本人用的是普通用户(如hadoop)一、创建三台虚拟机如何创建在本人博客里有详细介绍,这里就不详细介绍了。二、修改IP,以及主机名等1、修改IP:sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0 IPADDR:对应自己设置的IP,但是前三个数字要和虚拟网络编辑器中的NAT模式下的子网一样:ONBOOT:设置为yesB...原创 2018-11-27 21:28:55 · 1958 阅读 · 2 评论 -
Hadoop集群中需要更改的配置文件
一、core-site.xml<configuration><!-- 指定HDFS 中 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> <原创 2018-11-28 20:16:33 · 3910 阅读 · 0 评论 -
Hadoop集群高可用搭建的配置文件
一、core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property><!-- 指定 hadoop 运行时产生文件的存储目录 -原创 2018-11-28 20:42:47 · 507 阅读 · 1 评论 -
小白带你快速在Windows上安装Hadoop
注:在Windows下安装Hadoop之前先将jdk安装完成,可以参考本人博客,如何安装JDK!!!一、在Windows下将Hadoop压缩包解压如此"hadoop-2.7.2.zip"压缩包,将其使用解压工具进行解压。二、按照如此依次点击“控制面板”- - - - “系统和安全”- - - - “系统”- - - - “高级系统设置”- - - -“环境变量”三、打开如此界面四、进...原创 2018-12-15 15:50:16 · 158 阅读 · 0 评论 -
Yarn中的nodemanager报错:local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031
错误java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031; Caused by: java.io.EOFExceptio...原创 2019-01-15 15:42:49 · 4067 阅读 · 0 评论