大数据-Hadoop
文章平均质量分 65
LuckyJiang.2021
把不可能当做过去,把可能写在今天。
展开
-
HBase API 基础操作
对于数据操作,HBase支持四类主要的数据操作,分别是: Put :增加一行,修改一行Delete :删除一行,删除指定列族,删除指定column的多个版本,删除指定column的制定版本等Get :获取指定行的所有信息,获取指定行和指定列族的所有colunm,获取指定column,获取指定column的几个版本, 获取指定column的指定版本等Scan :获取所有行,获取指定行键范原创 2017-01-02 15:07:16 · 515 阅读 · 0 评论 -
CentOS安装Sun JDK
CentOS中卸载系统自带的OpenJDK,安装Sun的JDKrpm -qa|grep jdk检测系统是否安装yum -y remove java 复制的jdk文件名rpm -ivh --prefix=/home/jhy/softwares /home/jhy/tools/jdk-8u65-linux-x64.rpm...原创 2019-01-20 22:48:29 · 426 阅读 · 0 评论 -
CentOS7安装Hadoop2.7.0总结
http://blog.csdn.net/circyo/article/details/46724335 CentOS7.0安装配置hadoop2.7.0资源下载:hadoop-2.7.0.tar.gz 密码:727y jdk-8u45-linux-x64.tar.gz 密码:d8bm CentOS-7.0-1406-x86_64-DVD.iso 密码:1a71 ...转载 2017-04-29 22:35:32 · 1072 阅读 · 0 评论 -
Hadoop集群50070WebUI访问不了;主机名可以访问,ip访问不了
最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问不了。困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。伪集群搭建采用的是CentOS 7.0,而CentOS7.0默认使用的是firewall作为防火墙,可以改为iptables。Firewall:systemctl start firew原创 2016-11-27 15:35:28 · 17231 阅读 · 4 评论 -
CentOS6 hadoop2.4完全分布式安装文档
问题导读:1.mapred-site.xml.template与mapred-site.xml的关系是什么?2.与 hadoop2.4.0 安装配置伪分布的区别是什么?3.对比 hadoop2完全分布式最新高可靠安装文档配置文件是否发生变化?包下载:hadoop2.4最新版本各种包下载更详细可参考:Hadoop 2.4 完全分布式环境安装与配置及配置信息转载 2016-12-25 22:23:30 · 418 阅读 · 0 评论 -
hadoop2.6.0版本集群环境搭建
问题导读1.安装hadoop需要做哪些准备?2.如何验证hadoop是否成功?3.如何运行wordcout?一、环境说明1、机器:一台物理机 和一台虚拟机2、linux版本:[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)转载 2016-12-25 22:21:50 · 390 阅读 · 0 评论 -
Centos配置集群为什么要关闭SELINUX
SELinux系统比起通常的Linux系统来,安全性能要高的多,它通过对于用户,进程权限的最小化,即使受到攻击,进程或者用户权限被夺去,也不会对整个系统造成重大影响。接下来我来介绍SELinux的一些特点。对访问的控制彻底化特点1:MAC(Mandatory Access Control)―――对访问的控制彻底化对于所有的文件,目录,端口这类的资源的访问,都可以是基于策略设定的转载 2016-12-25 22:15:55 · 2069 阅读 · 0 评论 -
hosts文件格式说明,为什么还有域名配置
问题导读1.hosts为何有域名?2.域名的作用是什么?3.域名是否可以不用配置?配置文件格式说明一般/etc/hosts 的内容一般有如下类似内容:127.0.0.1 localhost.localdomain localhost192.168.1.100 linmu100.com linmu100192.168.1.120 ftpserver ftp原创 2016-12-25 22:14:44 · 3972 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是哪个?6.Maste转载 2016-12-25 22:11:36 · 686 阅读 · 0 评论 -
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
问题导读:1.如何配置各个节点之间无密码互通?2.启动hadoop,看不到进程的原因是什么?3.配置hadoop的步骤是什么?4.有哪些配置文件需要修改?5.如果没有配置文件,该如何找到该配置文件?6.环境变量配置了,但是不生效的原因是什么?7.如何查看hadoop2监控页面首先说一下这个安装过程需要注意的地方一、使用新建用户可能会遇转载 2016-12-25 21:49:48 · 325 阅读 · 0 评论 -
从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别
问题导读1.hadoop1.x改造如果是两个jobtraker,你认为解决了什么问题?2.hadoop1.x改造如果是两个jobtraker,你认为未解决了什么问题?3.你如何看待hadoop2.x的yarn?hadoop1.x与hadoop2.x的区别,在初学者看来,起始存在很多模糊的地方。如果看这篇文章,当然需要对hadoop有个基本的认识。推荐参考:零基础转载 2016-12-25 21:41:14 · 536 阅读 · 0 评论 -
hadoop,hbase,hive,zookeeper版本整合兼容性详细说明【适用于任何版本】
前言第一个问题,hadoop与hbase哪些版本兼容。这里的每一个问题,当然我们需要引用官网的内容。之前写过hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 【http://www.aboutyun.com/home.php?mod=space&uid=61&do=blog&id=62】一篇文章,随着版本的更新,还是不能彻底解决转载 2016-12-25 21:09:25 · 4425 阅读 · 0 评论 -
Flink on Yarn启动问题
一、Fink on YARN启动后自动关闭使用./bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024命令启动,过几秒就关闭了经测试发现,是由于分配的内存太大导致的,把分配的内存调小,尝试改为800 即可正常启动。很可能你修改为800的内存后,进程还是会被kill掉。这个报错是虚拟内存(virtual memory)超出限制,被yarn ...原创 2019-05-28 21:09:01 · 998 阅读 · 0 评论