大数据-Hadoop
文章平均质量分 65
LuckyJiang.2021
把不可能当做过去,把可能写在今天。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HBase API 基础操作
对于数据操作,HBase支持四类主要的数据操作,分别是: Put :增加一行,修改一行Delete :删除一行,删除指定列族,删除指定column的多个版本,删除指定column的制定版本等Get :获取指定行的所有信息,获取指定行和指定列族的所有colunm,获取指定column,获取指定column的几个版本, 获取指定column的指定版本等Scan :获取所有行,获取指定行键范原创 2017-01-02 15:07:16 · 596 阅读 · 0 评论 -
CentOS安装Sun JDK
CentOS中卸载系统自带的OpenJDK,安装Sun的JDK rpm -qa|grep jdk检测系统是否安装 yum -y remove java 复制的jdk文件名 rpm -ivh --prefix=/home/jhy/softwares /home/jhy/tools/jdk-8u65-linux-x64.rpm ...原创 2019-01-20 22:48:29 · 482 阅读 · 0 评论 -
CentOS7安装Hadoop2.7.0总结
http://blog.csdn.net/circyo/article/details/46724335 CentOS7.0安装配置hadoop2.7.0 资源下载: hadoop-2.7.0.tar.gz 密码:727y jdk-8u45-linux-x64.tar.gz 密码:d8bm CentOS-7.0-1406-x86_64-DVD.iso 密码:1a71 ...转载 2017-04-29 22:35:32 · 1141 阅读 · 0 评论 -
Hadoop集群50070WebUI访问不了;主机名可以访问,ip访问不了
最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问不了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。 伪集群搭建采用的是CentOS 7.0,而CentOS7.0默认使用的是firewall作为防火墙,可以改为iptables。 Firewall: systemctl start firew原创 2016-11-27 15:35:28 · 17638 阅读 · 4 评论 -
CentOS6 hadoop2.4完全分布式安装文档
问题导读: 1.mapred-site.xml.template与mapred-site.xml的关系是什么? 2.与 hadoop2.4.0 安装配置伪分布的区别是什么? 3.对比 hadoop2完全分布式最新高可靠安装文档配置文件是否发生变化? 包下载:hadoop2.4最新版本各种包下载 更详细可参考:Hadoop 2.4 完全分布式环境安装与配置及配置信息转载 2016-12-25 22:23:30 · 473 阅读 · 0 评论 -
hadoop2.6.0版本集群环境搭建
问题导读 1.安装hadoop需要做哪些准备? 2.如何验证hadoop是否成功? 3.如何运行wordcout? 一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga)转载 2016-12-25 22:21:50 · 440 阅读 · 0 评论 -
Centos配置集群为什么要关闭SELINUX
SELinux系统比起通常的Linux系统来,安全性能要高的多,它通过对于用户,进程权限的最小化,即使受到攻击,进程或者用户权限被夺去,也不会对整个系统造成重大影响。 接下来我来介绍SELinux的一些特点。 对访问的控制彻底化 特点1:MAC(Mandatory Access Control)―――对访问的控制彻底化 对于所有的文件,目录,端口这类的资源的访问,都可以是基于策略设定的转载 2016-12-25 22:15:55 · 2176 阅读 · 0 评论 -
hosts文件格式说明,为什么还有域名配置
问题导读 1.hosts为何有域名? 2.域名的作用是什么? 3.域名是否可以不用配置? 配置文件格式说明 一般/etc/hosts 的内容一般有如下类似内容: 127.0.0.1 localhost.localdomain localhost 192.168.1.100 linmu100.com linmu100 192.168.1.120 ftpserver ftp原创 2016-12-25 22:14:44 · 4376 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读: 1.DataNode的http服务的端口、ipc服务的端口分别是哪个? 2.NameNode的http服务的端口、ipc服务的端口分别是哪个? 3.journalnode的http服务的端口、ipc服务的端口分别是哪个? 4.ResourceManager的http服务端口是哪个? 5.NodeManager的http服务端口是哪个? 6.Maste转载 2016-12-25 22:11:36 · 788 阅读 · 0 评论 -
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
问题导读: 1.如何配置各个节点之间无密码互通? 2.启动hadoop,看不到进程的原因是什么? 3.配置hadoop的步骤是什么? 4.有哪些配置文件需要修改? 5.如果没有配置文件,该如何找到该配置文件? 6.环境变量配置了,但是不生效的原因是什么? 7.如何查看hadoop2监控页面 首先说一下这个安装过程需要注意的地方 一、使用新建用户可能会遇转载 2016-12-25 21:49:48 · 375 阅读 · 0 评论 -
从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别
问题导读 1.hadoop1.x改造如果是两个jobtraker,你认为解决了什么问题? 2.hadoop1.x改造如果是两个jobtraker,你认为未解决了什么问题? 3.你如何看待hadoop2.x的yarn? hadoop1.x与hadoop2.x的区别,在初学者看来,起始存在很多模糊的地方。如果看这篇文章,当然需要对hadoop有个基本的认识。 推荐参考: 零基础转载 2016-12-25 21:41:14 · 600 阅读 · 0 评论 -
hadoop,hbase,hive,zookeeper版本整合兼容性详细说明【适用于任何版本】
前言第一个问题,hadoop与hbase哪些版本兼容。 这里的每一个问题,当然我们需要引用官网的内容。 之前写过hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 【http://www.aboutyun.com/home.php?mod=space&uid=61&do=blog&id=62】 一篇文章,随着版本的更新,还是不能彻底解决转载 2016-12-25 21:09:25 · 4857 阅读 · 0 评论 -
Flink on Yarn启动问题
一、Fink on YARN启动后自动关闭 使用./bin/yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024命令启动,过几秒就关闭了 经测试发现,是由于分配的内存太大导致的,把分配的内存调小,尝试改为800 即可正常启动。很可能你修改为800的内存后,进程还是会被kill掉。 这个报错是虚拟内存(virtual memory)超出限制,被yarn ...原创 2019-05-28 21:09:01 · 1146 阅读 · 0 评论
分享