hadoop
文章平均质量分 66
wulantian
做一个优秀的dba是我一直所追求的梦想!!!
展开
-
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
[root@db96 hadoop]# hadoop dfs -put ./inDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.14/07/17 17:07:22 WARN util.NativeCodeLoader:原创 2014-07-25 11:48:08 · 36241 阅读 · 0 评论 -
为什么我们选择parquet
为什么我们选择parquet前用的hadoop,一直有个疑惑。当时没有细究,昨天突然想到,就又顺着看了下,经过调整,原来在presto中要用1分钟的,现在基本可以秒级别出结果,和presto无关,和文件存储格式有关,hdfs默认存的是文本格式,所以hive,presto,都是在文本格式上做计算,hadoop本身是全表扫,只是分布式而以,所以我们之前用的就是分布式的全表扫而以,没有发挥出数据仓库...原创 2018-09-27 16:59:42 · 14010 阅读 · 2 评论 -
hdfs常用的端口配置
常用的端口配置1、 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.add原创 2016-03-10 09:44:37 · 42933 阅读 · 3 评论 -
hadoop能用到的系统端口
hadoop能用到的系统端口 hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080,80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和转载 2015-06-03 09:42:37 · 38565 阅读 · 3 评论 -
Tomcat运行时报内存溢出
Tomcat运行时报内存溢出问题: 当tomcat中布署的项目过多时,在运行时会造成内存溢出,从而导致程序被卡死,无法运行。解决方案: 在tomcat/bin中找到catalina.bat文件,在里面找到echo Using CATALINA_BASE: "%CATALINA_BASE%",在其上面添加一句:set JAVA_OPTS= -Xms1024M原创 2015-02-12 16:25:10 · 1271 阅读 · 0 评论 -
kerberos认证原理---讲的非常细致,易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题转载 2015-01-05 09:35:14 · 235818 阅读 · 46 评论 -
CDH 的Kerberos认证配置
CDH 的Kerberos认证配置博客分类: Hadoop http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于:hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档:Configuring转载 2014-12-26 16:06:11 · 69183 阅读 · 0 评论 -
HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意:下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单转载 2014-12-26 16:02:33 · 43432 阅读 · 6 评论 -
Hadoop Kerberos安全机制介绍
Hadoop Kerberos安全机制介绍1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上,恶意的提交作业,修改JobTracker状态,篡改HDFS上的数据,伪装成N转载 2014-12-23 11:41:30 · 1917 阅读 · 0 评论 -
Hadoop2的HA安装(high availability):JournalNode+ zookeeper
前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术:JournalNode+ zookeeperHadoop 版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1转载 2015-01-09 09:11:19 · 1612 阅读 · 0 评论 -
hadoop的kerberos认证
言归正传,介绍过hadoop的simple认证和kerberos后,我们在这一章介绍hadoop的kerberos认证我们还使用hadoop集群的机器。OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块gang转载 2015-01-09 09:08:49 · 12902 阅读 · 0 评论 -
64位的linux装的hadoop是32位的,需要手工编译
//64位的linux装的hadoop是32位的---coco# by coco# 2014-07-0264位的linux装的hadoop是32位的,需要手工编译。遇到的问题描述:[root@db96 hadoop]# hadoop dfs -put ./inDEPRECATED: Use of this script to execute hdfs comma原创 2014-07-25 11:36:29 · 19095 阅读 · 2 评论 -
hadoop安装配置
//hadoop安装配置---coco# by coco#2014-07-25本资料主要介绍hadoop的安装配置过程。如有不懂的请联系:qq:120890945本次环境以3台虚拟机为主:192.168.8.96 db96192.168.8.98 db98192.168.8.99 db991. hive是建立在hadoop基础之上原创 2014-07-25 11:19:55 · 4347 阅读 · 0 评论 -
parquet学习总结
parquet学习总结存储,学习,共享。。。。。深入分析Parquet列式存储格式Parquet是面向分析型业务的列式存储格式,由Twitter和Cloudera合作开发,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,最新的版本是1.8.0。列式存储列式存储和行式存储相比有哪些优势呢?1.可以跳过不符合条件的数据,只读取需要的数据,降低IO数据量。...转载 2018-09-27 17:01:00 · 796 阅读 · 0 评论