关注
分享
wulantian
做一个优秀的dba是我一直所追求的梦想！！！
展开
-
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
[root@db96 hadoop]# hadoop dfs -put ./inDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.14/07/17 17:07:22 WARN util.NativeCodeLoader:原创 2014-07-25 11:48:08 · 36217 阅读 · 0 评论 -
为什么我们选择parquet
为什么我们选择parquet前用的hadoop，一直有个疑惑。当时没有细究，昨天突然想到，就又顺着看了下，经过调整，原来在presto中要用1分钟的，现在基本可以秒级别出结果，和presto无关，和文件存储格式有关，hdfs默认存的是文本格式，所以hive,presto，都是在文本格式上做计算，hadoop本身是全表扫，只是分布式而以，所以我们之前用的就是分布式的全表扫而以，没有发挥出数据仓库...原创 2018-09-27 16:59:42 · 13899 阅读 · 2 评论 -
hdfs常用的端口配置
常用的端口配置1、 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.add原创 2016-03-10 09:44:37 · 42735 阅读 · 3 评论 -
hadoop能用到的系统端口
hadoop能用到的系统端口 hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080，80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和转载 2015-06-03 09:42:37 · 38482 阅读 · 3 评论 -
Tomcat运行时报内存溢出
Tomcat运行时报内存溢出问题： 当tomcat中布署的项目过多时，在运行时会造成内存溢出，从而导致程序被卡死，无法运行。解决方案： 在tomcat/bin中找到catalina.bat文件，在里面找到echo Using CATALINA_BASE: "%CATALINA_BASE%"，在其上面添加一句:set JAVA_OPTS= -Xms1024M原创 2015-02-12 16:25:10 · 1263 阅读 · 0 评论 -
kerberos认证原理---讲的非常细致，易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式有问题转载 2015-01-05 09:35:14 · 234292 阅读 · 46 评论 -
CDH 的Kerberos认证配置
CDH 的Kerberos认证配置博客分类： Hadoop http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于：hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档：Configuring转载 2014-12-26 16:06:11 · 69012 阅读 · 0 评论 -
HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单转载 2014-12-26 16:02:33 · 43044 阅读 · 6 评论 -
Hadoop Kerberos安全机制介绍
Hadoop Kerberos安全机制介绍1. 背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成N转载 2014-12-23 11:41:30 · 1902 阅读 · 0 评论 -
Hadoop2的HA安装(high availability)：JournalNode+ zookeeper
前面介绍过使用NFS+zookeeper来解决namenode单点失败问题，因为NFS可能也会存在单点问题，所以hadoop提供了一种叫做JournalNode技术，这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术：JournalNode+ zookeeperHadoop 版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1转载 2015-01-09 09:11:19 · 1600 阅读 · 0 评论 -
hadoop的kerberos认证
言归正传，介绍过hadoop的simple认证和kerberos后，我们在这一章介绍hadoop的kerberos认证我们还使用hadoop集群的机器。OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块gang转载 2015-01-09 09:08:49 · 12869 阅读 · 0 评论 -
64位的linux装的hadoop是32位的，需要手工编译
//64位的linux装的hadoop是32位的---coco# by coco# 2014-07-0264位的linux装的hadoop是32位的，需要手工编译。遇到的问题描述：[root@db96 hadoop]# hadoop dfs -put ./inDEPRECATED: Use of this script to execute hdfs comma原创 2014-07-25 11:36:29 · 19074 阅读 · 2 评论 -
hadoop安装配置
//hadoop安装配置---coco# by coco#2014-07-25本资料主要介绍hadoop的安装配置过程。如有不懂的请联系：qq:120890945本次环境以3台虚拟机为主：192.168.8.96 db96192.168.8.98 db98192.168.8.99 db991. hive是建立在hadoop基础之上原创 2014-07-25 11:19:55 · 4315 阅读 · 0 评论 -
parquet学习总结
parquet学习总结存储，学习，共享。。。。。深入分析Parquet列式存储格式Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。列式存储列式存储和行式存储相比有哪些优势呢？1.可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。...转载 2018-09-27 17:01:00 · 763 阅读 · 0 评论