hadoop
文章平均质量分 81
从未停下脚步
这个作者很懒,什么都没留下…
展开
-
java.lang.UnsatisfiedLinkError: Cannot load libcrypto.so
[root@master engines]# ldd $(hadoop checknative)16/08/21 07:58:43 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...16/08/21 07:58:43 DEBUG util.NativeCodeLoader:原创 2017-03-31 14:08:13 · 2104 阅读 · 0 评论 -
hadoop大数据平台手动搭建(二)-hadoop
1.下载列表:winow和linux之间文件上传下载FileZilla jdk-7u79-linux-x64.tar.gz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.8.0.tar.gz hadoop-native-64-2.6.0.tar hbase-1.2.0-cdh5.8.0.tar.gz hive-1.1.0-c原创 2017-03-31 14:09:07 · 3225 阅读 · 1 评论 -
hadoop大数据平台手动搭建(三)-hive
hive的安装。hive只是作为hadoop客户端,我安装在master节点上。1. 安装元数据库。默认的数据库为Derby. 生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive. 下面用mysql来存储元数据。yum install mysqlyum install mysql-serveryum install mysql-devel 查看mys原创 2017-03-31 14:09:16 · 717 阅读 · 0 评论 -
hadoop大数据平台手动搭建(七)-hue
1.解压tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz2. 编译安装 make apss make install3.修改hue.ini# Hue configuration file# ===================================## For complete documentation原创 2017-03-31 14:09:50 · 3871 阅读 · 0 评论 -
hadoop常见错误
1. 解决:是缺少相关jar没配入classpath.这错报得有点不懂。或直接拷贝相关jar到bin下。 jar位置:F:\hadoop-2.6.0-cdh5.8.0\share\hadoop\mapreduce2 解决这耗费不少时间,坑。./hadoop jar /opt/hadoop-2.6.0-cdh5.8.0/share/hadoop/mapreduce2/hadoop原创 2017-04-06 15:23:49 · 718 阅读 · 0 评论 -
hadoop大数据平台手动搭建(八)HDFS High Availability Using the Quorum Journal Manager
前面我们已经搭建了hadoop基本平台。由于namenode节点唯一,出现故障,就会瘫痪,恢复时间长。如何做到高可用。修改两配置文件:1.core-site.xml hadoop.tmp.dir /opt/hadoop-2.6.0-cdh5.8.0/tmp fs.defaultFS hdfs://mycluster原创 2017-04-26 19:38:07 · 534 阅读 · 0 评论 -
hadoop大数据平台手动搭建(一)-ssh,ntp
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架,围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等,增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装,部署,监控。我手动安装主要是熟悉环境,解决错误。理解原理。1.下载VMware12.5...原创 2017-03-31 14:08:59 · 1300 阅读 · 2 评论