大数据
文章平均质量分 94
Hadoop学习实践结合国外Hadoop大数据研究人员的相关文章加以学习,力图能在实际应用中得以实践。
boonya
人生亦有命,安能行叹复坐愁?千淘万漉虽辛苦,吹尽狂沙始到金。纸上得来终觉浅,绝知此事要躬行。往者不可谏,来者犹可追。业精于勤,荒于嬉;行成于思,毁于随。三军可夺帅也,匹夫不可夺志也。
展开
-
Apache Hadoop3.2.2与Spark3.0.0环境安装
基础环境说明系统环境:centos8主机名:www.boonya.cnvi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 www.boonya.cn boonya.cn::1 localhost localhost.localdomain localhost6 localhost6.localdomain6JDK基础环境安装下载并解压.原创 2021-02-17 15:20:56 · 3340 阅读 · 0 评论 -
Hadoop默认提供的字数统计示例运行
开始之前先了解 hadoop fs 命令使用,然后再通过运行示例程序来观看Hadoop的简单运行效果。目录Hadoop fs命令基本目录操作创建输入目录创建输出目录删除目录操作上传作业文件执行MapReduce计算定位执行目录运行指令运行状态执行成功日志查看执行结果注意事项输出目录必须是不存在的目录执行过程中出错classpath未配...原创 2019-01-03 17:09:45 · 2173 阅读 · 2 评论 -
Hadoop集群多次格式化导致容量分配为0不能导入数据
目录遇到问题解决问题验证处理情况查看集群状态遇到问题使用hadoop fs -put 命令上传文件发现失败,报了以下错误:03/01/19 15:18:03 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): ...原创 2019-01-03 15:28:10 · 4216 阅读 · 0 评论 -
官网教程:什么是Apache Hadoop?
英文原文地址:http://hadoop.apache.org/Apache™Hadoop®项目为可靠的,可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于在应用层检测和处理故障,从而在一组计算机之上提供...翻译 2018-06-18 18:08:33 · 2483 阅读 · 0 评论 -
Linux Ubuntu server 15.04 amd-64编译Apache Hadoop 2.7.2源码
为解决Unable to load native-hadoop library for your platform 异常需要修改/etc/profile文件下的Hadoop配置:export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 注:主要问题是对应的lib下没有64位编译的包。原创 2017-02-20 11:51:39 · 1287 阅读 · 0 评论 -
Ubuntu Server安装Apache HBase
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大型数据的能力,还是使用HDFS作为文件存储系统更佳。另外,HBase存储的是原创 2017-02-16 17:13:07 · 761 阅读 · 0 评论 -
CentOs7 安装Hadoop-3.1.0集群环境
虚拟机准备 master 172.16.20.11slave1 172.16.20.12slave2 172.16.20.13安装JDKversion 1.8.0_121,注意需要配置环境变量。安装:参考https://blog.csdn.net/boonya/article/details/55506386 SSH免密登录1、修改hostname...原创 2018-06-17 16:25:57 · 4011 阅读 · 0 评论 -
Ubuntu Server安装Apache Hadoop
实践出真知“千里之行,始于足下。”学习任何东西都是这样。本文所需环境:Linx(Ubuntu server15.04),Hadoop(hadoop-2.7.2),OS(windows amd 64)原创 2017-02-15 13:51:53 · 2005 阅读 · 1 评论