大数据
文章平均质量分 86
KongX_B
个人主页www.kongxiangbo.com
展开
-
大数据分布式集群搭建(1)
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案。 闲话不多说,进入正题。一、环境及准备 因为只有一台电脑,所以需要用虚拟机来模拟环境。 本地机器用到软件:VMWare、SecureCRT Linux上用到软件:CentOS6.7,jdk,mysql,tomcat,redis,zookeeper,hadoop,hbase原创 2017-07-21 11:20:00 · 4005 阅读 · 0 评论 -
大数据分布式集群搭建(9)
Sqoop相比于其他的工具搭建起来很容易 需要用到下面的东西 sqoop-1.4.6.tar.gz sqoop-1.4.6.jar mysql-connector-java-5.1.21.jar首先把压缩包上传到服务器并解压到/apps/下面 之后配置环境变量 source /etc/profile 把 sqoop-1.4.6.jar mysql-connector-java-5原创 2017-07-27 15:56:33 · 751 阅读 · 0 评论 -
大数据分布式集群搭建(5)
下面我们来操作大数据中的重头戏Hadoop 1. HADOOP背景介绍 1.1 什么是HADOOP 1.HADOOP是apache旗下的一套开源软件平台 2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.HADOOP的核心组件有 A.HDFS(分布式文件系统) B.YARN(运算资源调度系统) C.MAPREDUCE(分布式运算编程框原创 2017-07-21 18:29:39 · 623 阅读 · 0 评论 -
大数据分布式集群搭建(7)
HBASE —-先部署一个zookeeper集群 (1)上传hbase安装包 (2)解压 (3)配置hbase集群,要修改3个文件 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 修改hbase-env.shexport JAVA_HOME=/apps/jdk1.8.0_60 //告诉hbase使用外部的zk原创 2017-07-24 23:22:00 · 401 阅读 · 0 评论 -
大数据分布式集群搭建(8)
安装hive Hive只在一个节点上安装即可,这里在主节点hdp01上面安装 首先上传安装包apache-hive-1.2.1-bin.tar.gz 解压到/apps/下面 如图所示 下一步安装Mysql数据库,参考(2)中的方法 配置hive 配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home 配置元数原创 2017-07-25 13:10:50 · 304 阅读 · 0 评论 -
搭建Hadoop的Eclipse开发环境
引语:为了搭建eclipse的hadoop开发环境我尝试了网上的不止一种方法,可是我遇到的情况和网上的问题都不太一样,于是我自己总结了一下安装方法以及用到的软件,因为我的版本是2.6.4所以软件也都统一一致,下面就开始部署环境并运行一个实例。首先要用到的软件如下: hadoop-2.6.4.tar.gz hadoop-2.6.4-src.tar.gz hadoop2.6-common-bin(原创 2017-07-24 22:02:50 · 309 阅读 · 0 评论 -
大数据分布式集群搭建(6)
尝试运行mapreduce例子 先进到mapreduce文件夹中 (上次忘记了配hadoop环境变量,现在补上) 从本地上传一个文本文件到hdfs的/wordcount/input目录下 创建input文件夹: hadoop fs -mkdir -p /wordcount/input 删除的话是用: hadoop fs -rmr /wordcount 查看目录: ha原创 2017-07-21 21:59:44 · 392 阅读 · 0 评论 -
大数据分布式集群搭建(4)
下面我们准备安装zookeeper 一、Zookeeper介绍(动物园管理) Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) 3、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态原创 2017-07-21 16:34:00 · 449 阅读 · 0 评论 -
大数据分布式集群搭建(3)
下面开始安装redis 首先介绍一下nosql NoSQL:一类新出现的数据库(not only sql),它的特点: 1、不支持SQL语法 2、存储结构跟传统关系型数据库中的那种关系表完全不同,nosql中存储的数据都是KV形式 3、NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的api和语法,以及擅长的业务场景 4、NoSQL中的产品种类相当多: a)Mongo原创 2017-07-21 14:35:55 · 501 阅读 · 0 评论 -
大数据分布式集群搭建(2)
之前已经配置好了初始化的内容,接下来开始安装三神器(jdk,tomcat,mysql) 一、JDK安装 首先通过sftp传文件到linux上面,Alt+P键调出sftp 拖拽文件进去即可,注意不要有中文路径否则会传输失败 传输完成默认会在root目录下面 我们在根目录下面创建一个apps文件夹 mkdir /apps原创 2017-07-21 13:20:10 · 495 阅读 · 0 评论 -
搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root 用户来执行的。若要在自己的云主机上进行本教程的实验,为了系统安全,建议新建一个账户登录后再进行后续操作。安装SSH 安装SSH:sudo yum install openssh-clients转载 2017-11-23 16:37:36 · 646 阅读 · 0 评论