972579-CSDN博客

原创 Spring+MongoDB配置简单Demo

由于也是刚接触MongoDB,自己倒腾了一下MongoDB的安装配置,以及基本语法结构后,就着手搭建了这个Demo。源码在这里https://github.com/972579/Spring_MongoDBpom.xml <properties> <maven.compiler.source>1.8</maven.compiler.sourc...

2018-12-26 14:39:32 418

原创 Kafka安装配置

Kafka核心组件Topic ：消息根据Topic进行归类 Producer：发送消息者 Consumer：消息接受者 broker：每个kafka实例(server) Zookeeper：依赖集群保存meta信息。安装安装在三个节点，分别为 mini1、mini2、mini31.下载并解压tar -zxvf kafka_2.11-0.10.2.1.tar.gz -

2017-12-04 17:34:45 165

原创 Sqoop安装

概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行

2017-12-04 16:39:34 170

原创 Flume安装及使用

FLume安装1.Flume结构图1.简单结构2.复杂结构 2.Flume运行机制1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成2、每一个agent相当于一个数据传递员，内部有三个组件：a) Source：采集源，用于跟数据源对接，以获取数据b) Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或

2017-12-04 15:45:49 185

原创 Hive集群安装

为什么使用Hive1.直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.操作接口采用类SQL语法，提供快速开发的能力。避免了去写MapReduce，减少开发人员的学习成本。扩展功能很方便。Hive安装1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /usr/local

2017-12-04 15:20:06 167

原创 Linux 安装Mysql及权限管理

一、安装MySQL1.下载mySQL RPM包下载地址2.将MySQL的RPM安装包放在/tmp目录下3.执行MySQL服务端的RPM安装，在终端输入rpm -ivh ./mysql57-community-release-el7-11.noarch.rpm以上命令会在/etc/yum.repos.d下生成文件4. 安装mySQLyum install mysql-community-serv

2017-12-04 15:02:08 257

原创 Hadoop集群HA高可用搭建

使用7台虚拟机搭建hadoop与yarn的HA 主机名安装软件运行的进程 hadoop1 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop2 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop3 jdk、

2017-12-04 12:50:10 233

原创 Linux集群配置免密登录

在4台Linux（Centos）服务器中配置免密登录–>以主机名为hadoop1、hadoop2、hadoop3、hadoop4，用户均为hadoop，密码为hadoop1234为例（免密登录只针对以某个用户的身份登录某个节点，建议配置免密登录时在所有节点上创建相同用户名的用户及相同密码）1. 在所有节点中安装expectyum install expect 2.编写可

2017-12-04 12:25:41 507

原创 Linux上的伪分布式hadoop安装

1.在Linux上安装hadoop1)配置安装并配置JDK JDK下载路径根据Linux系统的版本选择64位或32位下载，官方现提供rpm和tar.gz两种版本下载。上传至linux 服务器并解压 tar -zxvf jdk-8u144-linux-x64.tar.gz 将解压好的JDK文件夹移动至 /usr/local/ 目录下mv jdk1.8.0

2017-08-17 20:08:47 362

原创 Linux命令学习过程笔记

cd：切换目录（用法：cd / 切换到根目录）mkdir：创建文件夹目录（用法：mkdir /data 在根目录下创建一个data的文件夹） -p 创建目录，若无父目录，则创建（parent）touch：创建空文件（用法：touch a.txt 在当前路径下创建一个a.txt的空文件）pwd：显示当前所在路径ls：显示文件或目录 -l 列出文件详细信

2017-08-01 20:30:39 290

qq_33184697的博客