2018年03月_myjbase

03月 02月 01月

转载基于Mesos+Marathon+Zookeeper的Docker集群管理环境搭建笔记

前言本文为搭建高可用的基于Mesos+Marathon+Zookeeper管理Docker集群的环境，资源有限仅使用两台服务器进行环境搭建（多台同理）。系统环境：Ubuntu 14.04、JDK1.8所需工具：Mesos-1.1、Marathon-1.3.5、Docker-1.12.5、Zookeeper-3.4.9服务器分配（双主高可用集群）： IP 192.168.8.68：Java、Meso...

2018-03-27 15:59:29 683

转载 Apache Flink介绍

1、Apache Flink介绍既然有了Apache Spark，为什么还要使用Apache Flink？因为Flink是一个纯流式计算引擎，而类似于Spark这种微批的引擎，只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。1.1 历史Flink起源于一个叫做Stratosphere的研究项目，目标是建立下一代大数据分析引擎，其在2014年4月16日成为Apache的孵化项目，从St...

2018-03-19 15:17:22 4479

转载 Centos7上Mesos和Marathon的安装和配置

对Mesos和Marathon的安装官方文档有较详细的安装说明，但是英文的。我参照官方安装文档（https://open.mesosphere.com/getting-started/install/），在测试环境试装了一下，这里整理下安装配置的步骤。测试环境服务器IP说明192.168.0.101Master节点192.168.0.102Master节点192.168.0.103Master节点...

2018-03-19 10:48:55 1809

原创 RHEL7.0下安装Storm1.2.1集群

1.基本信息(软硬件环境)版本storm1.2.1安装机器三台机器（ big-data01 IP:192.168.200.121) ( big-data02 IP:192.168.200.122） ( big-data03 IP:192.168.200.123)账号hadoop源路径/opt/software...

2018-03-15 11:43:37 661

原创 RHEL7.0下MongoDB安装和配置详解

1.下载安装包下载方式：curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.9.tgz解压缩压缩包：tar zxvf mongodb-linux-x86_64-3.2.9.tgz 2. 安装准备创建数据库文件夹与日志文件、配置文件：mkdir -p /usr/local/server/mongodb/datatouc...

2018-03-14 15:16:37 569

转载 Spark(1.6.1) Sql 编程指南+实战案例分析

首先看看从官网学习后总结的一个思维导图概述(Overview)Spark SQL是Spark的一个模块，用于结构化数据处理。它提供了一个编程的抽象被称为DataFrames，也可以作为分布式SQL查询引擎。开始Spark SQLSpark SQL中所有功能的入口点是SQLContext类，或者它子类中的一个。为了创建一个基本的SQLContext，你所需要的是一个SparkContext。除了基本...

2018-03-12 18:09:02 234

转载 Linux中基于hadoop安装hive(RHEL7.0+hadoop2.8.3+hive2.3.2)

1下载hive2安装 2.1上载和解压缩 2.2配置环境变量 2.3对hive进行配置 2.3.1 hive-site.xml相关的配置 2.3.1.1新建hive-site.xml文件 2....

2018-03-12 14:21:51 1932

转载 mySQL 用户及权限管理

MySQL 默认有个root用户，但是这个用户权限太大，一般只在管理数据库时候才用。如果在项目中要连接 MySQL 数据库，则建议新建一个权限较小的用户来连接。在 MySQL 命令行模式下输入如下命令可以为 MySQL 创建一个新用户：1CREATE USER username IDENTIFIED BY 'password';新用户创建完成，但是此刻如果以此用户登陆的话，会报错，因为我们还没有为...

2018-03-12 13:39:58 355

原创 RHEL7.0下安装MySQL5.7 （以rpm包模式安装）

下载地址：https://dev.mysql.com/downloads/mysql/名称：mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar安装我已经把安装包放到/usr/local/software路径下面[root@localhost software]# lsmysql-5.7.19-1.el7.x86_64.rpm-bundle.tar12查看是否已经安装...

2018-03-12 13:38:19 2736

原创 RHEL7.0下彻底卸载mysql数据库

一、使用以下命令查看当前安装mysql情况，查找以前是否装有mysql?1rpm -qa|grep -i mysql可以看到如下图，显示之前安装了：mysql-community-libs-5.7.21-1.el7.x86_64mysql-community-devel-5.7.21-1.el7.x86_64mysql-community-server-5.7.21-1.el7.x86_64mys...

2018-03-12 10:34:51 1371

原创 Zookeeper+Dubbox 环境搭建日记

第一章：Dubbox简介 Dubbox是一个开源的RPC(Remote ProcedureCall Protocol)远程调用框架，是由dangdang对阿里的Dubbo的升级，可以被视为Dubbo的增强版，基本架构没有变动，升级spring2.x到spring3.x,支持restful风格的调用调试方式，丰富了序列化的方式，提高了序列化的性能。 Dubbox的Github官网：https://g...

2018-03-09 15:47:49 2816 2