2017年12月_GISer.Wang

12月 08月 06月 05月 04月 03月 02月 01月

原创（1）SpringCloud 整合Python

引言什么是sidecar1 Polyglot支持Sidecar官网描述11 使用Sidecar步骤12 Java调用非JVM程序接口13 非JVM接口调用Java接口2 Sidecar总结Python和SpringCloud整合实例1 定义Python服务2 定义SpringCloud注册中心3 定义sidecar4 定义Java服务5 服务相互调用51 调用Java原生服

2017-12-18 11:32:56 13609 11

原创（14）Spark 2.0.0 集群部署

引言搭建Hadoop集群安装scala环境安装spark集群1 解压spark安装包并改名2 修改配置文件spark-envsh3 修改配置文件spark-defaultsconf4 修改slaves配置文件5 将spark分发到其他节点并修改配置6 启动Spark集群7 查看Spark集群是否启动成功1.引言在前面的博客中介绍了Spark的伪分布安装，在本篇博客中将

2017-12-15 23:59:18 1643

原创（13）HBase 1.2.6 集群部署

引言搭建Hadoop集群搭建HBase集群1 解压HBase并改名2 修改配置1.引言在前面的博客中我们介绍HBase的伪分布安装，在本篇博客中就主要介绍一下HBase的集群部署，由于HBase是一款Hadoop之上的NoSQL数据库，因此我们在安装HBase之前需要首先部署Hadoop的集群，其次HBase需要使用zookeeper进行管理，因此我们也需要搭建zookeeper

2017-12-15 22:32:24 1468

原创（12）Hadoop 2.6.1 集群部署---自动切换HA

引言配置集群的hostname和IP映射1 修改hostname2 配置hostname和ip的映射关系以及防火墙3 关闭防火墙配置集群免密码登录安装JDK搭建zookeeper集群hadoop261的集群部署7 验证hadoop是否安装成功1. 引言在上篇博客中介绍了Haddop的手动切换NameNode，这在生产环境中还是不尽人意，因为工作人员可能并不会及时的知道N

2017-12-15 21:38:58 1607

原创（11）Hadoop 2.6.1 集群部署---手工切换HA

引言搭建Hadoop261 集群1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 hadoop261的集群部署7 验证hadoop是否安装成功1. 引言在生产环境中NameNode的高可用是非常重要的，一旦NameNode宕机，那么整合集群就不能用了，在本篇博客中就主要介绍一下Hadoop2.6.1的HA部

2017-12-15 20:37:22 1477

原创（10）Zookeeper 3.4.9 集群部署

引言Zookeeper 集群部署1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 zookeeper集群安装1.引言在前面的博客中介绍了Zookeeper的伪分布部署，在本篇博客中主要介绍一下Zookeeper的集群部署，在本篇博客中使用三台机器部署Zookeeper集群，如下表所示： HOST名称

2017-12-14 23:51:00 1403

原创（9）Hadoop 2.6.1 集群部署——未配置HA

引言搭建Hadoop261 集群1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 hadoop261的集群部署7 验证hadoop是否安装成功1. 引言在前面的博客中，我曾经介绍了Hadoop的伪分布配置，但是在实际工作中最常见的是集群部署，在本篇博客中就主要介绍一下Hadoop2.6.1的集群部署（未配置

2017-12-14 22:31:22 1361

原创（8）Spark 2.0.0 查看job 历史日志

引言启动Spark历史日志1 安装Spark2 修改配置文件spark-defaultsconf3 修改配置文件spark-envsh4 创建日志目录5 启动spark历史日志web端6 浏览器查看是否启动成功1.引言在使用Spark的时候，有时候我们会关注job的历史日志，但是在Spark中默认情况下，历史日志是关闭的，在本篇博客中主要介绍一下如何启动spark的历史日志

2017-12-13 16:43:57 4735

原创（7）Zookeeper 3.4.9 伪分布安装

引言安装JDK环境zookeeper的伪分布安装1 解压缩zookeeper并改名2 创建zoo1cfg配置文件并修改内容confzoo_samplecfg3 创建zoo2cfg配置文件并修改内容confzoo_samplecfg4 创建zoo3cfg配置文件并修改内容confzoo_samplecfg5 执行命令产生存储数据的目录6 产生标记文件7 启动三个节点8 查看进程是

2017-12-13 13:56:09 1304

原创（6）Spark 2.0.0 伪分布安装

引言Hadoop伪分布安装Scala安装Spark伪分布安装1.引言 Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有MapReduce所具有的优点；但不同于MapReduce的是——中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。在本篇博客中主要介绍一下S

2017-12-13 00:20:12 2441

原创（5）HBase 1.2.6伪分布安装

引言Hadoop安装HBase安装1 使用HBase自带的zookeeper2 将HBase解压到usrlocal文件夹并改名3 修改配置文件confhbase-envsh4 修改配置文件confhbase-sitexml验证是否安装成功1.引言 HBase是一个分布式的、面向列的开源数据库，HBase是建立Hadoop领域的数据库。HBase不同于一般的关系数据库，它是

2017-12-11 00:34:39 1992

原创（4）Zookeeper 3.4.9安装部署---Standalone模式

什么是Zookeeper安装JDK环境安装Zookeeper1. 什么是Zookeeper？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。在本篇博客中主要介绍一下如何

2017-12-07 22:40:27 1455