- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive的三种模式及配置
hive依赖于hadoop集群和mysql数据库，hadoop集群安装不在详述，mysql见3(3)1、配置分布 NameNode DataNode Zookeeper DFSZKFC JournalNode hive(单用户) hive(多用户) mysql node01 1 1 ...
2018-06-24 20:02:39
4241
原创 spark2.2.0集群配置
（1）Local多用于本地测试，如在eclipse，idea中写程序测试等。（2）StandaloneStandalone是Spark自带的一个资源调度框架，它支持完全分布式。（3）YarnHadoop生态圈里面的一个资源调度框架，Spark是可以基于Yarn来计算的，最流行。（4） Mesos一种资源调度框架，支持docker，前景最好
2018-06-23 01:01:50
467
1
原创 eclipse安装scala环境
1、安装eclipse插件，依次点击Help->Eclipse Marketplace2、输入scala，点击go,进行搜索3，出现了Scala IDE4.7X,点击右下方的Install进行安装4、接下来选中所有，点击confirm确定，选择接受协议，点击Finish等待完成安装，重启eclipse即可5、导入scala项目后可能报错，会不识别，右键config...
2018-06-19 10:24:44
17846
1
原创 flume组合模式之高可用配置
一、flume简介1、概念简述Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 S...
2018-06-18 13:58:16
8670
10
原创 kafka简述与集群配置
一、kafka简述1、简介kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。2、集群介绍（1）Kafka架构是由producer（消息生产者）、consumer（消息消费者）、borker(kafka集群的server，负责处理消息读、...
2018-06-16 12:57:18
32976
原创 idea下打可执行jar包
本文仅供初始idea的初级java开发人员参考Idea下打可执行jar包1、选择File下Project Structure2、选中Artifacts，点击"+"加号，再点击JAR下的Empty或者From moudules with dependencies这里需要说明的是，选择Empty或者From moudules with dependencies都是可以的，不同...
2018-06-16 01:45:41
7887
原创 基于redis的spring-session共享
分布式、多节点部署是当保证项目稳定运行的一个选择，那么问题来了，集群部署时一般会用到负载均衡，这就涉及到了session共享问题。用户的每次请求可能访问的服务器都不一样，服务器间共享session，用户只需登录一次即可，对用户来说好像就是一台服务器。解决方案有不少，springSession结合redis是一种最佳的选择之一。这种方案不依赖与web服务器的版本，任何版本的web服务器均可支...
2018-06-02 18:22:31
296
程序员面试秘籍.docx
2020-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人