[mongodb] - Mongodb中mongod启动参数说明

Mongodb启动命令mongod参数说明mongod的主要参数有:************************************* 基本配置*********************************************--quiet# 安静输出--port arg# 指定服...

2018-03-02 14:19:24

阅读数 132

评论数 0

[mongodb] - 详细图解window环境mongodb下载、安装、配置与使用

一、安装mongodb    到官网下载最新版面mongodb安装包,(32位版本的已经取消了,只有64位的)官网地址: https://www.mongodb.com/download-center#community下载完成后安装,点击“next”跳到下一步:选择自定义安装,会自动跳到下一步:...

2018-03-02 14:12:22

阅读数 117

评论数 0

[hadoop]常用压缩格式在Hadoop中的应用(spark)

目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。        1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hado...

2017-12-07 19:20:11

阅读数 830

评论数 0

[Kafka] - Kafka Java Producer代码实现

根据业务需要可以使用Kafka提供的Java Producer API进行产生数据,并将产生的数据发送到Kafka对应Topic的对应分区中,入口类为:Producer Kafka的Producer API主要提供下列三个方法:   public void send(KeyedMess...

2017-11-29 21:24:22

阅读数 1075

评论数 0

[Kafka] - Kafka Java Consumer实现(二)

Kafka提供了两种Consumer API,分别是:High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API) High Level Consumer API:高度抽象的Kafka消费者API;将底层具体获...

2017-11-29 21:23:05

阅读数 2415

评论数 0

[Kafka] - Kafka Java Consumer实现(一)

Kafka提供了两种Consumer API,分别是:High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API) High Level Consumer API:高度抽象的Kafka消费者API;将底层具体获...

2017-11-29 21:21:24

阅读数 226

评论数 0

[Kafka] - Kafka内核理解:消息的收集/消费机制

一、Kafka数据收集机制 Kafka集群中由producer负责数据的产生,并发送到对应的Topic;Producer通过push的方式将数据发送到对应Topic的分区 Producer发送到Topic的数据是有key/value键值对组成的,Kafka根据key的不同的值决定数据发...

2017-11-29 21:19:11

阅读数 209

评论数 0

[Kafka] - Kafka内核理解:分布式机制

一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上,以分区(partition)的的形式进行数据存储;每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个broker节点上的分区叫做l...

2017-11-29 21:18:22

阅读数 110

评论数 0

[Kafka] - Kafka内核理解:消息存储机制

一个Topic分为多个Partition来进行数据管理,一个Partition中的数据是有序、不可变的,使用偏移量(offset)唯一标识一条数据,是一个long类型的数据 Partition接收到producer发送过来数据后,会产生一个递增的offset偏移量数据,同时将数据保存到本地的...

2017-11-29 21:17:10

阅读数 163

评论数 0

[Kafka] - Kafka内核理解:Message

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候,会在magic和crc32之间多一个字节的数据:attribu...

2017-11-29 21:15:58

阅读数 191

评论数 0

[Kafka] - Kafka基本操作命令

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中,主要是kafka-topics.sh命令;Kafka命令参考页面: kafka-0.8.x-帮助文档    -1. 查看帮助信息 bin/kafka-topics.sh --help  ...

2017-11-29 21:15:01

阅读数 176

评论数 0

[Kafka] - Kafka 安装介绍

[Kafka] - Kafka 安装介绍 Kafka是由LinkedIn公司开发的,之后贡献给Apache基金会,成为Apache的一个顶级项目,开发语言为Scala。提供了各种不同语言的API,具体参考Kafka的cwiki页面; Kafka的安装方式主要分为三种:单...

2017-11-29 21:14:03

阅读数 130

评论数 0

[Kafka] - Kafka基本概念介绍

Kafka官方介绍:Kafka是一个分布式的流处理平台(0.10.x版本),在kafka0.8.x版本的时候,kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit lo...

2017-11-29 21:12:29

阅读数 250

评论数 0

[mongodb] - mongodb高可用集群搭建(分片+读写分离+负载均衡)

首先是配置方案:环境准备:#启动时需要使用非root用户,所有创建一个chiansun用户: useradd chiansun #为hadoop用户添加密码: echo 123456 | passwd --stdin chiansun #将chiansun添加到sudoers echo &...

2017-10-31 14:23:37

阅读数 3708

评论数 0

redis3.0配置文件详解

Redis.conf#redis.conf # Redis configuration file example. # ./redis-server /path/to/redis.conf ################################## INCLUDES #########...

2017-10-30 17:53:55

阅读数 174

评论数 0

nginx命令详解

sudo nginx #打开 nginx nginx -s reload|reopen|stop|quit #重新加载配置|重启|停止|退出 nginx nginx -t #测试配置是否有语法错误 nginx [-?hvVtq] [-s signal] [-c filename] [-p ...

2017-10-24 20:23:41

阅读数 160

评论数 0

[*Linux*] - linux 安装jdk1.8出现Error occurred during initialization of VM

因工作需要,这两天一直在cenos6.6,Linux下配置安装JDK并配置完环境变量后,报出很奇怪的问题: Error occurred during initialization of VMjava/lang/NoClassDefFounction...出现此问题先检查环境变量配置是否正确如果没...

2017-09-04 22:57:51

阅读数 800

评论数 0

[*Linux*] - LVS三种模式配置及优点缺点比较

LVS三种模式配置及优点缺点比较  LVS三种模式配置LVS三种(LVS-DR,LVS-NAT,LVS-TUN)模式的简要配置LVS是什么:http://www.linuxvirtualserver.org/VS-NAT.htmlhttp://www.linuxvirtualserver.org/...

2017-08-08 16:36:29

阅读数 548

评论数 0

[*Linux*] - 使用LVS实现负载均衡原理及安装配置详解

使用LVS实现负载均衡原理及安装配置详解    负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx(网络7层)、lvs(网络4层)、haproxy(网络7层和4层),商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LV...

2017-08-08 14:05:43

阅读数 270

评论数 0

JavaEE大型分布式电商项目 上海淘淘商城 29期

上海29期_张志君老师_淘淘商城_大型分布式电商项目 JavaEE大型分布式电商项目 淘淘商城 29期 需要的加qq:350226234,备注:程序员学习视频 ================================================================...

2017-08-03 11:58:21

阅读数 5237

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭