关闭

[置顶] 微服务架构

看到最近“微服务架构”这个概念这么火,作为一个积极上进的程序猿,成小胖忍不住想要学习学习。而架构师老王(不是隔壁老王)最近刚好在做公司基础服务的微服务化研究和落地,对此深有研究。 于是成小胖马上屁颠屁颠的跑过去向老王请教:“王哥,我看微服务架构这么火,我也想学,您给我讲讲啥是微服务架构呗?” 老王笑了笑说:“要想知道什么是微服务架构,你得先知道什么系统架构设计。” 成小胖的理想是...
阅读(167) 评论(0)

[置顶] 高可用架构之高可用的应用和服务

高可用的网站架构需要网站应用每个层面的支持,本文着重介绍应用层和服务层的高可用的解决方案。 1、高可用的应用 应用层主要处理网站应用的业务逻辑,因此有时也被称作业务逻辑层,应用的一个显著特点是应用的无状态性。 所谓无状态的应用是指应用服务器不保存业务的上下文信息,而仅根据每次请求提交的数据进行相应的业务逻辑处理,多个服务实例(服务器)之间完全对等,请求提交到任意服务器,处理结果都是完全一...
阅读(329) 评论(0)

[置顶] 浅谈web应用的负载均衡、集群、高可用(HA)解决方案

浅谈web应用的负载均衡、集群、高可用(HA)解决方案 博客分类:  架构 集群负载均衡           声明:以下仅为个人的一些总结和随写,如有不对之处,还请看到的网友指出,以免误导。 (详细的配置方案请google,这里只说解决方案。)   1、熟悉几个组件 1.1、apache      —— 它是Apache软件基金会的一个开放...
阅读(892) 评论(1)

[置顶] 数据库连接池c++ (msyql) mysql connector c++ 的使用

Mysql Connector/C++ 使用介绍 一、下载mysql connector c++ 和 boost库 wget   https://dev.mysql.com/get/Downloads/Connector-C++/mysql-connector-c++-1.1.8-linux-glibc2.5-x86-64bit.tar.gz 下载:根据自己的系统下载mysql con...
阅读(1305) 评论(2)

[置顶] librdkafka的使用和介绍

librdkafka的使用介绍 librdkafka是kafka的c语言接口   下面简单的介绍一下其接口     1、rd_kafka_conf_set设置全局配置     2、rd_kafka_topic_conf_set设置topic配置     3、rd_kafka_brokers_add设置broker地址,启动向broker发送消息的线程     4、rd_kafka_n...
阅读(6752) 评论(0)

[置顶] activeMq-CPP的使用

activeMq-CPP应用程序demo author: 陈训 一、avtiveMq服务端的安装 1、从官网获取软件包: 网址:http://activemq.apache.org/activemq-590-release.html 2、解压运行activeMq wget   http://archive.apache.org/dist/activemq/apache-active...
阅读(2200) 评论(0)

[置顶] STL之priority_queue的用法,优先队列

priority_queue的用法 priority_queue调用 STL里面的 make_heap(), pop_heap(), push_heap() 算法实现,也算是堆的另外一种形式。先写一个用 STL 里面堆算法实现的与真正的STL里面的 priority_queue用法相似的priority_queue, 以加深对 priority_queue 的理解 #include...
阅读(917) 评论(0)

[置顶] 算法导论-------------红黑树

红黑树是一种二叉查找树,但在每个结点上增加了一个存储位表示结点的颜色,可以是RED或者BLACK。通过对任何一条从根到叶子的路径上各个着色方式的限制,红黑树确保没有一条路径会比其他路径长出两倍,因而是接近平衡的。本章主要介绍了红黑树的性质、左右旋转、插入和删除。重点分析了在红黑树中插入和删除元素的过程,分情况进行详细讨论。一棵高度为h的二叉查找树可以实现任何一种基本的动态集合操作,如SEARCH、...
阅读(1200) 评论(0)

[置顶] linux下input event事件,可以用后台截取键盘按下的键值,后台截取数据.....input.h

如何读取Linux键值,输入子系统,key,dev/input/event,dev/event,C语言键盘? 这里先上一段代码,自己拿到linux系统运行就可以,注意代码中keys_fd = open("/dev/input/event2", O_RDONLY);      这里去你的/dev/input/event2的event事件,去查看你的键盘事件是那一个,如果是event3那么你改成...
阅读(2778) 评论(0)

Logstash学习记录--logstash input output filter 插件总结

https://www.elastic.co/guide/en/logstash/current/index.html 一:什么是Logstash 1. logstash 是什么? Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据,并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架,将分散多样的数据搜集自定义处理并...
阅读(116) 评论(0)

logstash的安装使用、收集json日志、csv日志总结

1、logstash在官网直接下载解压即可使用 [elk_test@hadoop2 14:20 ~]$tar -zxvf logstash-5.6.3.tar.gz [elk_test@hadoop2 14:21 ~]$cd logstash-5.6.3 启动logstash监控文件。 ./bin/logstash -f my.config 其中 -f 参数后面接你配置文...
阅读(67) 评论(0)

Filebeat中文指南

一、概述 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。 以下是filebeat的工作流程:当你开启filebeat程序的时候,它会启动一个或多个探测器(prospectors)去检测你指定的日志...
阅读(40) 评论(0)

elasticsearch bulk数据--ES批量导入json数据

一、Bulk API 官网给出的介绍:https://www.elastic.co/guide/en/elasticsearch/reference/6.0/docs-bulk.html The REST API endpoint is /_bulk, and it expects the following newline delimited JSON (NDJSON) structur...
阅读(33) 评论(0)

Logstash收集json格式日志文件如何写配置文件

1、日志格式 {"10190":0,"10071":0,"10191":0,"10070":0,"48":"136587","type":"136587","10018":0} 我们如果收集这个日志只是做简单的配置。如下: input { file { path => ["/home/elk/logstash-5.6.3/request"] ty...
阅读(67) 评论(0)

ES优化总结(特别是在bulk大量数据到ES的时候),持续续更新中。。。。

1、refresh时间间隔 优化点: 减少刷新频率,降低潜在的写磁盘性能损耗, 默认的刷新时间间隔是1s,对于写入量很大的场景,这样的配置会导致写入吞吐量很低,适当提高刷新间隔,可以提升写入量,代价就是让新写入的数据在60s之后可以被搜索,新数据可见的及时性有所下降。 在bulk大量数据到ES集群的时候可以关闭刷新频率,把其值设置为-1就是关闭了刷新频率,在导入完之后设置成合理的值即可,例...
阅读(32) 评论(0)

日志收集器Filebeat详解

一、简介 1、Beats是elastic公司的一款轻量级数据采集产品,它包含了几个子产品: 1)packetbeat(用于监控网络流量) 2)filebeat(用于监听日志数据,可以替代logstash-input-file) 3)topbeat(用于搜集进程的信息、负载、内存、磁盘等数据) 4)winlogbeat(用于搜集windows事件日志) 注:社区还...
阅读(49) 评论(0)

redis源码分析(二)、redis源码分析之sds字符串

sds字符串 根据传统, C 语言使用长度为N+1的字符数组来表示长度为 N 的字符串,并且字符数组的最后一个元素总是空字符 ‘\0’ 。C 语言使用的这种简单的字符串表示方式, 并不能满足 Redis 对字符串在安全性、效率、以及功能方面的要求, 本节接下来的内容将详细对比 C 字符串和 SDS 之间的区别, 并说明 SDS 比 C 字符串更适用于 Redis 的原因。SDS又叫简单动态字符串,...
阅读(61) 评论(0)

ELK研究(一):elasticsearch java api接口操作ES集群 ---TransportClient的使用介绍 bulk批量提交数据

Java client操作ES: 1:配置集群对象信息;2:创建客户端;3:查看集群信息 1、设置集群名字 默认集群名为elasticsearch,如果集群名称和指定的不一致则在使用节点资源时会报错。Settings settings = Settings.builder() .put("cluster.name", "myClusterName").build(); T...
阅读(70) 评论(0)

ELK研究(一):elasticsearch java api接口操作ES集群 ---TransportClient的使用介绍 bulk批量提交数据

Java client操作ES: 1:配置集群对象信息;2:创建客户端;3:查看集群信息 1:集群名称       默认集群名为elasticsearch,如果集群名称和指定的不一致则在使用节点资源时会报错。 In order to enable sniffing, set client.transport.sniff to true: Settin...
阅读(68) 评论(0)

ElasticSearch5.6.3的安装部署以及集群部署、ElasticSearch-head的安装

一、ElasticSearch5.6.3下载安装步骤 说明:ElasticSearch的运行不能用root执行,自己用useradd命令新建一个用户如下所示:sueradd chen passwd chen 然后根据提示输入密码即可下载地址:https://www.elastic.co/downloads/elasticsearch 下载最新的安装包并解压、然后执行、命令如下:wget http...
阅读(423) 评论(0)

redis源码分析(一)复习redis命令、持久化方案、主从同步原理、配置

源码分析之前复习一下redis知识,好久没用过redis有点生疏了。 一、redis的数据结构   redis可以存储键与5种不同数据结构类型之间的映射,这5种数据类型就是string(字符串)、list(列表)、set(集合)、hash(散列)、zset(有序集合)。redis命令对于这5种结构都是通用的,如del、type、range等。 1、string操作: string是redis...
阅读(69) 评论(0)

net/http包的使用模式和源码解析

目录: 一、http包的3个关键类型二、HTTP服务器的使用模式三、HTTP服务器的执行过程四、重定向五、客户端的实现   一、http包的3个关键类型: Handler接口:所有请求的处理器、路由ServeMux都满足该接口; 1 2 3 type Handler interface {    ServeHTT...
阅读(131) 评论(0)

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

摘要: 前段时间研究的Log4j+Kafka中,有人建议把Kafka收集到的日志存放于ES(ElasticSearch,一款基于Apache Lucene的开源分布式搜索引擎)中便于查找和分析,在研究此方案可行性的时候,我发现ELK(ElasticSearch, Logstash, Kibana)平台恰好可以同时实现日志收集、日志搜索和日志分析的功能,于是又去学习了一番。之后发现如果使用这三者,收...
阅读(86) 评论(0)

hadoop权威指南上 天气例子测试运行

一、先代码准备好。 代码在本文后面 我的hadoop路劲是/Users/chenxun/software/hadoop-2.8.1 所以我在这个建了个自己文件夹myclass目录,把代码放到这个目录下面。如图所示:[chenxun@chen.local 17:21 ~/software/hadoop-2.8.1/myclass]$ll total 64 -rw-r--r-- 1 chenxun...
阅读(100) 评论(0)

mac下hadoop环境的搭建以及碰到的坑点

提示:这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法,在文章最后面一、首先要配置好java环境 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u1...
阅读(199) 评论(2)

mac电脑设置 ssh localhost免密码登陆 hadoop需要

1.  ssh-keygen -t rsa      Press enter for each line 提示输入直接按回车就好 2.  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3.  chmod og-wx ~/.ssh/authorized_keys 如果ssh localhost还需要密码 查看一下你.s...
阅读(66) 评论(0)

java map的遍历方法总结

一、 这是最常见的并且在大多数情况下也是最可取的遍历方式。在键值都需要时使用。 Map map = new HashMap(); for (Map.Entry entry : map.entrySet()) { System.out.println("Key = " + entry.getKey() + ", Value = " + entry.getValue()); }...
阅读(76) 评论(0)
329条 共17页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:297274次
    • 积分:5989
    • 等级:
    • 排名:第4678名
    • 原创:296篇
    • 转载:33篇
    • 译文:0篇
    • 评论:58条
    博客专栏
    最新评论