大数据
文章平均质量分 79
lijieshare
这个作者很懒,什么都没留下…
展开
-
【大数据面试基础题】
今天领导有事,让我去面试人,第一次面试人,有些小紧张,不过还是去当面试官了,首先问了一下招聘需求,明确了需求才可以对症下药--招聘大数据,然后开始进行了面试,首先让对方自我介绍,介绍项目经历,然后开始技术讨论,说是面试,其实就是技术交流,交流完毕问了一下对方有啥想问我的,最后问了一下对方期望工资,需要和领导沟通一下,让对方等通知,最后把面试情况反馈相关人。 1、大数据...2016-06-25 21:48:52 · 168 阅读 · 0 评论 -
【分布式跟踪系统Zipkin 介绍】
zipkin为分布式链路调用监控系统,聚合各业务系统调用延迟数据,达到链路调用监控跟踪。 Zipkin 是 Twitter 的一个开源项目,允许开发者收集 Twitter 各个服务上的监控数据,并提供查询接口。 Zipkin is a distributed tracing system. It helps gather timing data needed to trouble...2018-01-30 20:32:11 · 152 阅读 · 0 评论 -
【OpenStack 介绍】
OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。 OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供...2017-09-17 13:07:10 · 130 阅读 · 0 评论 -
【开源分布式文件系统FastDFS介绍】
FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 ...2017-07-24 19:52:51 · 196 阅读 · 0 评论 -
【InfluxDB 的安装】
采集数据(collectd)-> 存储数据(InfluxDB) -> 显示数据(Grafana)。InfluxDB 是 Go 语言开发的一个开源分布式时序数据库,非常适合存储指标、事件、分析等数据Collectd C 语言写的一个系统性能采集工具;Grafana 是纯 Javascript 开发的前端工具,用于访问 InfluxDB,自定义报表、显示图表等1、下载Influ...2016-01-29 20:34:47 · 120 阅读 · 0 评论 -
【主机监控系统--cacti的安装】
一、下载软件[root@node1 opt]# wget http://www.cacti.net/downloads/cacti-0.8.8f.tar.gz--12:33:54-- http://www.cacti.net/downloads/cacti-0.8.8f.tar.gzResolving www.cacti.net... 209.242.232.5, 173.225.179....2016-01-24 14:36:12 · 156 阅读 · 0 评论 -
监控系统之--zabbix
本操作步骤是在安装Apache和PHP的基础之上的操作,具体如何安装Apache和Php请参考【nagios主机监控系统】安装章节Apache和PHP的安装1、下载软件,[root@node1 ~]# wget http://sourceforge.net/projects/zabbix/files/ZABBIX%20Latest%20Stable/2.0.6/zabbix-2.0.6...2016-01-17 22:23:55 · 141 阅读 · 0 评论 -
分布式系统之----CAP理论
分布式的优点是大大的,最明显的就是可以同时处理很多事情,可以同时响应很多请求。分布式的缺点也是大大的。机器之间需要花费不少时间精力来沟通,这就是分布式的缺点。沟通到机器认识在一个水平,数据状态一致,这叫同步。沟通的时候有部分消息没有正确传给对方,这叫信号丢失。沟通的时候,发现机器A和机器B思路完全不一样,出现网络中断分离,这就等同于俩数据中心。 分布式系统的CAP理论:C...2016-01-10 19:36:18 · 275 阅读 · 0 评论 -
【nagios主机监控系统】安装
1.安装依赖包[root@node1 opt]# yum install -y gcc glibc glibc-common gd gd-devel xinetd openssl-devel[root@node1 ~]# useradd -s /sbin/nologin nagios[root@node1 ~]# mkdir /usr/local/nagios[root@node1 ~]# ch...2016-01-04 22:46:21 · 126 阅读 · 0 评论 -
linux下解压命令大全
.tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ——————————————— .gz 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gzip FileName.tar.gz 和 .tgz 解压:tar zxvf FileName....原创 2015-12-27 17:04:48 · 67 阅读 · 0 评论 -
【分布式系统常见的问题以及术语】
分布式系统之----CAP理论 【分布式的存储系统之一致性哈希算法】一、选择分布式系统的动机 (1) 信息交换 (2) 资源共享 (3) 通过重复提高可靠性 (4) 通过并行化提高性能 (5) 通过专门化简化设计 (6) 问题本身的特点决定 人多力量大,是没有错误的,但是人多也有坏处二、分布式系统进程通信,rpc基本原理...2016-11-22 20:28:48 · 155 阅读 · 0 评论 -
Ibatis源码阅读LRU (least recently used) 之LruCacheController
/* * Copyright 2004 Clinton Begin * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain...2016-11-05 21:48:00 · 98 阅读 · 0 评论 -
集群(cluster)基础知识介绍
一、集群介绍集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 伸缩性(Sc...2016-09-04 17:24:49 · 650 阅读 · 0 评论 -
大数据(big data)介绍
一、大数据(big data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。<span style="color: #ff00...2016-08-18 22:48:30 · 1116 阅读 · 0 评论 -
ETL工具--Kettle介绍
最早接触Kettle是在11年当时还在北京汇金科技公司(如今该公司被北京立思辰科技股份有限公司并购重组)的时候,从一个同事那里拷贝过来的,才知道我这么一个玩意儿,我当时主要用在异构数据库之间的快速导入数据,但是当jar包不兼容的时候容易出现中文乱码 ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle开源的工具有e...2016-06-25 22:09:15 · 330 阅读 · 0 评论 -
【网站流量与性能分析指标】
网站流量与性能分析指标主要包括:PV/UV/PR/IP/QPS/并发数/吞吐量/响应时间 QPS:每秒查询率(Query Per Second) ,每秒的响应请求数,也即是最大吞吐能力。QPS = req/sec = 请求数/秒QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS: 单个进程每秒请求服...2018-03-10 09:06:36 · 165 阅读 · 0 评论