hni_94的博客

转载 Zabbix安装部署

环境准备OS：CentOS 7.2 64bitZabbix版本：3.0.12MySQL版本：5.6注意：zabbix3.0相关要求 mysql5.0以上版本、apache1.3以上版本、php5.4以上版本。版本选择在版本选择建议选择官方技术支持时间较长(LTS)的稳定版本，从上图我我们可以看到没有最新最稳定的是Zabbix3.0About Zabbix LTSLTS stan...

转载 Linux运维跳槽必备的40道面试精华题

1、什么是运维？什么是游戏运维？1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维开发运维：是给应用运维开发运维工具和运维平台...

原创 关系型数据库和非关系型数据库区别

一、关系型数据库关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致；2、使用方便：SQL语言通用，可用于复杂查询；3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。缺点：1、读写性能比较差，尤其是海量数据的高效率读写；2、固定的表结构，灵活度稍欠；3、高并发读写需求，传统关系型数据库来说，硬盘...

转载 简述关系型数据库和非关系型数据库

当前数据库分为关系型数据库和非关系型数据库关系型数据库关系型数据库：指采用了关系模型来组织数据的数据库。关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。关系模型中常用的概念：关系：一张二维表，每个关系都具有一个关系名，也就是表名元组：二维表中的一行，在数据库中被称为记录属性：二维表中的一列，在数据库中被称为字段域：属性的取值范围，也就...

转载 Storm集群架构及搭建

Storm集群，利用了分布式系统中经典的master/slave架构。以下显示的是一个Storm集群，其中master节点为Nimbus，slave节点有四个，称之为supervisor。在传统的master/slave架构中，都是master节点负责任务的接受、分配、监控等管理任务，从节点负责任务的执行。总的来说，storm中的主从架构，基本上也符合这个规则。(以下纯属个人理解)不过sto...

转载 Storm简介

1、Storm简介Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Sto...

转载 Docker Swarm集群部署实践

docker介绍Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子...

转载 docker部署nginx

下载nginx[root@localhost my.Shells]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdocker.io/redis latest 1e70071f4af4 6 w...

转载 docker部署

一、涉及文件 ：centos-centos7.tar.gz （docker中centOS镜像压缩包）docker.tar.gz Docker 安装包jre-8u131-linux-x64.rpm 生成cloudlicense镜像时要用到（由于找不到openJDK,安装镜像，用这个替代）Dockerfile 生成c...

转载 Nginx Linux详细安装部署教程

一、Nginx简介Nginx是一个web服务器也可以用来做负载均衡及反向代理使用，目前使用最多的就是负载均衡，具体简介我就不介绍了百度一下有很多，下面直接进入安装步骤二、Nginx安装1、下载Nginx及相关组件Linux系统是Centos 6.5 64位，我直接切换到root用户下安装进入用户目录下载程序‘’下载相关组件[root@localhost src]# wget ht...

翻译 ElasticSearch简介

前言：百事不决问百度，万事不决问谷歌！随着信息量，数据量越来越大的今天，如何从海量的数据中聚焦关注点，提高我们的工作、生活效率便显得非常的重要。而我们经常使用的百度等搜索引擎就能帮助我们从浩如烟海的数据中挖掘提取出自己的感兴趣的地方。是怎么做到的呢，就是需要全文索引的技术来完成，我们知道可以查询的有数据库，但是数据库中的数据量一大就会变的非常的缓慢，而且都是模糊查询，数据量有非常的巨大，二者比较...

翻译 kafka 集群部署

1、Kafka 初体验单机 Kafka 试玩官网网址：http://kafka.apache.org/quickstart中文官网：http://kafka.apachecn.org/quickstart.html2、集群部署的基本流程总结1、下载安装包2、解压安装包到对应的目录3、修改配置文件4、分发安装包5、启动集群，进行验证3、集群部署的基础环境准备1、安装 JDK 1...

翻译 Kafka简介

Kafka 是什么1、Kafka 概述在流式计算中，Kafka 一般用来缓存数据，Storm 通过消费 Kafka 的数据进行计算。经典架构：Flume + Kafka + Storm/SparkStreaming + RedisApache Kafka 最初是是由 LinkedIn 开发的一个基于发布订阅的分布式的消息系统，由Scala/Java 编写，并于 2011 年初开源。201...

翻译 Nginx简介

(engine x) 是一个高性能的HTTP和反向代理服务，也是一个IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1...

转载 Nginx配置文件详解

######Nginx配置文件nginx.conf中文详解######定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8; #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]error_log /usr/local/ng...

翻译 Spark

Q1、 Spark job的运行架构?1、构建Spark Application 的运行环境（初始化SparkContext）， SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源2、资源管理器分配 Executor 资源并启动 StandaloneExecutorBackend，Executor 运行情况将随着心跳发送到...

翻译 MySQL

Q1、 数据表设计三大范式是什么?1.原子性，列不可再拆分2.满足1的前提下，非主键列完全依赖于主键列，不存在部分依赖3.满足2的前提下，非主键列直接依赖于主键列，不存在依赖传递Q2、 数据库用过哪些函数，作用数学函数select PI()* 2 2; #piselect CEIL(-12.3); #向上取整select FLOOR(12.3); #向下取整select ROU...

翻译 JavaSE

Q1、 String 、StringBuffer、StringBuilder 区别及底层实现1、String是字符串常量， StringBuffer、StringBuilder是字符串变量2、StringBuffer线程安全(方法用了synchronized修饰)、StringBuilder线程不安全3、底层都是char[]，String用了final 修饰，后二者初始容量是16+字符串的长...

翻译 Hive

Q1、 udf，udaf，udtf的区别？Hive中有三种UDF:1、用户定义函数(user-defined function)UDF；2、用户定义聚集函数（user-defined aggregate function，UDAF）；3、用户定义表生成函数（user-defined table-generating function，UDTF）。UDF操作作用于单个数据行，并且产生一个数...

翻译 HBase

Q1、 HBase中rowkey的设计原则?建议使用String如果不是特殊要求，RowKey最好都是String。 方便线上使用Shell查数据、排查错误 更容易让数据均匀分布 不必考虑存储成本 RowKey的长度尽量短。如果RowKey太长话，第一是，存储开销会增加，影响存储效率；第二是，内存中Rowkey字段过长，内存的利用率会降低，这会降低索引命中率。一般的做法是： 时间使用Long来...

翻译 HDFS

Q1、 Hdfs的写数据流程？1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求2、Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；3、当客户端开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data queue（数据队列）”的形式管理这些packets...

翻译 MapReduce&YARN

Q1、 mapreduce流程？Map阶段：1：读取输入文件的内容，并解析成键值对（<key, value>）的形式，输入文件中的每一行被解析成一个<key, value>对，每个<key, value>对调用一次map()函数。2：用户写map()函数，对输入的<key,value>对进行处理，并输出新的<key,value>对。...

翻译 Kafka & Flume & Sqoop

Q1、 kafka基本原理，kafka如何保证接收消息的顺序性Kafka基本原理：Kafka是apache开源一个分布式的、可分区的、可复制的消息系统。将消息的发布称producer，将消息的订阅表述为 consumer，将中间的存储阵列称作 brokerProducer (push) —> Broker <----(pull) ConsumerKafka集群中...

原创 Linux常用命令大全

系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info...

转载 java常用的中间件

tomcatWeblogicJBOSSColdfusionWebsphereGlassFish一般本地开发的话建议使用tomcat。linux系统建议使用jetty或apache hpptd大型的项目就用JBOSS或webloigc小项目，或者是个人开发tomcat 大项目或者商业项目一般采用：weblgoic/webshere其他的还有jboss、glasshfish等一些...

转载 tomcat常用配置详解和优化方法

参考：http://blog.csdn.net/zj52hm/article/details/51980194http://blog.csdn.net/wuliu_forever/article/details/52607177https://www.cnblogs.com/dengyungao/p/7542604.htmlhttps://www.cnblogs.com/ysocean/p...

转载 网络抓包与分析

抓包命令：1.指定网卡、搜集所有报文、保存到指定位置:tcpdump -i eth0 -s 0 -w /home/test.pcap2.指定tcp/udp协议：tcpdump tcp -i eth0 -s 0 -w /home/test.pcap3.指定源ip:tcpdump -i eth0 src host xx.xx.xx.xx4.指定目的ip:tcpdump -i eth0 dst ...

转载 Kubernetes集群的部署方式及详细步骤

一、部署环境架构以及方式第一种部署方式1、针对于master节点将API Server、etcd、controller-manager、scheduler各组件进行yum install、编译安装或者展开安装的方式手动直接安装在master节点主机上，作为系统级守护进程运行。2、针对于node节点将kube-proxy、kubelet、docker、flannel各组件进行yum in...

翻译 Linux基础知识

1、VI文本编辑器学会使用vi编辑器是学习Linux系统的必备技术之一，因为一般的Linux服务器是没有GUI界面的，Linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是Linux内置的文本编辑器，几乎所有的类unix系统中都内置了vi编辑器，而其它编辑器则不一定，另外很多软件会调用vi编辑进行内容编写，例如crontab定时任务。较之于其它编辑器或GUI编辑...

翻译 初识Linux

一、Linux介绍Linux系统是一套免费使用和自由传播的类UNIX操作系统（主要用在服务器上），是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了UNIX以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。UNIX：操作系统，是美国AT&T公司贝尔实验室...

转载 docker入门实战笔记

1.什么是docker:docker翻译为搬运工,在这里应该可以理解为搬运应用的工具,也就是云.先了解其运用场景之后更容易对他形成深刻理解.Docker提供了一种可移植的配置标准化机制，允许你一致性地在不同的机器上运行同一个Container；而LXC本身可能因为不同机器的不同配置而无法方便地移植运行；Docker以App为中心，为应用的部署做了很多优化，而LXC的帮助脚本主要是聚焦于如何机...

翻译 IntelliJ Idea 常用快捷键列表

Ctrl+Alt+t 选择代码块 try catchAlt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+alt+回车Ctrl+E或者Alt+Shift+C 最近更改的代码Ctrl+R 替换...

转载 100道hadoop常见面试题及答案解析

1 单选题1.1 下面哪个程序负责 HDFS 数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案 C datanode1.2 HDfS 中的 block 默认保存几份？a)3 份b)2 份c)1 份d)不确定答案 A 默认 3 分1.3 下列哪个程序通常与 NameNode 在一...

原创 eclipse快捷键

Ctrl + Shift + X：将所选字符转为大写Ctrl + Shift + Y：将所选字符转为小写Ctrl + Shift + O：快速生成importCtrl + Shift + R：全局查找Ctrl + Shift + G：查找方法或属性的引用（就是查找在那些地方也用过）Ctrl + Shift + W：关闭所有文件Ctrl + Shift + B：打断点Ctrl + Sh...

翻译 MapReduce编程套路

翻译 HBase性能优化

配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：这个ti...

翻译 HBase 性能优化笔记

1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hbase.regionserver.handler.count详解1 hbase.hregion.max.filesize应该设置多少合适默认值：256M说明：Maximum HStoreFile si...

转载 kubernetes基础知识

Kubernetes是什么？Kubernetes项目是2014年由Google公司启动的，是Google公司在15年生产环境经验基础上 ，结合了社区的一些优秀点子和实践而构建的。Kubernetes是一个以容器为中心的基础架构，可以实现在物理集群或虚拟机集群上调度和运行容器，提供容器自动部署、扩展和管理的开源平台。满足了应用程序在生产环境中的一些通用需求：应用实例副本、水平自动扩展、命名与发现...

原创 Linux解决openjdk覆盖问题

在root用户下1、[root@hdp01 ~]# rpm -qa |grep javajava-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64tzdata-java-2015e-1.el6.noarchjava-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_642、[root@hdp01 ~]# rpm -e -...

翻译 HashMap的工作原理

HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道HashTable和HashMap之间的区别，那么为何这道面试题如此特殊呢？是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这个问题，甚至会要求你实现HashMap来考察你的编程能力。ConcurrentHashMap和其它同步集合的引入...