leone的博客

逝者如斯夫,不舍昼夜

linux常见压缩格式详解

linux 文件压缩格式详解 压缩文件原理 在计算机科学和信息论中,数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据比特(或者其它信息相关的单位)表示信息的过程。例如,如果我们将“compression”编码为“comp”那么这篇文章可以用较少的数据位表示。常见的例子是ZIP文件格式,此...

2019-06-12 17:01:55

阅读数 71

评论数 0

Spring Boot入门系列之:十一、Spring Boot Aop

spring-boot-aop 什么是aop 面向切面的程序设计(Aspect-oriented programming,AOP,又译作面向方面的程序设计、剖面导向程序设计)是计算机科学中的一种程序设计思想,旨在将横切关注点与业务主体进行进一步分离,以提高程序代码的模块化程度。通过在现有代码基础上...

2019-05-25 15:18:42

阅读数 14

评论数 0

ubuntu下编译 Hadoop

Ubuntu 下编译 Hadoop-2.9.2 系统环境 系统: ubuntu-18.10-desktop-amd64 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 OpenSSL: OpenSS...

2019-05-13 21:07:29

阅读数 18

评论数 0

Mac 下编译 Hadoop

Mac 下编译 Hadoop-2.9.2 系统环境 系统: Mac OS_10.14.4 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 zlib: 1.2.3-lib OpenSSL: 1_0_2...

2019-05-11 12:28:30

阅读数 92

评论数 0

Windows下编译 Hadoop

Windows下编译 Hadoop-2.9.2 系统环境 系统: Windows 10 10.0_x64 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 zlib: 1.2.3-lib OpenSS...

2019-05-08 17:49:19

阅读数 70

评论数 0

压测工具ApacheBench的入门教程

ApacheBench ApacheBench 是一个指令列程式,专门用来执行网站服务器的运行效能,特别是针对Apache 网站服务器。这原本是用来检测 Apache 网站服务器能够提供的效能,特别是可以看出Apache能提供每秒能送出多少网页。 ApacheBench( ab )工具程式是标准 ...

2019-05-06 17:56:42

阅读数 21

评论数 0

Anaconda 使用教程

Anaconda Anaconda简介 Anaconda是一个免费开源的Python和R语言的发行版本,用于计算科学(数据科学、机器学习、大数据处理和预测分析),Anaconda致力于简化包管理和部署。Anaconda的包使用软件包管理系统Conda进行管理。超过1200万人使用Anaconda发...

2019-04-30 09:42:59

阅读数 924

评论数 0

nginx 日志配置

nginx access_log nginx 日志说明 不同用户防卫Nginx会把每个用户访问往咱的日志信息记录到指定的日志文件里,供网站管理员分析用户浏览行为等,此功能又ngx_http_log_module 模块负责。 控制访问日志的参数 参数 说明 log_format 通过...

2019-04-25 17:19:27

阅读数 362

评论数 0

nginx 负载均衡

nginx 负载均衡 Nginx 配置 upstream 模块实现负载均衡,假设Nginx只代理到一台下游服务的话,那么当下游服务宕掉之后那么nginx就无法在处理客户端的请求,就达不到高可用的效果。 负载均衡的作用 1、转发功能 按照一定的算法【权重、轮询】,将客户端请求转发到不同应用服务器...

2019-04-22 22:12:42

阅读数 6

评论数 0

nginx 限流

nginx 限流 nginx限流算法(漏桶算法) 漏桶算法(Leaky Bucket)是网络世界中流量整形(Traffic Shaping)或速率限制(Rate Limiting)时经常使用的一种算法,它的主要目的是控制数据注入到网络的速率,平滑网络上的突发流量。漏桶算法提供了一种机制,通过它,突...

2019-04-21 18:01:51

阅读数 8

评论数 0

Mac 新手入门使用教程

Mac macOS(2011年及之前称Mac OS X,2012年至2015年称OS X)是苹果公司推出的基于图形用户界面操作系统,为麦金塔Mac的主操作系统。StatCounter在2018年8月的数据表示,在桌面操作系统中,macOS的使用份额为12.65%,次于Windows的82.51%位...

2019-04-19 22:52:50

阅读数 1577

评论数 0

Ambari搭建

Ambari搭建 Ambari简介 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...

2019-04-12 10:42:46

阅读数 90

评论数 0

Spark Structured Steaming实战

Spark Structured Steaming Spark Structured Streaming 简介 什么是 Spark Structured Streaming Structured Streaming (结构化流)是一种基于 Spark SQL 引擎构建的可扩展且容错的 stream...

2019-04-02 14:42:38

阅读数 47

评论数 0

Spring Cloud:三、Hystrx

Spring Cloud Hystrix 开发环境 开发工具:Intellij IDEA 2018.2.6 springboot: 2.0.6.RELEASE jdk:1.8.0_192 maven: 3.6.0 Hystrix:2.0.2.RELEASE Hystrix简介 hystrix对应的...

2019-03-29 18:25:51

阅读数 871

评论数 0

CentOS下编译hadoop-2.9.2

编译 Hadoop 系统环境 系统: CentOS-7.3_x64 protobuf: protobuf-2.5.0 maven: maven-3.6.0 hadoop: hadoop-2.9.2 java: jdk1.8.0_131 findbugs: findbugs-1.3.9 准备工作 ...

2019-03-21 12:25:04

阅读数 778

评论数 0

Spark Steaming快速入门

Spark Steaming Spark Streaming 简介 什么是Spark Streaming Spark Streaming使用Spark Core的快速调度功能来执行流分析。它以小批量方式提取数据,并对这些小批量数据执行RDD转换。此设计使得为批量分析编写的同一组应用程序代码可用于流...

2019-03-17 23:24:28

阅读数 962

评论数 0

Hadoop HA集群搭建

Hadoop HA 什么是 HA HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正...

2019-03-11 12:10:16

阅读数 764

评论数 0

Spark SQL详解

Spark SQL Spark SQL 核心概念 什么是 Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到...

2019-03-03 22:28:30

阅读数 840

评论数 0

Flink快速入门

Flink flink介绍 什么是flink? Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flin...

2019-03-02 09:28:53

阅读数 664

评论数 0

Sqoop快速入门

Sqoop Sqoop 介绍 什么是 Sqoop Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HD...

2019-02-25 14:34:43

阅读数 838

评论数 0

提示
确定要删除当前文章?
取消 删除