GeorgeGuo

选择有时候比奋斗更重要

排序:
默认
按更新时间
按访问量

Spark系列4- Spark Streaming

1 流计算 静态数据和流数据 静态数据类似存储在水库中的水,是相对静止不动的,如数据仓库中储存的数据、关系型数据库中存储的数据等。流数据是指在时间分布和数量上无限的一系列动态数据合体,数据记录是流数据的最小组成单元。 静态数据和流数据的处理,分别对应两种不同的计算模式:批量计算和实时计算。数据的两...

2018-10-11 09:36:19

阅读数:0

评论数:0

Spark系列3 - Spark SQL

1 从Shark到Spark SQL Spark SQL的前生是Shark,即Hive on Spark。Shark本质是通过Hive的HQL进行解析,将HiveQL翻译成Spark上对应的RDD操作,然后通过Hive的Metadata获取数据数据库里的元数据,并根据元数据从HDFS上读取文件,最...

2018-09-28 18:51:46

阅读数:17

评论数:0

Spark系列2 - Spark RDD编程

一、RDD 编程基础 1 RDD 创建 从文件系统创建RDD textFile val part = sc.textFile("file:///root/software/spark-2.2.0-bin-hadoop2.6/README.md&quo...

2018-09-28 18:50:48

阅读数:15

评论数:0

Spark系列1 - Spark生态和RDD

1 Spark的生态 Spark Core中的基本概念 DAG(Directed Acyclic Graph), 有向无环图。Spark Core提供了有向无环图的分布式计算框架,并提供内存机制来支持多次迭代计算或者数据共享,大大减少了迭代计算之间读取数据的开销。 RDD(Resil...

2018-09-28 18:49:34

阅读数:19

评论数:0

大数据技术栈

大数据技术栈全貌 下面自底向上介绍各个层的主要项目。 1 采集层和传输层 Sqoop 在hadoop和关系型数据库之间转换数据。 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据,如web服务器产生的日志,通过Flume...

2018-09-02 17:36:28

阅读数:54

评论数:0

读《大型网站技术架构》之后的思考

《大型网站技术架构》这本书是李智慧著,电子工业出版社出版。 阅读本书的收获是,书中勾勒的大型网站建设的蓝图,提升了我对网站架构整体的认知,如大型网站建设时常用的模式(问题以及对应的解决方案)、大型网站建站的要素(性能、可用性、可伸缩性等)。回想之前写的文章,”从lamp到高可用的web架构的演进...

2018-06-16 09:30:04

阅读数:109

评论数:0

使用openssl模拟CA和CA证书的签发

当使用ssl/tls进行加密通信时,必须要有数字证书。若通信只限制在局域网内,可以不向第三方机构申请签发证书,可以通过openssl模拟CA(Certificate Authority),并通过该CA签发证书。下文讲述在Centos7.3上使用openssl工具签发证书的具体步骤。 1 生成...

2018-06-03 09:03:40

阅读数:270

评论数:2

对称加密、单向加密和非对称加密

下文主要从加密算法的特征、常用加密算法和加密工具等方面,梳理和比较对称加密、单向加密和公钥加密的概念及其之间的联系。 1. 对称加密 采用单钥密码的加密方法,同一个密钥可以同时用来加密和解密,这种加密方法称为对称加密,也称为单密钥加密。常用的单向加密算法: DES(Data Encry...

2018-06-02 23:40:41

阅读数:188

评论数:0

Linux性能检测常用的10个基本命令

本文的内容主要来自对Netflix的一篇技术博客( Linux Performance Analysis in 60,000 Milliseconds(可能需要翻墙才能访问) ),并添加了一些自己的理解,仅供参考。 一、常用检测性能的10个基本命令 1. uptime $ upt...

2018-05-31 16:44:02

阅读数:385

评论数:0

从lamp到高可用的web架构的演进

本文受互联网架构大会中美团、滴滴等互联网公司架构演进的启发,并结合自己的实践和实验,从宏观的角度讲述从简单lamp(linux apache mysql php)到高可用web架构的一步步迭代过程。 下面的内容主要是从单一业务的角度考虑的,假设业务的复杂性不变,只有用户量和并发访问量的不断增加。...

2018-05-26 10:53:32

阅读数:298

评论数:0

使用ccproxy的二级代理转换socks5代理为http代理

在通过SSH隧道配置http代理文中,使用了Privoxy来实现转换socks5代理为Http代理,但是Privoxy不太稳定,容易出现 Forward failed的错误,且不是一个成熟的软件。本文通过设置ccrpoxy的二级代理功能,实现socks5代理到Http代理的转换。 设置ccpro...

2018-05-20 15:40:32

阅读数:353

评论数:0

CentOS 7上用Docker Registry镜像构建本地私有仓库

使用registry搭建本地私有仓库,可以节省网络带宽、加快下载速度,同时也可以针对于公司内部使用的镜像,推送到本地的私有仓库中,以供公司内部相关人员使用。 1 安装docker服务 yum install -y docker systemctl enable docker syste...

2018-05-12 19:02:28

阅读数:224

评论数:0

Kubernetes之核心概念(二)

Kubernetes核心概念 要深入的理解Kubernetes的特性和工作机制,首先要掌握Kubernetes模型中的核心概念。从集群组件的角度来看,Kubernetes主要是主节点中的组件,如kube-apiserver、kube-scheduler等,工作节点中的组件,如kubelete、k...

2018-05-12 19:00:30

阅读数:157

评论数:0

Kubernetes之简介(一)

Docker和微服务基于Docker技术,开发者可以自由的将应用程序和基础镜像打包起来,发布到任何运行流行Linux系统的机器上执行,契合了容器“一次构建,到处运行”的核心理念。Docker的诞生,促进了微服务架构的快速发展,但是基于Docker的微服务架构仍然面临如何实现Docker集群的系统管...

2018-04-27 23:13:53

阅读数:52

评论数:0

Docker常用操作命令总结

获取Docker镜像的命令 docker pull 命令格式如下: docker pull [选项] [Docker Registry地址]<仓库名>:<标签> 选项可以通过 docker pull...

2018-04-21 18:45:03

阅读数:534

评论数:2

C++11中std::reference_wrapper的理解

std::reference_wrapper reference_wrapper 将引用包装成一个对象,即引用的包装器; reference_wrapper 是一个引用包裹器,可以包裹一个指向对象或者指向函数指针的引用,既可以通过拷贝构造,也可以通过赋值构造; std::reference_w...

2018-04-21 17:59:43

阅读数:175

评论数:0

C++11 中的std::function和std::bind

1. 可调用对象 可调用对象有一下几种定义: 是一个函数指针,参考 C++ 函数指针和函数类型; 是一个具有operator()成员函数的类的对象; 可被转换成函数指针的类对象; 一个类成员函数指针; C++中可调用对象的虽然都有一个比较统一的操作形式,但是定义方法五花八门,这样就导致使...

2018-04-21 17:58:36

阅读数:37

评论数:0

网站支持https之三:Centos7.3 使httpd支持https

SSL的证书类型都有哪些,请参考:网站支持https之一:https原理和SSL证书类型 如何获取免费的SSL证书,请参考:网站支持https之二:腾讯云上免费获取SSL证书的步骤 下文主要如何使用获取的SSL证书。 1 拷贝证书到服务器 主机上的默认目录为:/etc/ssl/cert...

2018-04-21 17:55:12

阅读数:412

评论数:0

网站支持https之二:腾讯云上免费获取SSL证书的步骤

本文主要介绍从腾讯云上获取免费SSL证书的过程,至于SSL的证书类型都有哪些,可以参考https原理和SSL证书类型。 1. 从腾讯获取免费的SSL证书 腾讯免费ssl证书获取链接:https://console.cloud.tencent.com/ssl 注意:申请时若未在腾讯云上进行...

2018-04-21 17:54:37

阅读数:966

评论数:0

网站支持https之一:https原理和SSL证书类型

1 https原理2 证书类型如图,SSL 证书按大类一般可分为 DV SSL 、OV SSL 、EV SSL 证书。有的也会叫做域名型、企业型、增强型证书,不同的厂商叫法可能有所不同,但差别不大。1)域名型SSL证书(DV SSL)即证书颁布机构只对域名的所有者进行在线检查,通常是验证域名下某个...

2018-04-21 17:53:47

阅读数:154

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭