自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(201)
  • 资源 (23)
  • 收藏
  • 关注

转载 Hadoop安全机制Kerberos介绍

Kerberos协议:Kerberos协议主要用于计算机网络的身份鉴别(Authentication),其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性。条件先来看看Kerberos协议的前提条件:如下图所示,Client与KDC,KDC与Service在协议工作前已经有了各自的共享密钥,并...

2020-05-11 01:05:58 95

转载 Oracle-体系结构图

数据库(Database)数据库是一个数据的集合,不仅是指物理上的数据,也指物理、存储及进程对象的一个组合。Oracle是一个基于B/S模式的关系型数据库管理系统(RDBMS)。Oracle系统体系结构由三部分组成:逻辑结构、物理结构和实例。一、Oracle的逻辑结构Oracle的逻辑结构是一种层次结构。主要由:表空间、段、区和数据块等概念组成。逻辑结构是面向用户的,用户使用Oracle开发应用程序使用的就是逻辑结构。数据库存储层次结构及其构成关系,结构对象也从数据块到表空间形成了不同层

2020-05-10 15:07:34 104

转载 oracle 体系架构图

1. 几个重要的Oracle术语要学习Oracle的体系结构,先要搞明白几个重要的术语:Oracle服务器、Oracle实例、Oracle数据库。Oracle服务器:即Oracle server,由Oracle实例和Oracle数据库组成。Oracle实例:即Oracle instance,是在Oracle启动的第一个阶段根据参数文件,生成的一系列的后台进程和一块共享内存SGA共同组成。Oracle数据库:即Oracle database,是由Oracle所有的物理文件所组成。其中最关键的有:控制文件、数

2020-05-09 19:57:53 90

转载 阿里巴巴架构师总结,搞懂什么是中台

一切业务数据化,一切数据业务化。“中台”概念这几年非常火,特别是阿里、腾讯、百度、京东等互联网公司最近频繁的基于中台调整组织架构,把“中台”的热度又上升到另一个高度,甚至有这样的声音, 90 年代不做 ERP 会死,现在不做中台也会定企业生死。中台的概念起源于阿里,也发展于阿里。笔者有幸参与阿里业务中台方法体系建设,也主导参与一些阿里云新零售业务中台项目,经常被问到如下问题。本文作为“阿里巴巴...

2020-04-12 13:44:18 331

转载 hadoop平台存储文件格式的概念及对比

背景在实施大数据平台项目或直接说hadoop平台类的项目时,开发设计人员总会对"文件格式"感到困惑,不知道该如何理解和使用。常见的问题有以下几种:hdfs支持哪些文件格式? txt格式、rc格式和orc格式有什么区别? orc格式和parquet格式哪个好? 该怎么去选择这些格式,这些格式的文件都有什么优缺点? Hbase和ElasticSearch为什么也是文件存储格式的一种?...

2019-12-15 02:00:49 69 1

转载 pg数据库的结构理解

1 概述PostgreSQL官方介绍称是最先进的开源关系型数据库,支持所有主流的平台,目前已经更新到了最新版本的12.0,在MySQL被Oracle收购后,PostgreSQL开源社区越来越活跃了,同时还有分布式集群的开源方案GreenPlum,目前也非常受欢迎。本篇文章讨论PostgreSQL内部的架构,内部的组件是如何工作的,这对一个DBA是非常重要的内容。2 PostgreSQL架构...

2019-12-09 14:59:10 97

转载 在Java中集成Python,Java与Python协作方式

写在前面在微服务架构大行其道的今天,对于将程序进行嵌套调用的做法其实并不可取,甚至显得有些愚蠢。当然,之所以要面对这个问题,或许是因为一些历史原因,或者仅仅是为了简单。恰好我在项目中就遇到了这个问题,需要在Java程序中调用Python程序。关于在Java中调用Python程序的实现,根据不同的用途可以使用多种不同的方法,在这里就将在Java中调用Python程序的方式做一个总结。直接通过...

2019-12-02 16:33:54 762

转载 数据血缘关系简述

数据的血缘关系作为数据治理很重要的部分,需要引起格外的重视。数据血缘关系的概念在人类社会中,血缘关系是指由婚姻或生育而产生的人际关系。如父母与子女的关系,兄弟姐妹关系,以及由此而派生的其他亲属关系。它是人先天的与生俱来的关系,在人类社会产生之初就已存在,是最早形成的一种社会关系。大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换...

2019-12-02 14:03:53 589

转载 彻底搞清楚javascript中的require、import和export

为什么有模块概念理想情况下,开发者只需要实现核心的业务逻辑,其他都可以加载别人已经写好的模块。但是,Javascript不是一种模块化编程语言,在es6以前,它是不支持”类”(class),所以也就没有”模块”(module)了。require时代Javascript社区做了很多努力,在现有的运行环境中,实现”模块”的效果。原始写法模块就是实现特定功能的一组方法。只要把不...

2019-10-26 21:51:33 44

原创 大数据专业术语

1、CDM概念数据模型(Conceptual Data Model),简称概念模型,是面向数据库用户的现实世界的模型,主要用来描述世界的概念化结构,它使数据库的设计人员在设计的初始阶段,摆脱计算机系统及DBMS的具体技术问题,集中精力分析数据以及数据之间的联系等,与具体的数据库管理系统(Database Management System,简称DBMS)无关。https://baike.b...

2019-10-26 18:23:10 116

转载 Apache Flink 1.9 重大特性提前解读

今天在 Apache Flink meetup ·北京站进行 Flink 1.9 重大新特性进行了讲解,两位讲师分别是 戴资力/杨克特,zhisheng 我也从看完了整个 1.9 特性解读的直播,预计 Flink 1.9 版本正式发布时间大概是 7 月底 8 月初左右正式发布,下面一起来看看直播内容:架构改动...

2019-10-21 20:16:29 62

转载 MapReduce中partition、sort、group

partition是分区,默认根据key的hash值分区,确定各个key分到哪个reducer中去,计算方法一般是HashValue%Num(reducer),如果只有一个分区,则全都分配到一个区。sort是在分区内根据key进行排序。group是分组,是在partition里面再分组,相同的key分到一个组中去,实现方法是compare(o1,o2),相同为一个group。有些问题需...

2019-07-30 22:40:54 70

转载 MapReducek shuffle过程解析(setPartitionerClass、setSortComparatorClass和setGroupingComparatorClass三者关系)

Map首先将输出写到环形缓存当中,开始spill过程:job.setPartitionerClass(PartitionClass.class);【按key分区】map阶段最后调用。对key取hash值(或其它处理),指定进入哪一个reducejob.setSortComparatorClass(SortComparator.class);【按key排序】每个分区内,对 键 或 键的部分 ...

2019-07-30 22:20:07 77

转载 一文带你彻底理解Linux的各种终端类型及概念

每天使用Linux每天都要接触到Bash,使用Bash时似乎永远都让人摸不着头脑的概念就是终端,坐在这台运行着Linux的机器的显示器前面,这个显示器就是终端的输出,而插在机器上的USB键盘或者PS/2键盘就是终端的输入,看来这是一种最直白意义上关于终端的解释。但是有的时候,机器上并没有看到显示器或者键盘接口,但是却有一个串口,想操作这台机器想必只能通过这个串口来进行了,这个时候,串口另一端的...

2019-07-29 23:06:17 75

转载 分享:阿里P8架构师深度概述分布式架构

简介作为一名架构师,我们要专业,要能看懂代码,及时光着臂膀去机房,也能独挡一面!及时同事搞不定问题,或者撂挑子,你也能给老大一个坚定的眼神:不怕,有我在!还能在会议室上滔滔不绝,如若无人,让不懂技术的妹子看你时眼神迷离,就好想落霞与孤鹜齐飞!分布式架构是一个非常复杂的体系,任何技术都不是孤立的存在,任何技术都无法适应所有场景。作为一名分布式系统架构或者资深研发人员,我们必须尽可能多的学习与...

2019-05-05 13:43:01 77

转载 阿里P8架构师谈:从单体架构、到SOA、再到微服务的架构设计详解

本文涉及的内容以及知识点如下:1、单体架构2、单体架构的拆分3、SOA与微服务的区别4、微服务的优缺点5、微服务的消息6、服务集成7、数据的去中心化单体架构Web应用程序发展的早期,大部分web工程是将所有的功能模块(service side)打包到一起并放在一个web容器中运行,很多企业的Java应用程序打包为war包。其他语言(Ruby,Python或者...

2019-05-05 13:21:37 142

转载 Scrapy简单入门及实例讲解

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy 使...

2019-05-05 12:35:07 42

转载 linux 发行版族谱

早期继承关系截止2018继承关系

2018-12-23 12:23:50 772

转载 git图谱

git图谱

2017-11-21 18:03:41 881

转载 maven生命周期(lifecycle)—— maven权威指南学习笔记(四)

定义: 生命周期是包含在一个项目构建中的一系列有序的阶段举个例子来说就是maven 对一个工程进行:验证(validate)……编译源码(compile)……编译测试源码(test-compile)……单元测试(test)……打包(package)……安装至本地仓库(install)复制到远程仓

2017-11-07 21:06:26 2084

转载 SOAP和WSDL的一些必要知识

SOAP和WSDL对Web Service、WCF进行深入了解的基础,因此花一些时间去了解一下是很有必要的。一、SOAP(Simple Object Access Protocol)如果我们要调用远程对象的方法,就必定要告诉对方,我们要调用的是一个什么方法,以及这个方法的参数的值等等。然后对方把数据返回给我们。这其中就涉及到两个问题:1、数据如何在网络上传输。2、如何表示数

2017-08-12 11:50:00 448

转载 Javascript异步编程的4种方法

你可能知道,Javascript语言的执行环境是"单线程"(single thread)。所谓"单线程",就是指一次只能完成一件任务。如果有多个任务,就必须排队,前面一个任务完成,再执行后面一个任务,以此类推。这种模式的好处是实现起来比较简单,执行环境相对单纯;坏处是只要有一个任务耗时很长,后面的任务都必须排队等着,会拖延整个程序的执行。常见的浏览器无响应(假死),往往就是

2017-07-05 13:29:55 255

转载 JVM的内存区域划分Eden Space、Survivor Space、Tenured Gen,Perm Gen

JVM的内存区域划分Eden Space、Survivor Space、Tenured Gen,Perm Gen

2017-03-29 12:38:09 1877

转载 Maven新手介绍如何使用Eclipse创建Maven Web工程的方法

Maven新手介绍如何使用Eclipse创建Maven Web工程的方法http://jingyan.baidu.com/article/9f63fb91a7d2a5c8400f0e20.html

2017-01-15 11:53:12 369

转载 gcc编译生成静态及动态链接库步骤

gcc编译生成静态及动态链接库步骤

2016-12-01 11:23:16 511

原创 Linux下编译安装apache

Linux下编译安装apache

2016-12-01 10:59:27 342

转载 javascript知识图谱,值得你珍藏

javascript知识图谱,值得你珍藏

2016-11-19 21:56:50 4674

转载 [人工智能]机器学习知识体系篇(初级篇,中级篇,高级篇)

[人工智能]机器学习知识体系篇(初级篇,中级篇,高级篇)

2016-11-19 12:32:34 12553

转载 涨知识:你真的会用console调试代码吗?

涨知识:你真的会用console调试代码吗

2016-11-19 12:22:33 2810

转载 linux下core dump

linux下core dumpsetrlimitgetrlimit

2016-11-19 12:16:43 295

转载 java 线上问题定位工具

java 线上问题定位工具

2016-10-02 15:29:57 1099

转载 大数据分析进阶之python财经数据抓取

大数据分析进阶之python财经数据抓取

2016-10-02 15:27:24 7812

转载 运维利器:万能的 strace

strace是什么?按照strace官网的描述, strace是一个可用于诊断、调试和教学的Linux用户空间跟踪器。我们用它来监控用户空间进程和内核的交互,比如系统调用、信号传递、进程状态变更等。

2016-10-02 15:12:00 1065

转载 linux umask使用详解

linux umask使用详解

2016-09-26 09:50:53 290

转载 运维利器:万能的 strace

strace是什么?按照strace官网的描述, strace是一个可用于诊断、调试和教学的Linux用户空间跟踪器。我们用它来监控用户空间进程和内核的交互,比如系统调用、信号传递、进程状态变更等。

2016-06-12 13:22:21 1887

转载 ubuntu 12.04 下安装Docker

Docker 是 dotCloud 最近几个月刚宣布的开源引擎,旨在提供一种应用程序的自动化部署解决方案,简单的说就是,在 Linux 系统上迅速创建一个容器(类似虚拟机)并在容器上部署和运行应用程序,并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级,非常方便。因为使用了容器,所以可以很方便的把生产环境和开发环境分开,互不影响,这是 docker 最普遍的一个玩法。更多的玩法还有大规模 web 应用、数据库部署、持续部署、集群、测试环境、面向服务的云计算、虚拟桌面 VDI 等等。

2016-06-12 12:06:47 2276

转载 Apache与Tomcat联系及区别

Apache与Tomcat联系及区别

2016-04-13 14:16:50 339

转载 Ubuntu 12.04 安装Scrapy爬虫框架

根据Scrapy安装指南(http://doc.scrapy.org/en/latest/intro/install.html)Don’t use the python-scrapy package provided by Ubuntu, they are typically too old and slow to catch up with latest Scrapy.Inste

2016-03-20 18:23:27 710

转载 开源python网络爬虫框架Scrapy

开源python网络爬虫框架Scrapy介绍:所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是,定义一个入口页面,然后一般一个页面会有

2016-03-12 17:06:35 499

转载 java垃圾回收机制详解

一、按代实现垃圾回收先看一下整体结构:新生代(Young generation): 绝大多数最新被创建的对象会被分配到这里,由于大部分对象在创建后会很快变得不可到达,所以很多对象被创建在新生代,然后消失。对象从这个区域消失的过程我们称之为”minor GC“。新生代中存在一个Eden区和两个Survivor区。新对象会首先分配在 Eden 中(如果新

2016-01-31 14:34:29 318

python新员工教材

学习python很好的材料,网上下的,跟大家分享下

2014-11-05

Hadoop权威指南第2版中文版.pdf

Hadoop权威指南第2版中文版 Tom White注 周敏奇 王晓玲 金澈清 钱卫宁 译 清华大学出版社

2014-05-14

实战Hadop.pdf

开启通向云计算的捷径 主编:刘鹏 电子工业出版社 内容包括HDFS、MapReduce HBase Hive Pig Cassandra Chukwa ZooKeeper

2014-05-15

阿里java常考面试题及汇总答案.docx

阿里java常考面试题及汇总答案,值得学习学习

2014-03-23

EEMUA 191报警规范

EEMUA 191报警规范 Alarm Systems A Guide to Design, Management and Procurement

2013-11-30

ACE自适配通信环境(代序).pdf

ACE 自适配通信环境(ADAPTIVE Communication Environment)是可自由使用、开放源码的面向 对象(OO)框架(framework),它实现了许多用于并发通信软件的核心模式。ACE 提供了一组丰富的可 重用 C++包装外观(wrapper facade)和框架组件,可跨多种平台完成通用的通信软件任务,其中包括: 事件多路分离和事件处理器分派、信号处理、服务初始化、进程间通信、共享内存管理、消息路由、分 布式服务动态(重)配置、并发执行和同步,等等。

2013-11-20

上篇:ACE技术论文集.pdf

本论文描述 ACE 的结构和功能,并使用来自像电信、企业级医学成像和 WWW 服务这样的领域的例 子阐释核心的 ACE 特性。ACE 可以自由使用,并正在被用于许多商业项目(比如爱立信、Bellcore、西 门子、摩托罗拉、柯达,和 McDonnell Douglas),以及许多学院和工业研究项目。ACE 已被移植到多种 OS(操作系统)平台上,包括 Win32 和大多数的 UNIX/POSIX 实现。此外,同时有 C++和 Java 版本的 A CE 可用。

2013-11-20

中篇:ACE程序员教程.pdf

ACE 自适配通信环境(ADAPTIVE Communication Environment)是可自由使用、开放源码的面向 对象(OO)框架(framework),它实现了许多用于并发通信软件的核心模式。ACE 提供了一组丰富的可 重用 C++包装外观(wrapper facade)和框架组件,可跨多种平台完成通用的通信软件任务,其中包括: 事件多路分离和事件处理器分派、信号处理、服务初始化、进程间通信、共享内存管理、消息路由、分 布式服务动态(重)配置、并发执行和同步,等等。

2013-11-20

下篇:ACE应用实例.pdf

本论文描述 ACE 的结构和功能,并使用来自像电信、企业级医学成像和 WWW 服务这样的领域的例 子阐释核心的 ACE 特性。ACE 可以自由使用,并正在被用于许多商业项目(比如爱立信、Bellcore、西 门子、摩托罗拉、柯达,和 McDonnell Douglas),以及许多学院和工业研究项目。ACE 已被移植到多种 OS(操作系统)平台上,包括 Win32 和大多数的 UNIX/POSIX 实现。此外,同时有 C++和 Java 版本的 A CE 可用。

2013-11-20

ACE_TAO学习笔记.pdf

ACE_TAO学习笔记

2013-11-20

STL源码剖析.pdf

STL.源码剖析,作者:侯捷,华中科技大学出版社

2013-11-20

程序员的自我修养—链接、装载与库.pdf

书名:程序员的自我修养—链接、装载与库 作者:俞甲子 石凡 潘爱民 出版社:电子工业出版社

2013-11-07

CORBA-C++高级编程.pdf

书名:CORBA-C++高级编程(中文翻译版) 翻译作者:徐金梧 徐科 吕志民 出版社:清华大学出版社

2013-11-07

C++集成Tcl引擎示例

Tcl脚本扩展示例,包含两个示例,示例1:未使用到ClientData;示例2使用到了ClientData参数

2013-11-07

C++ Primer(第4版)习题解答(部分).pdf

C++ Primer(第4版)习题解答(部分)

2013-11-07

COM技术内幕.pdf

书名:COM技术内幕 翻译:杨秀章 出版社:清华大学出版社

2013-11-07

简明Python教程.pdf

不仅适合于初学者,也适合于专业人员使用。

2013-11-07

makefile完全教程.pdf

makefile完全教程,希望对您能有所帮助

2013-11-07

ACE开发手册

ACE 开 发 手 册, 类 似 msdn

2013-11-07

corba中文版.pdf

介绍了corba接口,接口语言定义,orb对象,corba的互操作,corba中的各个服务,使用c++实现corba,及示例

2013-11-07

Talent操作手册(中文版)

ETL工具 Talent操作手册,中文版,仅供参考 Talend 的一体化数据平台,便于本地化,易于迁移,是一款企业级的,开放灵活,高性能且适于深度协作的平台,释放数据潜力,使每个人都能够信任数据,并利用数据来为其业务创造价值。

2019-02-19

阿里巴巴2016数据挖掘工程师笔试及答案

2017-03-11

hadoop权威指南

hadoop权威指南第二版中文+源码;第三版(英文版)+源码

2015-04-06

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除