- 博客(721)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Mesos
Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的，后在Twitter得到广泛使用。起源编辑Apache Mesos是一个通用的集群管理器[1] ，起源于Google 的数据中心资源管理系统Borg。开发过程编辑Twitter从Google的Borg系统中得到启发，
2017-09-14 10:34:12
379
转载 Spark的运行架构分析（二）之运行模式详解
在上一篇博客 spark的运行架构分析（一）中我们有谈到Spark的运行模式是多种多样的，那么在这篇博客中我们来具体谈谈Spark的运行模式一：Spark On Local 此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell即可 具体可参考这篇
2017-09-14 10:26:00
617
转载 Spark运行架构
http://www.cnblogs.com/shishanyuan/p/4721326.html1、 Spark运行架构1.1 术语定义lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；lDriv
2017-09-13 10:59:26
359
转载 Spark Streaming实时计算框架介绍
随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。本文将详细介绍Spark Streaming实时计算框架的原理与特点、适用场景。
2017-09-13 10:09:38
473
转载 Spark的术语
Spark运行模式运行环境模式描述Local本地模式常用于本地开发测试，本地还分为local单线程和local-cluster多线程; Standalone集群模式典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持 ZooKeep
2017-09-13 09:33:56
403
转载 Spark 入门
Apache Spark是一个轻量级的内存集群计算平台，通过不同的组件来支撑批、流和交互式用例。Apache Spark是个开源和兼容Hadoop的集群计算平台。由加州大学伯克利分校的AMPLabs开发，作为Berkeley Data Analytics Stack（BDAS）的一部分，当下由大数据公司Databricks保驾护航，更是Apache旗下的顶级项目，下图显示了Apache Spa
2017-09-13 09:06:28
59869
5
转载 hadoop和spark的异同
http://www.techweb.com.cn/network/system/2016-01-25/2267414.shtml解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂
2017-09-12 16:19:50
294
转载 Spark 和 Hive之间的区别
大概区别也就是：两个不同的sql翻译引擎吧！正如如下图片中所说的！http://blog.csdn.net/dax1n/article/details/56009813
2017-09-12 16:09:13
12521
转载 Hive和数据库比较
Hive和数据库的比较由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。查询语言由于SQL被广泛
2017-09-12 14:13:12
1064
转载 Hive的体系结构
--Hadoop：用HDFS进行存储，利用MapReduce进行计算。--元数据存储（MetaStore）：通常是存储在关系数据库中。Hive的安装有三种模式:嵌入模式、本地模式、远程模式1）嵌入模式：--元数据信息被存储在Hive自带的Derby数据库中。--只允许创建一个连接--多用于Demo（演示）2）本地模式：--元信息被存储在MySQL数据
2017-09-12 14:12:52
417
转载 HBASE and HIVE
omparing Hive with HBase is like comparing Google with Facebook - although they compete over the same turf (our private information), they don\u2019t provide the same functionality. But things can get
2017-09-12 13:38:31
300
转载 查看HDFS文件系统数据的三种方法
1、使用插件——Hadoop-Eclipse-Plugin此方法需要借助Eclipse，插件的安装及使用请参考博文使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS。借助Eclipse只能进行简单的HDFS操作，如查看，删除，上传，下载。以下是操作界面：2、HDFS Web界面HDFS Web界面上只能查看文件系统数据。网址：h
2017-09-12 13:15:07
45103
转载 深入理解Hadoop集群和网络
云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色
2017-09-12 10:50:19
468
转载 Jmeter 非GUI 测试
前文 讲述了JMeter分布式运行脚本，以更好的达到预设的性能测试（并发）场景。同时，在前文的第一章节中也提到了 JMeter 命令行（非GUI）模式，那么此文就继续前文，针对 JMeter 的命令行模式进行详细解说。 一、应用场景1、无需交互界面或受环境限制（linux text model）2、远程或分布式执行3、持续集成，通过shell脚本或批处理命令均可执行，生成的
2017-09-05 14:02:29
422
转载 Linux Watch命令
watch是一个非常实用的命令，基本所有的Linux发行版都带有这个小工具，如同名字一样，watch可以帮你监测一个命令的运行结果，省得你一遍遍的手动运行。在Linux下，watch是周期性的执行下个程序，并全屏显示执行结果。你可以拿他来监测你想要的一切命令的结果变化，比如 tail 一个 log 文件，ls 监测某个文件的大小变化，看你的想象力了！1．命令格式：watch[参数][命令]
2017-09-05 13:54:49
1219
转载 windows下处理占用端口
今天在运行一个非常挫的Server的时候，报错端口80被占用，于是各种找办法解决。最后我的解决的方案列出来吧，给遇到相同的问题的人做一些参考。第一步，找到哪个程序占用端口运行－>CMD打开DOS窗口netstat -ano | findstr 8011然后，找到这一行TCP 0.0.0.0:80 0.0.0.0 LISTENING 4744最后的4744就是占用
2017-09-01 10:41:37
250
转载 如何学习ulimit的值
ulimit值参数值大小的设置很重要，root的ulimit默认值是65536，普通用户的ulimit值默认是1024，当进程数过多的时候甚至连ssh都成问题。max user processes ，用户最大进程数。实验环境为centos6.5_x64 工具/原料linuxcentos6.5_x64方法/
2017-08-31 12:29:33
510
转载 python使用Fabric模块实现自动化运维
python使用Fabric模块实现自动化运维阅读目录一、安装Fabric命令说明示例fabfile文件的编写Fabric常用APIFabric应用示例说明 简介:Fabric是基于Python实现的SSH命令行工具，简化了SSH的应用程序部署及系统管理任务，它提供了系统基础的操作组件，可以实现本地或远程shell命令，包括：命令执行、文件上传、下载及完整执行日志
2017-08-30 15:55:21
909
转载 ansible
ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。主要包括：(1)、连接插件connec
2017-08-30 15:19:26
23917
原创 buildbot搭建持续集成环境-windows
建立buildbot master 在终端中执行如下命令：buildbot create-master buildbot_master 该命令会在当前目录下生成buildbot_master目录，且该目录下有一个配置文件为master.cfg.sample 1). 在启动之前，可以测试下配置文件。 终端下执行如下命令：cd buildbot_master
2017-08-30 10:00:28
1651
1
原创 Buildbot windows下安装
折腾了好久，记录下这些折腾的曲折过程。官方参考文档是：http://trac.buildbot.net/wiki/RunningBuildbotOnWindows主要是这么一些依赖。1,2,4,5 都好说，奇葩的是安装完twisted的版本，import twisted死活找不到，而且在python的安装目录下site_package里面也没有。可能的原因：1，版本和zope以
2017-08-30 09:16:41
1011
转载 BuildBot
Buildbot初探什么是BuildbotBuildbot是一个持续集成和自动化测试框架，我在毕业刚进VMware不久的一个和以色列人合作的项目中接触到Buildbot，当时我真的恨死它了。。。经常随意的提交了一些代码后，Buildbot就开始勤勤恳恳的把所有的代码下载下来然后跑各种测试，跑完后出现错误还会自动发E-mail给我，和我的上级！！！特别是当时和以色列人合作，好几次下班前提
2017-08-29 10:01:15
2717
转载 Pyhton Twisted库
什么是Pyhton Twisted库：1）事件驱动的网络引擎，基于开源的MIT的license。可以支持python2 和pyton3.Twisted是异步编程模型。Twisted支持许多常见的传输及应用层协议，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。wisted架构概览Twisted是一个事件驱动型的网络引擎。由于事件驱动编程
2017-08-29 09:47:17
1882
转载 Linux命令-工作管理命令：&,ctrl+z,jobs,fg,bg
bg命令用于将作业放到后台运行，使前台可以执行其他任务。该命令的运行效果与在指令后面添加符号&的效果是相同的，都是将其放到系统后台执行。在Linux系统中执行某些操作时候，有时需要将当前任务暂停调至后台，或有时须将后台暂停的任务重启开启并调至前台，这一序列的操作将会使用到 jobs、bg、和 fg 三个命令以及两个快捷键来完成。语法bg(参数)参数作业标识：指定需要放到后台的作业标识号。实例使用b
2017-08-23 16:10:16
350
转载 GIT实现部分提交
每次当我正为一个特性努力时，总会发现我需要先对代码的另外一部分进行扩展。如果我不能这样做，我会在那个点创建一个分支。但是我没有。我会以两个特性类和真实特性的附加改变作为结尾。使用Git分别提交两个版本的代码，同时保证每个代码都被编译很容易。我正在做我的新的大项目；命令行计算器。我已经完成了加法而且我对我已经完成的部分感到很高兴，我将要加入减法部分。在完成减法的途中我发现我需要对控制台输出格
2017-08-07 13:11:31
9834
转载 解析#pragma
在所有的预处理指令中，#pragma 指令可能是最复杂的了，它的作用是设定编译器的状态或者是指示编译器完成一些特定的动作。#pragma指令对每个编译器给出了一个方法,在保持与C和C++语言完全兼容的情况下,给出主机或操作系统专有的特征。依据定义,编译指示是机器或操作系统专有的,且对于每个编译器都是不同的。其格式一般为: #pragma Para 其中para 为参数，下面来看一些常用
2017-07-27 13:21:48
1306
转载 Linux资源管理相关的命令
如何查看CPU和内存的统计数据FREE(1) Linux User's Manual FREE(1)NAME free - Display amount of free and used memory in the systemSYNOPSIS
2017-07-27 10:43:30
551
转载 MongoDB $type 操作符和 条件操作符
描述在本章节中，我们将继续讨论MongoDB中条件操作符 $type。$type操作符是基于BSON类型来检索集合中匹配的数据类型，并返回结果。MongoDB 中可以使用的类型如下表所示：类型数字备注Double1 String2 Object3 Array4 Binar
2017-07-14 11:04:33
774
转载 NoSQL 简介
NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。NoSQL 是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。什么是NoSQL?NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Onl
2017-07-14 09:47:38
397
转载 BRD、MRD 和 PRD
作者：张鹏涛TAO链接：https://www.zhihu.com/question/19655491/answer/49122402来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。BRD 商业需求文档 Business Requirement Document MRD 市场需求文档 Market Requirement Document
2017-07-13 15:12:54
2761
转载 最全面的Kano模型详解，及Kano模型为何是5种需求？
Kano模型（Kano model）是什么？维基百科：The Kano model is a theory ofproduct development and customer satisfactiondeveloped in the 1980s by ProfessorNoriaki Kano, which classifies customer preferences into
2017-07-13 14:56:56
9785
转载 KANO模型以及产品经理的素质模型
狩野模式(Kano mode1)： 提出者东京理工大学教授狩野纪昭，受行为科学家赫兹伯格的双因素理论的启发。基本内容：KANO模型定义了三个层次的顾客需求:基本型需求、期望型需求和兴奋型需求。这三种需求根据绩效指标分类就是基本因素、绩效因素和激励因素。 基本型需求是顾客对企业提供的产品／服务因素的基本要求。这是顾客认为产品／服务“必须有”的属性或功能。当其特性不充足(不满足顾客需求)
2017-07-13 14:41:39
626
转载 关于产品经理
接触到一个公司有这方面职位的招聘，所以就顺手了解了一下这个职位，顺便记录一下。产品经理的能力模型：产品经理的核心能力模型：http://www.woshipm.com/pmd/438167.html来自知乎的链接：作者：知乎用户链接：https://www.zhihu.com/question/19571131/answer/42861515
2017-07-13 14:21:52
667
转载 一图秒懂“天使投资、VC、PE” 与“A轮、B轮、C轮融资”的关系
我们经常看到朋友圈里某某公司获得了某轮融资，所谓的A轮B轮究竟是个什么概念呢？今天就跟小伙伴们分享一下A、B、C、D轮融资与天使投资、VC、PE的关系。 天使投资（AI）：天使投资所投的是一些非常早期的项目，有些甚至没有一个完整的产品和商业计划，或者仅仅只有一个概念。天使投资一般在A轮后退出，天使投资是风险投资的一种,投入资金额一般较小。天使投资人通常是3f即家人、朋友和傻瓜(Family、
2017-07-13 10:57:28
163437
原创 C++ 一些小的知识点
很久不接触C++了，工作需要，很多东西都忘记了，只好把一些细小的知识点记录在这里帮助自己记忆。Declaring a member function with the const keyword specifies that the function is a "read-only" function that does not modify the object for wh
2017-07-10 09:55:01
288
转载 常用 Java Profiling 工具的分析与比较
常用 Java Profiling 工具的分析与比较在 Java 程序的开发过程中，不可避免地会遇到内存使用、性能瓶颈等问题。Java Profiler 工具能帮助开发人员快速、有效地定位这些问题，因此成为了 Java 开发过程中的一个重要工具。目前市场上的 Java Profiler 工具种类繁多，本文将对目前比较常见的几种工具进行简要介绍，并从功能、性能等角度作比较，从而帮助 Ja
2017-03-29 15:02:55
8722
原创 Netconf
Netconf属于软件定义网络的管理和控制协议。ETCONF协议，由RFC 6241定义，用以替代命令行界面(command line interface, CLI)、简单网络管理协议(Simple Network Management Protocol, SNMP)以及其它专有配置机制。管理软件可以使用NETCONF协议将配置数据写入设备，也可从设备中检索数据。所有数据用可扩展标记语
2017-03-28 14:24:54
12909
1
原创 DHCP TFTP SFTP LDAP
LDAP：LDAP服务器提供了访问、认证和授权的集中管理。他是很容易自定义的并且能够： 用户和用户组管理集中化 信息存储集中化 设置安全和访问控制 安全委托读取和修改权 服务于几乎所有平台 有效地缩放LDAP是一个轻量级的产品，主要目的是为了查，因此在架构和优化主要是针对读，而不是写。但并不是说LDAP不能满足，只是说强项不在这里。LDAP作为一个统一认证的解决方案，主要的优
2017-03-27 14:37:53
1370
转载 使用 Contest 分析测试用例的代码覆盖率
解决什么问题问题的提出时这样的：对于测试人员来说，首先面临的问题就是无法度量测试用例的质量，如果测试工程师花费大量时间写的测试用例不能有效地覆盖重要的实现代码，那么可以表明这样的测试用例不是优良的。同时可以根据测试覆盖了的报表来分析为什么没有覆盖到重要的代码，接着需要进行改进测试用例的代码覆盖率达到满意的结果。代码覆盖率高低根据产品的不同而不同：70%，80% 甚至 100% 都是可能的。对于
2017-03-17 16:37:48
3180
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人