- 博客(117)
- 收藏
- 关注
RSS订阅原创 上行带宽.下行带宽
ADSL（Asymmetric Digital Subscriber Loop）技术是一种不对称数字用户线实现宽带接入互连网的技术，ADSL作为一种传输层的技术，充分利用现有的铜线资源，在一对双绞线上提供上行640kbps（理论上行1Mbps）下行8Mbps的带宽，从而克服了传统用户在"最后一公里"的"瓶颈"，实现了真正意义上的宽带接入。 上行速率一般是指从你的电脑上传的速度，也就说别人从你的电脑...
2017-01-30 21:51:40
367
原创 计算机网络名词
1. OSI：开放系统互连 2. TDM：时分多路复用 3. FDM：频分多路复用 4. WDM：波分多路复用 5. HUB：集线器 6. DTE：数据终端设备 7. DCE：数据电路端接设备 8. LAN：局域网 9. MAN：城域网 10. WAN：广域网 11. MAC：介质访问控制 12. LLC：逻辑链路控制 13. CSMA/CD：带冲突检测的载波侦听多路访问协议 14....
2017-01-30 21:17:09
224
原创 计算机系统结构
计算机体系结构就是指适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据库和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操...
2017-01-27 16:54:39
213
原创 App架构经验总结
架构因人而异，不同的架构师大多会有不同的看法；架构也因项目而异，不同的项目需求不同，相应的架构也会不同。然而，有些东西还是通用的，是所有架构师都需要考虑的，也是所有项目都会有的需求，比如API如何设计？架构如何分层？开发环境和生产环境如何分离？这几年，我负责研发过的App，有餐饮类的、社交类的、智能家居类的、电商类的、新闻媒体类的等等。当有了一定的经验之后，你总会有一些自己的心得体会。而以下内...
2017-01-24 19:11:36
109
原创 Hadoop Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 ...
2017-01-24 19:07:58
88
原创 Hadoop数据操作系统YARN全解析
“ Hadoop 2.0引入YARN，大大提高了集群的资源利用率并降低了集群管理成本。其在异构集群中是怎样应用的?Hulu又有哪些成功实践可以分享? 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许多个应用程序运行在一个集群中，并将资源按需分配给它们，这大大提高了...
2017-01-24 19:07:48
103
原创 机器语言
机器语言是计算机执行命令时直接读取的二进制码汇编语言一般来说面对的对象是用户，是容易读容易记的，机器在读取时会先转换成机器语言，在执行。 在微程序控制的计算机中，将由同时发出的控制信号所执行的一组微操作称为微指令。所以微指令就是把同时发出的控制信号的有关信息汇集起来形成的。将一条指令分成若干条微指令，按次序执行就可以实现指令的功能。若干条微指令可以构成一个微程序，而一个微程序就对应了一...
2017-01-23 14:28:35
174
原创 zData Light
zData Light 是基于x86架构的高性能数据库服务器整体解决方案（一体机），基于自主研发的Light Storage 软件，将服务器、PCle闪存卡、高速互联设备完美集成，结合RAC架构深度优化整合，高性能、高可用、易扩展、低成本的数据库超融合存储解决方案。云和恩墨通过zData架构，快速解决天安人寿报表系统的高I/O压力，实现系统性能高效、稳健运行。 zData架构是快速解决报...
2017-01-23 14:24:31
462
原创 MPP,SMP,NUMA概念介绍
1.1、 MPP架构介绍MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。 1...
2017-01-23 13:50:29
121
原创 FusionInsight企业级大数据平台
FusionInsight是华为面向众多行业客户推出的，基于Apache开源社区软件进行功能增强的企业级大数据存储、查询和分析的统一平台。它以海量数据处理引擎和实时数据处理引擎为核心，并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了敏捷、智慧、可信的平台软件、建模中间件及OM系统，让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现全新价值点和企业商机。 ...
2017-01-23 13:48:48
494
原创 MPP DB 是 大数据实时分析系统
大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《 实时分析系统 (HIVE/HBASE/IMPALA) 浅析 》讨论业界当前常见的方案。互联网公司用得比较多是 HIVE/HBASE ，如腾讯基于 HIVE 深度定制改造，改名为 TDW ，小米等公司选用 HBASE 等。关于 HIVE/HBASE/IMPALA 介绍等可以看我前面的文章。 当前在实时分析系统中...
2017-01-23 13:37:50
960
原创 OpenStack
OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基...
2017-01-22 14:22:44
68
原创 neo4j 查询cypher话语
neo4j 查询cypher语句最近使用nosql数据库neo4j，针对其综合查询学习使用了cypher语句。分享总结：1.根据索引为nePort，针对id模糊查询全部节点。根据id排序，limit只去前10条记录start n = node:nePort('id:*') match (x)-[:NE_PORT]->(n)return n,xorder by n.id limit 102...
2017-01-22 14:22:08
243
原创 XSS的原理分析与解剖
xss是一门又热门又不太受重视的Web攻击手法，为什么会这样呢，原因有下：耗时间、有一定几率不成功、没有相应的软件来完成自动化攻击、是一种被动的攻击手法等。 《xss攻击手法》一开始在互联网上资料并不多(都是现成的代码，没有从基础的开始)，直到刺的《白帽子讲WEB安全》和cn4rry的《XSS跨站脚本攻击剖析与防御》才开始好转。我这里就不说什么xss的历史什么东西了，xss是一门又...
2017-01-22 14:21:56
103
原创 MySQL与PostgreSQL比较 哪个数据库更好
一、 PostgreSQL 的稳定性极强， Innodb 等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步，然而很多 MySQL 用户都遇到过Server级的数据库丢失的场景——mysql系统库是MyISAM的，相比之下，PG数据库这方面要好一些。二、任何系统都有它的性能极限，在高并发读写，负载逼近极限下，PG的性能指标仍可以维持双曲线甚至对数曲线，到顶峰之后不再下降，而 MySQL ...
2017-01-22 14:18:40
400
原创 Neo4j图数据分页处理
首先简单介绍下Neo4j，Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中，它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络（从数学角度叫做图）而不是表中。Neo4j也可以被看做是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。Neo4j中涉及到几个关键的实体对象，分别是Node（节点）、Relatio...
2017-01-22 14:18:28
1832
原创 什么叫容灾
容灾系统是指在相隔较远的异地，建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外（如火灾、地震等）停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个IT节点的影响，提供节点级别的系统恢复功能。从其对系统的保护程度来分，可...
2017-01-21 17:17:47
771
原创 avro 是什么
Avro [词典] 阿弗罗; 1、 简介Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存...
2017-01-21 17:17:08
891
原创 Hadoop和Spark的异同
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数...
2017-01-21 17:16:55
92
原创 宽带是多少
理论速度1.25M,实际大约打个七八折.800KB--1000KB 带宽的单位是bit 下载速度的单位是byte 1byte=8bit 所以10M带宽=1250KB/s下载速度 100兆 带宽一般是指下载的理论速度，0.5M=0.5*1024/8=512KB/8=64KB/s=512kbps，1M=1024/8=128KB/s，1.5M=1.5*1024/8=192KB/s，2M=2*...
2017-01-21 17:13:40
634
原创 Sqoop是什么
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块...
2017-01-21 17:13:31
125
原创 关系型数据库与NOSQL
关系型数据库把所有的数据都通过行和列的二元表现形式表示出来。 关系型数据库的优势：1. 保持数据的一致性（事务处理）2.由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处）3. 可以进行Join等复杂查询其中能够保持数据的一致性是关系型数据库的最大优势。 关系型数据库的不足：不擅长的处理1. 大量数据的写入处理2. 为有数据更新的表做...
2017-01-20 10:43:01
113
原创 U是什么
U是一种表示服务器外部尺寸的单位(计量单位：高度或厚度)，是unit的缩略语，详细的尺寸由作为业界团体的美国电子工业协会（EIA）所决定。之所以要规定服务器的尺寸，是为了使服务器保持适当的尺寸以便放在铁质或铝质的机架上。机架上有固定服务器的螺孔，以便它能与服务器的螺孔对上号，再用螺丝加以固定好，以方便安装每一部服务器所需要的空间。规定的尺寸是服务器的宽（48.26cm（19英寸））与高...
2017-01-20 10:42:31
1646
原创 hive的介绍
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的...
2017-01-20 10:14:07
93
原创 云服务
云服务[1] 是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。[1] 云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云服务指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。 ...
2017-01-20 10:05:03
2657
原创 HBase条件查询（多条件查询）
HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan） 实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意：1、scan可以通过se...
2017-01-20 09:54:58
311
原创 Neo4J简介与安装
1.简介“Neo4j是一个高性能的，非关系的，具有完全事务特性的,鲁棒的图数据库。” neo4j在处理复杂的网络数据时候，具有很好的性能表现[1]，适用于社交网络，动态网络等场景。它基于java语言实现，有两个分发版本，社区版(community version)以GPLv3的许可在Github上开源，源码地址:https://github.com/neo4j/community；企业版，...
2017-01-19 11:34:07
85
原创 Hadoop、Spark等5种大数据框架对比
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数...
2017-01-19 11:33:53
2432
原创 hadoop和关系型数据库系统比较
Hadoop提供了一个稳定的共享存储和分析系统，存储由HDFS实现，分析由MapReduce实现。针对每个查询，每个数据库集（至少是很大一部分）都会被处理。 为什么不通过使用数据库加上更多磁盘来做大规模批量分析？为什么我们还需要MapReduce？ 1、磁盘驱动器寻址时间的速度远远慢于传输速率的提高速度，寻址就是将磁头移动到特定位置进行读写操作的工序，它的特点是磁盘操作有延迟，而传输速率对应磁...
2017-01-19 11:33:37
2950
原创 neo4j初次使用学习简单操作-cypher语言使用
Neo4j 使用cypher语言进行操作Cypher语言是在学习Neo4j时用到数据库操作语言（DML），涵盖对图数据的增删改查 neo4j数据库简单除暴理解的概念：Neo4j中不存在表的概念，只有两类：节点(Node)和关联(Relation)，可以简单理解为图里面的点和边。在数据查询中，节点一般用小括号()，关联用中括号[]。当然也隐含路径的概念，是用节点和关联表示...
2017-01-18 11:10:48
243
原创 Linux 高可用（HA）集群之keepalived详解
大纲一、前言二、Keepalived 详解三、环境准备四、LVS+Keepalived 实现高可用的前端负载均衡器 一、前言 这篇文章是前几篇文章的总结，我们先简单的总结一下我们前面讲解的内容，前面我们讲解了，LVS（负载均衡器）、Heartbeat、Corosync、Pacemaker、Web高可用集群、MySQL高可用集群、DRDB、isc...
2017-01-18 11:10:07
469
原创 ha----双机集群(HA)系统简称
HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 LATCH HA 是X...
2017-01-18 11:09:25
1080
原创 Cypher查询语言--Neo4j中的SQL
“Cypher”是一个描述性的图形查询语言，允许不必编写图形结构的遍历代码对图形存储有表现力和效率的查询。Cypher还在继续发展和成熟，这也就意味着有可能会出现语法的变化。同时也意味着作为组件没有经历严格的性能测试。Cypher设计的目的是一个人类查询语言，适合于开发者和在数据库上做点对点模式（ad-hoc）查询的专业操作人员（我认为这个很重要）。它的构念是基于英语单词和灵巧的图解。...
2017-01-18 11:06:34
165
原创 流式大数据处理的三种框架：Storm，Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括...
2017-01-17 10:18:15
65
原创 Java集合框架List，Map，Set等全面介绍
Java Collections Framework是Java提供的对集合进行定义，操作，和管理的包含一组接口，类的体系结构。 Java集合框架的基本接口/类层次结构： java.util.Collection [I] +--java.util.List [I] +--java.util.ArrayList [C] +--java.util.LinkedList [C...
2017-01-17 10:12:52
40
原创 堆，栈，队列，串
栈：特点就是一个先进后出的链式结构。队列：特点就是一个先进先出的链式结构。串不是链式结构，是零个或多个字符组成的有限序列。一般记S=‘a1a2....an ’其中，S是串名，单引号括起的字符序列是串值；ai（1〈=i〈=n）可以是字母，数字或其它字符；串中所包含的字符个数为该串的长度。长度为零的串称为空串，它不包含任何字符。 堆栈和栈就是一个概念！！！ 队列是先进先出...
2017-01-17 10:12:41
280
原创 Java基础 字符、字符串
字符 Java用char类型来表示字母、数字、标点符号以及其他特殊字符。Java基于Unicode4.0来表示每一个字符，Unicode的设计目标是容纳世界上所有主要语言中的字符。 Java使用16位即2个字节来表示字符，这意味着Java可以表示216，即65536个字符，看起来很多，但是还不能支持整个Unicode标准中的所有字符。如果超过这个范围，Java允许使用int类型...
2017-01-17 10:11:47
113
原创 根域名服务器
<div class="iteye-blog-content-contain" style="font-size: 14px;"><div class="para">全球共有13台<strong>根逻辑域名服务器</strong>。这13台逻辑根域名服务器中名字分别为“A”至“M”，真实的根服务器在2014年1月25日的数据为386台
2017-01-17 10:08:13
325
原创 dns （域名系统）
DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。在RFC文档中RFC 2181对DNS有规范说明，RFC 2136对DNS的动态更新进行说...
2017-01-16 10:20:17
716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人