- 博客(21)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 图计算学习笔记
通用图数据产品分类：1.基于遍历算法的、实时的图数据库：Neo4j、DEX、OrientDB、Infinite Graph2.以图顶点为中心的、基于消息父老乡亲批处理的并行引擎：GoldenOrb、Giraph、Pregel和Hama。基于BSP（Bult Synchronous Parallel Computing Model，即“大同步”模型）模型实现并行图处理作业。BSP过程包括...
2018-10-05 10:01:00
626
原创 流计算学习笔记
流数据的特征：1.数据快速持续到达；2.来源众多，格式复杂；3.数据量大，但不十分注重存储，经过处理后要么丢弃要么归档；4.注重数据整体价值而非个体价值；5.新到达的数据顺序无法控制；6.随着时间的流逝而价值降低。流计算：实时获取来自不同数据源的海量数据，实时分析处理，获得有价值的信息。实时查询服务与传统查询服务的区别在于，传统查询服务是用户主动查询，而实时查询服务...
2018-09-30 17:00:26
801
原创 Spark学习
简介基于DAG的任务调度执行机制，采用内存计算的方式，用于大规模数据处理的快速、通用引擎，尤其适用于迭代计算。Spark具有运行模式多样的特点，可以独立部署在集群中，也可以运行在Hadoop集群中，可以部署在EC2云环境中。可以访问HDFS、Cassandra、HBase、Hive等多种数据源。Spark生态主要包括Spark Core（数据处理引擎，也为其他组件提供基础数据处理组件）...
2018-09-29 15:49:17
206
原创 Hadoop圈常用组件简介
Pig提供类似SQL的Pig Latin语言，支持filter，groupby，join，orderby等，支持用户自定义函数；pig会将用户编写的脚本转换为MR（与Hive类似），并自动优化，执行MR进行查询操作。pig可以加载数据、表达转换数据并存储最终结果。先使用Load语句从文件中加载数据，再通过转换或查询语句进行数据处理，最后通过Store语句将数据输出到文件中或加载到Hive中...
2018-09-28 17:49:41
364
原创 Hadoop架构学习
HDFS HA中，设计了两个NN，一个处于活跃状态，一个处于待命状态，由Zookeeper进行状态监测、控制和切换，由于待命NN需要时刻准备接替活跃状态NN的工作，所以需要待命NN与活跃NN实时保持元数据的一致性，所以，活跃状态NN和待命状态NN会共用一份共享存储系统，实时同步EditLog信息，而映射表信息的同步是通过DN同时向活跃状态NN和待命状态NN汇报的方式实现的。HDFS Feder...
2018-09-28 15:44:17
143
原创 数据仓库学习之Hive和Impala
数据仓库的概念：一个面向主题的、集成的、相对稳定的、可反映历史变化的数据集合，用于支持管理决策。Hive可以理解为是一种用户编程接口，它本身并不直接存储数据也不处理数据，而是通过接口的封装和调用，通过Hadoop的组件进行相关操作的。通过Hive可以很方便的将构建在关系数据库上的数据仓库称赞到Hadoop上，并且通过HiveSQL运行MapReduce进行分布式查询计算。Hive的特点适合...
2018-09-28 10:16:11
1457
1
原创 数据仓库之Data Vault模型总结
一，Data Vault模型有几个主要的组件，这里先总结一下：1.Hub组件，是一个数据表，用于记录在业务应用中常用到的业务实体键值，如员工ID，发票号、客户编号、车辆号等。表内包括几个关键字段：代理主键（Surrorgate Key），即hub表的主键；业务实体主键（Business Key）,记录业务键值；装载时间（Load Data/Time Stamp），记录该业务键值的记录时间；...
2018-09-25 17:25:11
17340
1
原创 大数据原理笔记——MapReduce
解决能够满足“分而治之”处理要求的场景。处理结果之间不能相互依赖。map任务之间是不能通信的，reduce之间也不会发生信息交换。处理过程：inputformat,负责数据的输入，验证数据格式及文件切分（split），通过RR（record-reader）过程，根据切片后文件的位置信息，从hdfs中将文件读取出来以K-V的形式传递给map，map后的中间结果经过shuffle，对中间结果进...
2018-09-20 12:04:02
310
原创 大数据原理笔记——云数据库（三）
SQL Azure云端关系型数据库，构建在Sql Server之上。以表格组（table group）和行组（row group）作为分区逻辑主体，将相关表格中存在相关性的记录（外键关联），分到同一区域进行存储。同一行组需要在同一分区中。事务也只支持同一行组的事务，不支持跨分区事务。冗余存储，分区是复制、迁移、负载的基本单位，物理模型与HDFS的备份策略类似，默认分为3个复本，每个复本...
2018-09-19 18:10:27
330
原创 大数据原理笔记——云数据库（二）
Amazon AWS及云数据库 总体架构图一、AWS Globle Infrastructure(全球基础设施)1、划分为10个region，相互独立，自成云服务体系；2、Availabilet...
2018-09-19 17:29:35
243
原创 大数据原理笔记——云数据库（一）
云数据库的基础是云计算，这自不必多说。因此云数据库可以满足以下三点个性化需求，都是从云中获取的：1、海量数据存储；2、低成本数据存储；3、根据存储需求动态调整；云数据库，只是将各类数据库（SQL/NOSQL），以云和服务的形式提供给用户使用，并非一种新的数据库，它并没有自己独立的数据存储模型等。对用户来说，它只是使用方式的变化。Amazon的云数据库一个优点是数据库各类丰富：R...
2018-09-19 11:20:05
1253
原创 大数据治理平台建设过程（根据某银行大数据治理平台建设方案总结）
一、数据治理架构 分为三个层次，分别为战略与治理保障、大数据管理和大数据应用与服务，其中战略与治理保障包括，数据战略规划与评估，数据治理组织与职责、数据制度与管理流程；大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理；大数据应用与服务包括，数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。二、数据质量问题的发现与整治过程...
2018-09-18 17:37:04
9040
1
原创 MongoDB杂记
一、MongoDB的并发性能较强，一个重要的原因是，它不需要进行复杂的表连接操作，即使是复杂信息，也是通过一个document进行存储，当关系型数据库需要锁定多张表进行关联操作时，MongoDB只需要一次查询即可返回结果，占用表的数量和时间都很短，这大大提高了MongoDB的并发性；二、MongoDB中的Collection就相当于关系数据库中的table，document相当于row，而且，...
2018-09-17 12:05:04
139
转载 WS-*服务
Web服务作为实现SOA中服务的最主要手段。跟Web Service相关的标准，它们大多以“WS-”作为名字的前缀，所以统称WS-*。 Web服务最基本的协议包括UDDI，WSDL和SOAP，通过它们，可以提供直接而又简单的Web Service支持。 但是基本协议无法保证企业计算需要的安全性和可靠性，所以我们需要增加这方面的协议，比如WS-Securi
2015-07-30 11:21:56
1277
转载 NPOI操作EXCEL
1、NPOI官方网站：http://npoi.codeplex.com/ 可以到此网站上去下载最新的NPOI组件版本2、NPOI在线学习教程（中文版）： http://www.cnblogs.com/tonyqus/archive/2009/04/12/1434209.html 感谢Tony Qu分享出NPOI组件的使用方法3、.NET调用NPOI组件导入导出Excel的操作类
2015-03-27 23:34:19
543
转载 Bitmap BitmapImage
Convert a BitmapImage to Bitmap:private Bitmap BitmapImage2Bitmap(BitmapImage bitmapImage){ // BitmapImage bitmapImage = new BitmapImage(new Uri("../Images/test.png", UriKind.Relative)); u
2015-03-23 14:39:29
522
转载 "监听程序当前无法识别连接描述符中请求服务"解决方案
早上同事用PL/SQL连接虚拟机中的Oracle数据库，发现又报了“ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务”错误，帮其解决后，发现很多人遇到过这样的问题，因此写着这里。也许你没有遇到过，原因如下：你oracle安装成功后，一直未停止数据库（即数据库是启动的），客户端配置成功后，应该一直不会有什么问题。而一旦你和我同事一样，有时把Oracle安装
2015-03-11 10:23:31
544
转载 ADO.NET方式读取Excel 不完整问题
1、通过设置注册表将读取猜测列数据类型的行数改成不限制 ACE也可以用来访问Excel 2000-2003）。会默认扫描Sheet中的前几行来决定数据类型，这个行数是由注册表中Excel 2000-2003 : HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Jet\4.0\Engines\ExcelExcel 2007 : HKEY_L
2015-03-04 17:42:49
565
原创 regsvr32注册DLL注意
1. 使用regsvr32.exe 时会调用到Kernel32.dll、User32.dll和Ole32.dll三个文件；2.使用cd %~dp0进行路径转换，所要操作的DLL文件与批处理文件在同一目录下即可，否则可能需要使用全路径；
2014-12-30 15:13:12
675
转载 ACE OLEDB 12.0连接字符串(Excel 2007)
Xlsx文件 这是用来连接带Xlsx扩展名的Excel 2007文件。这是不带宏的Office Open XML格式。以下是语法格式：Provider=Microsoft.ACE.OLEDB.12.0;Data Source=c:/myFolder/myExcel2007file.xlsx;Extended Properties="Excel 12.0 Xml;H
2014-12-30 15:02:09
512
原创 一个普通程序员的苦与乐
头一次写博客，只是在读人月神话时突然感觉想写下点什么东西，那就写吧，人嘛，有时是要随兴一点儿的。 乐趣： 1.创造的乐趣，小孩儿用泥巴捏出个自认为很好玩或是与什么物品很相象的东西的时候就会抑制不住内心的喜悦，将自己的作品显示给别人看，人啊，总是希望自己有很多的观众，希望得到别人的认可。这也是我最初成为一名程序员时的心情，通过几行代码实现一个既定的功能，感觉很有
2009-05-19 16:25:00
846
C＃制作的P2P文件共享程序源码
2009-05-20
个人整理并重新排版的C语言经典算法百例
2009-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人