ejinxian的专栏

大数据应用程序开发人员在从 Hadoop 文件系统或 Hive 表读取数据时遇到了挑战。 合并作业（一种用于将小文件合并为大文件的技术）有助于提高读取 Hadoop 数据的性能。 通过合并，文件的数量显著减少，读取数据的查询时间更短。 当通过 map-reduce 作业读取 Hive 表数据时，Hive 调优参数也可以帮助提高性能 Hive表是一种依赖于结构化数据的大数据表。数据默认存储在 Hive 数据仓库中。为了将它存储在特定的位置，开发人员可以在创建表时使用 lo..

Greenplum数据库宣布开源。DELL将Greenplum数据库一体机的硬件配置也开放给了Greenplum社区。Greenplum成为了全球首个MPP数据仓库的软件和硬件同时开源的平台，我们坚信开放是未来的趋势。开源的硬件BOM：Dell BOMs包括SAS SSD，NVMe HHHL卡，BOSS卡和40GbE互连模块。请参阅下面的详细信息，以及相关Dell BOM的链接相关资源： Dell PowerEdge BOMs：https://greenplum.org/downl..

Apache IoTDB 是一个开源物联网原生数据库，旨在满足大规模物联网和工业物联网（IoT 和 IIoT）应用对数据、存储和分析的严苛要求 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求 IoTDB 作为高性能轻量级的开源物联网原生数据库成为 Apache 大数据生态的重要成员，聚焦...

通常项目进行多租户管理后，领导又需要有某个用户可以查询所有多租户的信息，为了方便管理和统计分析，因此Apache Drill和 Prestodb 合并多租数据源户统一查询Apache Drill Apache Drill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法，支持本地文件、HDFS、HBase、MongoDB等后端存储，支持Parquet、JSON、CSV、TSV、PSV等数据格式。本质上Apache Drill是一...

一、概述Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，它基于 Lucene 实现了强大的全文检索功能。本文针对一个通用的应用场景，讲解如何利用 ElasticSearch 快速实现对关系型数据库文本和常见文档格式附件的全文检索。二、应用场景描述数字图书馆有一套基于 MySQL 的电子书管理系统，电子书的基本信息保存在数据库表中，书的数字内容以...

1. 性能：读/写工作负载、IO 密集型工作负载、以及高竞争（"hot spot"热点竞争问题）工作负载。2. NoSQL：提供 NoSQL 存储功能，目前在 8.0 版本中更大的改进。消除了对独立的 NoSQL 文档数据库的需求，而 MySQL 文档存储也为 schema-less 模式的 JSON 文档提供了多文档事务支持和完整的 ACID 合规性。3. 窗口函数(Window...

下载MongoDB的官网是：http://www.mongodb.org/ 可以在官网下载，比较麻烦，直接下载zip，http://dl.mongodb.org/dl/win32/x86_64安装1.创建路径，D:\service\mongodb 2.在D:\service\mongodb下解压的zip文件，然后在D:\service\mongodb下新建data文件夹，如：D:\service\...

前言Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说Redis是实现网站高并发不可或缺的一部分。我们使用Redis时，会接触Redis的5种对象类型（字符串、哈希、列表、集合、有序集合），丰富的类型是Redis相对于Memcached等的一大优势。在了解Redis的5种对象类型的用法和特点的基础上，进一步了解Redis的内存模型，对Redis的使用有很大帮助...

1.Delete删除不存在的数据导致死锁原文：Delete&Insert引发的Mysql死锁mysql的锁分为三种(按照锁定的行数划分):1.record lock：记录锁，也就是仅仅锁着单独的一行2.gap lock：区间锁，仅仅锁住一个区间（注意这里的区间都是开区间，也就 是不包括边界值，至于为什么这么定义？innodb官方定义的）3.next-key lock：rec

1. 概述1.1. 数据分布式切分方式分布式架构中最难解决的是数据分布式问题，大部分数据库中间件都以分库分表作为切分方式，好处是通用，但也存在以下问题：扩容过程需要以切片为单位在库间移动数据。扩容规模受到切片数量限制，如果业务发展增长规模大大超出初期预估会导致切片数量不够用，陷入数据硬迁移的困境。同一业务对象的数据分散在不同库中，无法做聚合、连接等复杂处理。

2016-4-2 add:KB-Transaction in Linq to SQL  http://blog.darkthread.net/post-2008-05-14-transaction-in-linq-to-sql.aspx.......................如果要做跨資料庫的Distributed Transaction，就要靠好用的Tran

UML是一种建模语言，是系统建模的标准。我们之所以建模是因为大规模的系统设计时相当复杂的，当系统比较复杂时就会涉及到以下这几个问题：开发人员如何与用户进行沟通来了解系统的需求？开发人员之间如何沟通以确保各个部门能够无缝地协作？    而UML是我们在构造个特种模型时首选的一种建模工具，去描述系统的需求和设计，在对复杂的工程进行建模时，系统可由单一的图形来描述，但是单一图形不

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、Beeload、Ket

WCF Data Service 是需要 ORM 的支持的，当然，主流的 ORM 都已经支持 WCF Data Service 了，包括（但不限于） Entity Framework、Linq to SQL、ALinq 这些主流的 ORM 框架。一、创建 Model使用Wcf Data Service，首先要做的工作就是创建 Model 了，关于如何创建 Model 的