2017年09月_tao_wei162

原创 Elasticsearch的路由（Routing）特性

Elasticsearch路由机制介绍Elasticsearch的路由机制与其分片机制有着直接的关系。Elasticsearch的路由机制即是通过哈希算法，将具有相同哈希值的文档放置到同一个主分片中。这个和通过哈希算法来进行负载均衡几乎是一样的。而Elasticsearch也有一个默认的路由算法：它会将文档的ID值作为依据将其哈希到相应的主分片上，这种算法基本上会保持所有数据在所...

2017-09-28 16:52:14 178

原创 Elasticsearch 的 Shard 和 Segment

Shard（分片）一个Shard就是一个Lucene实例，是一个完整的搜索引擎。一个索引可以只包含一个Shard，只是一般情况下会用多个分片，可以拆分索引到不同的节点上，分担索引压力。segment elasticsearch中的每个分片包含多个segment，每一个segment都是一个倒排索引；在查询的时，会把所有的segment查询结果汇总归并后最为最终的分...

2017-09-28 16:05:52 251

原创大数据杂谈微课堂|Elasticsearch 5.0新版本的特性与改进

Elastic将在今年秋季的时候发布一个Elasticsearch V5.0的大版本，这次的微信分享将给大家介绍一下5.0版里面的一些新的特性和改进。5.0？天啦噜，你是不是觉得版本跳的太快了。好吧，先来说说背后的原因吧。相信大家都听说ELK吧，是Elasticsearch、Logstash、Kibana三个产品的首字母缩写，现在Elastic又新增了一个新的开源项目成员：Bea...

2017-09-26 09:57:25 160

原创磁道、扇区、柱面、磁头数、簇、MBR、DBR等磁盘基本知识

近来，仔细研究了发挥U盘的极限速度——磁盘扇区数精确调节！一文，并向hfsp 进行了请教，感觉对磁道、扇区、柱面、磁头数、簇、MBR、DBR等磁盘基本知识不是很了解，于是找到下面一篇文章，和朋友们共同学习。硬盘的DOS管理结构 1.磁道，扇区，柱面和磁头数硬盘最基本的组成部分是由坚硬金属材料制成的涂以磁性介质的盘片，不同容量硬盘的盘片数不等。每个盘片有两面，都可记录信息。盘片被分成许多扇形的...

2017-09-26 09:56:39 378

原创 ElasticSearch性能优化策略

ElasticSearch性能优化主要分为4个方面的优化。一、服务器部署 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参数搭配使用时，能够帮助提供服务器性能。 1.1> node.master: false node.data: true 该node服务器只作...

2017-09-26 09:51:41 359

原创 Spring Boot

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。外文名Spring Boot语 ...

2017-09-26 09:51:11 90

原创 AngularJS ng-show 指令

http://www.runoob.com/angularjs/angularjs-directives.htmlAngularJS 实例<divng-app=""ng-init="person={firstName:'John',lastName:'Doe'}"><p>姓为 {{ person.lastName }}</p></di...

2017-09-26 09:50:58 145

原创 diskpart 下的clean下的恢复数据

非常不小心，执行了diskpart 下的clean 结果250G的硬盘就成了一个未使用的磁盘。如何恢复遭diskpart clean清除的硬盘分区？回答：1.diskgen手动扫描应该是可以的，如果不行那就只能找专业公司了，我没见过比这个更厉害的软件（恢复分区）。还有就是你知道原分区大小和个数，可以重新这么分一下区不要格式化，用easy recovery或者可以恢复数据（或者快速...

2017-09-25 16:42:27 1919

原创 Elasticsearch与Solr

Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是L...

2017-09-25 16:24:54 79

原创 D盘不见了，用diskgenius恢复，没有用过不会，，能指导一下吗

估计是分区操作的时候失败了吧？硬盘的卷卸载后没有重新挂载上，导致出现分区“消失”的情况。【解决方案】打开diskgenius，在扩展分区列表里找到未挂载的分区(根据卷标名找！)。右键>指派新的驱动器号(盘符)，下拉列表里选择 D: ，点击确定按钮。如果找不到该分区，可能是执行了分区合并或者删除分区的操作！全部找回丢失的文件是不可能了，...

2017-09-25 16:24:38 4903 2

原创配置高性能Elasticsearch集群的9个小贴士

Loggly服务底层的很多核心功能都使用了Elasticsearch作为搜索引擎。就像Jon Gifford（译者注：Loggly博客作者之一）在他近期关于“Elasticsearch vs Solr”的文章中所述，日志管理在搜索技术方面产生了一些苛刻的需求，为满足这些需求，必须能够：在超大规模数据集上可靠地进行准实时索引 - 在我们的案例中，每秒有超过100,000个日志事件与此...

2017-09-25 10:02:34 139

原创 elasticsearch 把很多类型都放在一个索引下面会不会导致查询慢

主要看数据量ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。（本文主要介绍）索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的setti...

2017-09-25 09:45:44 1593

原创开源大数据查询分析引擎现状

大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域，撼动了RDBMS在商用数据库和数据仓库方面几十...

2017-09-23 11:26:49 103

原创常用单词的意思

DB 是字节DW是字，一个字就是二个字节主要用来输入数据比如DW 28,47 一、EDM软件介绍（图纸文档协同管理系统）EDM是对面企业非结构数据进行管理系统，系统要求员工通过客户端将图纸文档的新建、复制、修改都软件系统内进行，并且图文档都集中存储在服务器。系统通过权限分配，使得各个员工各司其职。文件归档和变更则依靠强大的工作流系统将办公变成自动化。文件的版本管理则能够追溯产品文件...

2017-09-23 11:19:47 109

原创腾讯大数据Hermes爱马仕的系统

腾讯大数据最近做了几件事，上线了一个官方网站http://data.qq.com/，将TDW(腾讯大数据库仓库）开源了，封闭的企鹅难得开放了一回。大数据网站上有一些资料，我看到一个叫Hermes爱马仕的系统挺有意思的，今天介绍下。关于实时分析系统我前面写个几篇文章分析，包括《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是大数据实时分析系统未来的选择吗？》《一...

2017-09-23 11:15:51 2294

原创 Oracle怎样把varchar2型转成number型

varchar2型转成number型的前提条件是varchar2中存放的数据必须是数字字符，否则在转换过程中会报错。使用函数：to_number具体方法：select to_number('100.10') from dual;结果：...

2017-09-23 11:13:07 12514

原创 oracle中字符串的大小比较，字符串与数字的比较和运算

Oracle比较字符串是根据ASCII码来的，第一个字母的ASCII大小比较如果相等再比较下一个，类推。字符串和数字进行操作是会报异常的，因为类型不一样不能进行比较。Oracle在执行SQL的时候有些时候会自动转换，比如：select * from chan_customer cc where cc.customer_id = '1';即使customer_id是数字型的也可以查出...

2017-09-23 11:08:18 3430

原创 greenplum 程序开发优化原则

greenplum 程序开发优化原则 1、批量数据处理后，无论成功与否，都应该进行vaccum analyze <table_name>. 2、对于大表的DISTINCT操作，请用 GROUP BY操作进行替代 3、对于大表的UNION操作，请用UNION ALL 加 group by进行改写 4、嵌套查询操作，尽量改写成连接查询操作 5、大表更新操作，尽量通过外连接+插入...

2017-09-22 14:07:53 169

原创开源大数据查询分析引擎现状

大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域，撼动了RDBMS在商用数据库和数据仓库方面几十年...

2017-09-22 03:04:16 76

原创大数据处理方面的 7 个开源搜索引擎

大数据是一个包括一切的术语,指的是数据集很大很复杂,他们需要特别设计的硬件和软件工具。数据集通常是 T 或者更大级别。这些数据集从各种各样的来源创建，包括传感器,收集气象信息,公开可用的信息,如杂志、报纸、文章。还包括购买交易记录、网络日志、医疗记录、军事侦察、视频和图像档案和大规模的电子商务等等。要分析这些数据需要专门的软硬件，本文介绍 7 个开源的搜索引擎适合用于大数据处理：1. A...

2017-09-22 03:01:54 478

原创 PostgreSQL 时序最佳实践 - 证券交易系统数据库设计 - 阿里云RDS PostgreSQL最佳实践...

PostgreSQL , 证券 , 时序数据 , JSON , HSTORE , 数组 , range索引 , BRIN块级索引 , 分时走势 , 线性回归 , MADlib , 机器学习1、数据写入需求:实时的数据写入，按查询维度的实时数据合并（比如秒数据实时写入。分钟，几分钟，。。。则实时合并）。数据分为不同粒度的分时数据。（精确到秒，分钟，几分钟，小时，天，。。。等）...

2017-09-22 01:06:02 1252

原创 bootstrap-datetimepicker 日期控件的开始日期

今天做日期控件，需求要求设置一个时间范围限制，选择从今天开始的日期才可以选择，今天以前都不可以选择主要体现在bootstrap-datetimepicker控件下面的2个日期参数weekStart: 1, startDate:new Date(日期),引用的基础库有<script type="text/javascript" src="./jquery/...

2017-09-22 00:59:48 186

原创 mysql重连，连接丢失：The last packet successfully received from the server

1.1 错误信息：Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 20,820,001 milliseconds ago. The last packet sent successful...

2017-09-21 14:20:40 320

原创 oracle数据库表、段、区、块的区别

oracle的逻辑结构包括表空间(tablespace)，段(segment),区（extent）,数据块(data block)oracle数据库在逻辑上是由多个表间组成的，表空间中存储的对象叫段，比如数据段，索引段，和回退段。段由区组成，区是磁盘分配的最小单位。段的增大是通过增加区的个数来实现的。每个区的大小是数据块大小的整数倍，区的大小可以不相同；数据块是数据库中最小的I/O单位，同时也...

2017-09-21 14:19:59 981

原创 DataX 产品说明

DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。 DataX用来解决什么? 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥...

2017-09-21 14:14:21 377

原创 PostgreSQL 时序最佳实践

以股票交易为例，一共有几千只股票。一年大概有240个交易日，交易日大概是从早上10点到下午4点。1、数据写入需求:实时的数据写入，按查询维度的实时数据合并（比如秒数据实时写入。分钟，几分钟，。。。则实时合并）。数据分为不同粒度的分时数据。（精确到秒，分钟，几分钟，小时，天，。。。等）2、数据的维度:每一只股票都会包含（时间，订单数，成交量，平均价格，最高价，最低价，开始价...

2017-09-21 12:26:22 5753

原创 Oracle的语法1

Case具有两种格式。简单Case函数和Case搜索函数。--简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END --Case搜索函数 CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女' ELSE '其他'...

2017-09-21 11:27:51 190

原创比机械硬盘快，外置移动硬盘性能测试

　　因为经常要做测试，所以为了方便就在U盘里放了一堆常用的测试软件，当然这些软件都是绿色版的，不用安装就可以正常使用。但是U盘的容量毕竟有限，想测试一些大的软件，游戏，就无能为力了，而且U盘的速度多数都不快，就是USB3.0接口的U盘，多数性能也都一般，除非价格比较高的。最近手里刚好有宇瞻AS710 3.0 SSD移动硬盘，我就在想，用它当个外接硬盘，应当是可以的，这样...

2017-09-20 14:29:26 1004

原创 oracle中块，盘区，段，表空间，数据文件关系

数据文件和日志文件是数据库中最重要的文件。它们是数据存储的地方。每个数据库至少有一个与之相关的数据文件，通常情况下不只一个，有很多。数据在数据文件中是如何组织的？要了解这些内容我们首先必须理解什么是表空间（tablespace）、段（segment）、区（extent）、块（block），这些都是oracle数据库在数据文件中组织数据的基本单元。现在我们来理解这些概念。块是数据存储的物...

2017-09-20 10:11:07 1379

原创 Mysql InnoDB 共享表空间和独立表空间

前言：学习mysql的时候总是习惯性的和oracle数据库进行比较。在学习mysql InnoDB的存储结构的时候也免不了跟oracle进行比较。Oracle的数据存储有表空间、段、区、块、数据文件；mysql InnoDB的存储管理也类似，但是mysql增加了一个共享表空间和独立表空间的概念；一、概念共享表空间： Innodb的所有数据保存在一个单独的表空间里面，而这个表空间可以由...

2017-09-20 10:02:36 86

原创表空间、Schema和用户

数据库这个柜子　　解释数据库、表空间、数据文件、表、数据的最好办法就是想象一个装满东西的柜子。　　从物理方面来讲：数据库是柜子，柜中的抽屉是表空间，抽屉中的文件夹是数据文件，文件夹中的纸是表，写在纸上的信息就是数据。　　从对象方面来讲：数据库是柜子，柜中的抽屉是Schema，抽屉中直接就是各种纸，这些纸就是表，写在纸上的信息就是数据。　　如果从作为数据库实例和表之间的一层这个概念...

2017-09-20 09:59:02 87

原创 Schema （数据库中的Schema）

数据库中的Schema，为数据库对象的集合，一个用户一般对应一个schema。中文名概要外文名schema对应关系一个用户一般对应一个schema官方定义如下：A schema is a collection of database objects (used by a user.).schema objects are the logical str...

2017-09-20 09:56:04 424

原创 Elasticsearch到底能玩多大的数据量

单独看ES能玩多大数据意义不大，具体实践中往往因为各种业务要求而无法继续增加数据量。目大的方面考虑有如下几点：1、查询速度。ES可以支持的查询类型多种多样，单一的term匹配，复杂的historm agg，甚至父子文档模式下bool查询之后继续做文本高亮，数据量越大查询时间越长。如果只是简单的把数据写进去然后按照ID获取数据，那就尽管往里面写数据吧。2、写入速度。数据量越大，写...

2017-09-19 19:24:52 18268

原创工作十年的程序员，却拿着毕业三年的工资

13评论分享到社区 > 工作十年的程序员，却拿着毕业三年的工资，再不开窍就真晚了！小韩如今的处境有大环境的原因，毕竟他所处的传统软件行业普遍效益不是很好，公司没钱赚，自然不会给他们加工资。而具体到个人的情况，虽然很多人不满意待遇纷纷跳槽了，而他虽然也想过跳槽，但是，总感觉自己...

2017-09-19 19:00:14 264

原创 elasticsearch整合分词、创建索引、搜索例子

lasticsearch整合分词、创建索引、搜索例子,elasticsearch版本为1.0,索引数据从数据表中动态读取生成,有关键字高亮效果，查询分页1 在dababase目录中导致相关的数据库文件，修改DBCOperation java文件数据库连接地址,修改elasticsearch.properties文件中相关链接2 运行CreatIndexMysql文件，里面有mai...

2017-09-19 14:40:11 842

原创 Elasticsearch添加中文分词，对比分词器效果

Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english （英文分词）和chinese （中文分词）。其中standard 就是无脑的一个一个词（汉字）切分，所以适用范围广，但是精准度低；english 对英文更加智能，可以识别单数负数，大小写，过滤stopwords（例如“the”这个词）等；chinese 效果很差，后面会演示...

2017-09-19 13:32:12 205

原创 ElasticSearch架构概述

ElasticSearch架构概述 ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用。Elast...

2017-09-19 13:27:47 121

原创 ElasticSearch 2.4版本的使用

这是ElasticSearch 2.4 版本系列的第三篇：ElasticSearch入门第一篇：Windows下安装ElasticSearchElasticSearch入门第二篇：集群配置ElasticSearch入门第三篇：索引ElasticSearch入门第四篇：使用C#添加和更新文档ElasticSearch入门第五篇：使用C#查询文档ElasticSe...

2017-09-18 19:55:40 372

原创 js 判断数组中是否包含

可以使用数组的indexOf()方法，如果返回值为-1则说明不存在，如果返回值为大于-1的整数，则说明存在。例如：var arr = [1,2,3];arr.indexOf(1); // 返回0arr.indexOf(5); // 返回-1附：返回值为数组中的最靠前元素在数组的位置...

2017-09-15 19:35:13 1909

原创 Elasticsearch常用配置及性能参数

cluster.name: estest 集群名称node.name: “testanya” 节点名称node.master: false 是否主节点node.data: true 是否存储数据index.store.type: niofs 读写文件方式 index.cache.field.type: soft 缓存类型bootstrap.mlockall: true ...

2017-09-15 19:35:01 379

空空如也

空空如也