tao_wei162的博客

原创 内存数据库

1.内存数据库简介1.概念2.内存数据库历史和发展3.常用内存数据库 1.SQLite1.SQLite最佳试用场合2.哪些场合适合使用其他的关系型数据库管理系统RDBMS2.Altibase3.Oracle 内存数据库系列 Berkeley DB 和 TimesTen1.Oracle Berkeley DB2.Oracle TimesTen 4.eX...

原创 grunt

快速入门Grunt和 Grunt 插件是通过 npm 安装并管理的，npm是 Node.js 的包管理器。Grunt 0.4.x 必须配合Node.js >= 0.8.0版本使用。；奇数版本号的 Node.js 被认为是不稳定的开发版。在安装 Grunt 前，请确保当前环境中所安装的 npm 已经是最新版本，执行 npm update -g npm 指令进行升级（在某些系统中...

原创 Elasticsearch是当今最流行的分布式搜索引擎

Elasticsearch是当今最流行的分布式搜索引擎，GitHub、 SalesforceIQ、Netflix等公司将其用于全文检索和分析应用。在Insight，我们用到了Elasticsearch的诸多不同功能，比如：全文检索 比如找到与搜索词项(term)最相关的维基百科文章。聚合 比如在广告网络中，可视化的搜索词项的竞价直方图。地理空间...

原创 webpack 入门指南

什么是 webpack？webpack是近期最火的一款模块加载器兼打包工具，它能把各种资源，例如JS（含JSX）、coffee、样式（含less/sass）、图片等都作为模块来使用和处理。我们可以直接使用 require(XXX) 的形式来引入各模块，即使它们可能需要经过编译（比如JSX和sass），但我们无须在上面花费太多心思，因为 webpack 有着各种健全的加载器（loader...

原创 大数据资料

http://www.36dsj.com/archives/category/ganhuo

原创 十大开源的大数据技术

大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 2.Spark——使用简单、支持所有重要的大数据语言（...

原创 Swift 3

Swift 3 就要正式发布了。对于任何一位 Swift 开发人员来说，都会给其代码带来很大的改变。 如果还没有密切关注过Swift Evolution话，你可能会好奇究竟引入了什么新内容，这些新内容会如何影响自己的代码，还有什么时候要把代码转换成 Swift 3 版本，本文会回答这些问题！ 在这篇文章中，我将重点阐述 Swift 3 中会给代码带来影响的最重要的变化。就让我们来一...

原创 elasticsearch来存储你的日志

用ElasticSearch存储日志 介绍如果你使用elasticsearch来存储你的日志，本文给你提供一些做法和建议。如果你想从多台主机向elasticsearch汇集日志，你有以下多种选择：•Graylog2 安装在一台中心机上，然后它负责往elasticsearch插入日志，而且你可以使用它那个漂亮的搜索界面~•Logstash 他有很多特性，包...

原创 Apache Flink现在在大数据处理方面

我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apache spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。不过因为好奇，我花费了数个星期在尝试了解flink。一开始仔细看了flink...

原创 数据库的全文搜索

这里说的数据库搜索不是指全文检索，如果是全文检索，针对非结构化数据，可以采用常用的全文检索软件提供的接口实现，比如lucence，sphinx等开源软件实现，设计到大数量的问题，不属于本文考虑的问题。一般数据库系统中存储的都是结构化的数据，每个字段的数据量很小，针对这样的数据进行全文搜索，如果是单个表，可以穷举各个字段，获得各个字段大致是采用resultset.getDatabaseM...

原创 浏览器缓存清除

关于浏览器缓存浏览器缓存，有时候我们需要他，因为他可以提高网站性能和浏览器速度，提高网站性能。但是有时候我们又不得不清除缓存，因为缓存可能误事，出现一些错误的数据。像股票类网站实时更新等，这样的网站是不要缓存的，像有的网站很少更新，有缓存还是比较好的。今天主要介绍清除缓存的几种方法。清理网站缓存的几种方法meta方法//不缓存 清理form表单的临...

原创 共有40款 地图相关开源软件

软件过滤： 所有编程语言JavaC/C++Objective-CPHPPerlPythonRubyC#.NETASPGoogle GoD语言GroovyScalaJavaScriptTypeScriptHTML/CSSActionScriptVBScriptDelphi/PascalBasicErLangCOBOLFortranLuaSHEL...

原创 Git命令的使用

Git命令行配置 1 安装Github 2 安装msysgit 3 要配置用户名和油箱 git config --global user.name 我的命令就是：git config --global user.name mchdbagh git config --global user.email 我的命令就是：git config --...

原创 流式大数据处理的三种框架：Storm，Spark和Samza

许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括s...

原创 python中的none和null

一、Python对象要理解这个，首先要理解Python对象：python对象具有三个特性：身份、类型、值。三特性在对象创建时被赋值。只有值可以改变，其他只读。类型本身也是对象。二、Null与None是Python的特殊类型，Null对象或者是None Type，它只有一个值None.它不支持任何运算也没有任何内建方法.None和任何其...

原创 C++中虚继承的作用

C++虚继承可以防止多重继承产生的二义性问题。 虚继承，就是在被继承的类前面加上virtual关键字，这时被继承的类称为虚基类，如下面代码中的base类。虚继承在多重继承的时可以防止二义性。 class base class derived1 : virutal public base class derived2 : virtual...

原创 elasticsearch集群管理工具head插件

elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es 插件安装方法1：1.elasticsearch/bin/plugin -install mobz/elasticsearch-head2.运行es3.打开http://localhost:9200/_plugin/hea...

原创 RPC

RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求...

原创 Ruby （一种面向对象程序设计的脚本语言）

Ruby （一种面向对象程序设计的脚本语言） 编辑 Ruby，一种简单快捷的面向对象（面向对象程序设计）脚本语言，在20世纪90年代由日本人松本行弘(Yukihiro Matsumoto)开发，遵守GPL协议和Ruby License。它的灵感与特性来自于 Perl、Smalltalk、Eiffel、Ada以及 Lisp 语言。由 Ruby 语言本身还发展出了JRuby（Java...

原创 Python下的twisted框架入门指引

什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。 非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现proto...

原创 ansible自动化运维工具使用详解

一、 ansible 简介 1. ansible ansible是新出现的 自动化 运维工具 ， 基于Python研发 。 糅合了众多老牌运维工具的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。 仅需在管理工作站上安装 ansible 程序配置被管控主机的 IP 信息，被管控的主机无客户端。 ansible 应用程序存在于 epel( 第三方社区 ) 源，依赖于...

原创 Tornado 是什么

Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像 web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻...

原创 OLTP和OLAP有何区别

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果.OLTP:...

原创 webstorm快捷键说明

webstorm快捷键说明Editing编辑相关快捷键Ctrl + Space：Basic code completion (the name of any class, method or variable) 基本代码完成（任何类、函数或者变量名称），改为Alt+SCtrl + Shift + Enter：Complete statement 补全当前语句...

原创 Tornado+Foundation+MongoDB

tornado+ansible+twisted+mongodb运维自动化系统开发(二)

原创 VB和VBS 是一回事吗？ 有什么区别吗？

VBScript是Visual Basic Script的简称，有时也被缩写为VBS。VBScript是微软开发的一种脚本语言，可以看作是VB语言的简化版，与VBA的关系也非常密切。它具有原语言容易学习的特性，并继承了JavaScript的跨平台的特性。目前这种语言广泛应用于网页和ASP程序制作，同时还可以直接作为一个可执行程序。用于调试简单的VB语句非常方便。 由于VBScript可以通...

原创 js中的json对象详细介绍

字符串转对象(strJSON代表json字符串) var obj = eval(strJSON); var obj = strJSON.parseJSON(); var obj = JSON.parse(strJSON)； json对象转字符串(obj代表json对象) var str = obj.toJSONString(); var st...

原创 JAVA的线程可以在多个CPU上运行么？

这个是我一个技术相当好的哥们去面试的时候碰到的奇葩问题，那天，这个面试官的答案是不能。后来就带着这个问题去国内外的论坛上搜了一把，也是各说纷纭，实在是没有一个统一的答案，简直有点公说公有理，婆说婆有理的架势。 几个意见大致如下，第一，不能，因为“进程是CPU进行调度的单位，而JVM是一个进程，于是就只能跑在一个CPU上”。第二，“进程是CPU进行调度的单位，这没错，但是OS负责将一个...

原创 一个CPU可以为很多线程服务

一个CPU可以为很多线程服务,但一个线程无法让多个CPU为它服务,如果用JAVA写多线程程序,可以有几个线程运行在同一个CPU上,但是其中的一个线程一旦被分配到了某个CPU,那么这个线程就只由这个CPU来提供服务了 有一个程序A，需要改成单机并行模式，在4核的电脑上跑。可是不管我是自己启动多个计算线程还是使用openmp,始终只有一个核占用全满,另几个CPU核占用率都是0。下面是我做的几个...

原创 Spark是什么

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源...

原创 hadoop特点

Hadoop的优缺点介绍：（一） 优点：（一）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖;（二）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。（三）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。（四）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将...

原创 几大数据库的比较

hadoop的hdfs支持海量数据量存储 mapreduce支持对海量数据的分布式处理oracle虽然可以搭建集群 但是当数据量达到一定限度之后查询处理速度会变得很慢 且对机器性能要求很高其实这两个东西不是同类 hadoop是一个分布式云处理架构，倾向于数据计算 而oracle是一个关系型数据库，倾向于数据存储。要说比较可以比较hbase与oracle。hbase是...

原创 GreenPlum主要的功能和优势

基于软件，并针对商业硬件进行了优化 软件很容易安装到多家一级供应商提供的商业x86服务器上，并在Linux和Solaris上运行。线性扩展性能 “完全不共享”体系和并行查询优化可以确保线性扩展性能和容量，将其扩展到成本上千个节点和处理器内核。支持MapReduce MapReduce已经被Google和Yahoo等重要的互连网服务运营商证明是一种可行的大规模数据分析技术...

原创 GreenPlum介绍

【建立数据库连接】 只要兼容PostgreSQL client就能连GP。 如: psql 只能连master，segment是不接受连接的连接参数如下： 连接参数          | 环境变量     | 缺省值    | 描述 ----------------------------------------------------------------------- Applicat...

原创 eclipse调试

已经讲了Hadoop的单机伪分布的部署，本篇，散仙就说下，如何eclipse中调试hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2.x与hadoop1.x的API，不太一致，所以插件也不一样，我们只需要使用分别对应的插件即可. ...

原创 如何在Centos6.5下，部署完全分布式集群

我们来看下，如何在Centos6.5下，部署完全分布式集群。 下面先来看下具体的系统环境 序号名称描述1系统环境Centos6.5最好在linux上部署2Hadoop版本Hadoop2.2.0Hadoop2.x中的第一个稳定版本3JAVA环境JDK1.764位(build 1.7.0_25-b15)部署情况序号IP地址节点名...

原创 angular ui-bootstrap日期控件如何显示成中文

1.引入中文国际化文件angular-locale_zh-cn.js       下载地址（https://github.com/angular/angular.js/tree/master/src/ngLocale），  然后大部分控件就可以显示中文了。2.有些按钮（today,clear，close）还不能显示中文   比较简易的做法是在datepicker-popup指令定义的...

原创 angular的时间空件

原创 以表格的形式描述下伪分布式

下面，以表格的形式描述下伪分布式安装 系统环境如下：   序号名称描述1系统环境Centos6.52JAVA环境JDK1.73Haoop版本hadoop2.2.0安装步骤如下：序号步骤1解压hadoop，并配置环境变量2使用which hadoop命令，测试是否成功3配置core-site.xml...

原创 使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本，如果我们想在64位系统使用，那么就需要重新编译hadoop，否则直接使用32位的hadoop运行在64位的系统上，将会出现一些库不兼容的异常。如下图所示，最直接的一个异常:  在这之前，散仙先用一个表格来描述下散仙的编译的环境的状况:序号描述备注1centos6.5系统64位linux环...