2017年03月_lijieshare

【Git客户端的安装】

一、GIT软件的安装1）Git软件的下载2）Git软件安装二、GIT图形界面的安装1)下载地址 2)开始安装 3）点击下一步 4）完成TortoiseGit的安装安装完Git软件，和TortoiseGit之后效果如下原创不易，欢迎打赏,请认准正确地址，谨防假冒 ...

2017-03-31 20:47:56 76

【为何要学习人工智能】

人工智能应用领域1)你还在为手机中通讯录过长查询不方便吗？人工智能告诉你可以语音查找联系人 2)你还在为开车接打电话，不方便需要配置昂贵蓝牙耳机而担忧吗？人工智能告诉你，语音通话，可以告别你手按收集按键的繁琐 3)你还在为请假/费用报销需要填单的繁琐和重复劳动而厌倦吗?人工智能告诉你可以解脱双手和键盘，仅需一句自然语言就完成请假单填写 4)无人机、无人驾驶 ...

2017-03-30 20:33:57 271

【Mybatis中的五鼠闹东京】

北宋仁宗时期，江湖上有著名的三侠五义，其中五义又称五鼠：钻天鼠卢方、彻地鼠韩彰、穿山鼠徐庆、翻江鼠蒋平、锦毛鼠白玉堂，“三侠”是指北侠欧阳春、南侠展昭、丁氏双侠丁兆兰、丁兆蕙二人为一侠；“五义”是指钻天鼠卢方、彻地鼠韩彰、钻山鼠徐庆，翻江鼠蒋平，锦毛鼠白玉堂这五鼠弟兄。一、Mybatis中的五鼠介绍SqlSession对数据库的操作，将委托给执行器Executor来完成，而E...

2017-03-30 19:32:54 178

【如何学习大数据】

永久链接: http://gaojingsong.iteye.com/blog/2366342预览文章: 【为何学习大数据】一、如何学习大数据1、没有那么多台机器学习，构建不了集群没法学习大数据？ 2、最简单的大数据集群是只有一个节点的集群，一个节点也能叫集群？对，一个节点类似于光杆司令，构成一个伪分布集群即最简单的集群是只有一个节点。 3、最佳的环境是...

2017-03-29 19:57:07 167

【为何学习大数据】

为何学习大数据1) 从事人比较少，因为门槛高，物以稀为贵，挣钱 2) 单机容量有限，以前硬盘只有60G，存储量有限，数据备份机制太弱3) 为上层领导决策提供理论依据4) 巨大的潜在价值，例如：共享单车可以收集哪些地方出行人多，多投放车辆5) 铁路部门根据人员流动情况，调遣编排列车案例一：交警部门记录违章拍照，红绿灯摄像N年的照片单机存储不下案例二：银行...

2017-03-28 20:47:01 124

【Hadoop YARN的发展史与详细解析】

原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式系统集群的规模和其工作负荷的增长，原框架的问题逐渐浮出水面，主要的问题集中如下：1)JobTracker 是 Map-reduce 的集中处理点，存在单点故障。2)JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce jo...

2017-03-27 20:30:54 171

Calcite（https://calcite.apache.org/）是Apache的一个孵化器项目，它是一个构建JDBC或者ODBC访问数据库的框架，通过自定义一些adapter通过sql访问任意类型的数据，回想起我们之前使用SQL的场景只有使用访问关系数据库如MYSQL、ORACLE等，通过hive查询HDFS上的数据，但是如果我们希望通过SQL接口访问内存中的某个数据结构（首先这个结构有...

2017-03-24 22:30:11 482

【图形数据库Titan介绍】

Titan并不是数据库；它是一个数据库之上的客户端库。它依赖于下面的存储引擎，比如Cassandra或者Hadoop，来存储其数据。它也依赖于索引引擎，比如Lucene、ElasticSearch或者Solr，来执行相关的查询。 Titan 是一个在服务器集群搭建的分布式的图形数据库，特别为存储和处理大规模图形而优化。集群很容易扩展以支持更大的数据集，Titan有一个很好的插件式性能，这...

2017-03-24 22:18:31 438

【Mybatis源码阅读之mappers配置】

</configuration> <mappers>  <mapper ...

2017-03-23 21:11:23 146

【linux的bond七种模式说明】

第一种模式：mod=0 ，即：(balance-rr) Round-robin policy（平衡抡循环策略）特点：传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕），此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序...

2017-03-23 20:23:53 104

【cobar配置使用入门】

cobar可谓是mycat的老祖先，其配置方式和mycat相差无几。mycat配置参考：永久链接: http://gaojingsong.iteye.com/blog/2337539预览文章: 【Mycat操作之分库分表入门】以下是Cobar的配置示例：一、配置数据源文件<cobar:schema xmlns:cobar="http://cobar.alibaba....

2017-03-22 21:00:20 146

【阿里之Canal介绍】

Canal的原理是模拟Slave向Master发送请求，Canal解析binlog，但不将解析结果持久化，而是保存在内存中，每次有客户端读取一次消息，就删除该消息。这里所说的客户端，就需要我们写一个连接Canal的程序，持续从Canal获取数据。otter 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。基于日志增量订阅...

2017-03-20 22:34:29 243

【Neo4j介绍】

Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注。 Neo4j is the w...

2017-03-19 21:11:32 143

【Java 类加载Classloader】

开发人员对java.lang.ClassNotFoundExcetpion这个异常肯定都不陌生，这背后就涉及到了java技术体系中的类加载。Java的类加载机制是技术体系中比较核心的部分，虽然和大部分开发人员直接打交道不多，但是对其背后的机理有一定理解有助于排查程序中出现的类加载失败等技术问题，对理解java虚拟机的连接模型和java语言的动态性都有很大帮助。 The Java Clas...

2017-03-19 20:57:21 110

【OpenTSDB介绍】

OpenTSDB ，可以认为是一个时系列数据（库），它基于HBase存储数据，充分发挥了HBase的分布式列存储特性，支持数百万每秒的读写。开源监控系统OpenTSDB，用hbase存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集...

2017-03-18 20:44:21 128

【elasticsearch之批量提交Bulk】

提交之前提交之后数据查看 ES批量提交代码如下：import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.http.HttpEntity;import org.apache.http.HttpResponse;import ...

2017-03-18 19:03:20 766

【Jafka 介绍】

Jafka mq is a distributed publish-subscribe messaging system cloned from Apache Kafka. Jafka 是一个高性能的跨语言分布式消息系统。Jafka已经开源，使用github托管。Jafka是由Apache孵化的Kafka(由LinkedIn捐助给Apache）克隆而来。Jafka 1.0完整遵循Ka...

2017-03-15 21:00:13 148

【FlumeBase介绍】

FlumeBase是一个建立在Flume之上的数据驱动的流处理系统。这个系统允许用户动态的向数据收集环境插入查询并且监控被Flume收集到的事件流。这些查询可能是抽样调查输入的数据，也可能是指定固定的监控，也可能是数据转换或者是质量过滤任务。这些查询是用一个类似于SQL的名为“rtsql”语言编写的。 FlumeBase可以把数据反馈给一个在交互的shell环境下的用户。它也可以配置成把...

2017-03-15 20:52:30 88

【自然语言之分类处理】

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 对于分类问题，其实谁都不会陌生，说我们每个人每天都在执行分类操作一点都不夸张，只是我们没有意识到罢了。例如，当你看到一个陌生人，你的脑子下意识判断TA是男是女；你可能经常会走在路...

2017-03-14 20:45:56 227

【TF-IDF介绍】

TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术, TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF反文档频率(I...

2017-03-14 20:16:57 290

【自然语言处理介绍】

自然语言处理(natural language processing 简称NLP) 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处...

2017-03-12 16:17:03 175

【Mybatis源码阅读之XMLConfigBuilder 】

XMLConfigBuilder 继承自BaseBuilder public SqlSessionFactory build(InputStream inputStream, String environment, Properties props) { try { XMLConfigBuilder parser = new XMLConfigBuilder(in...

2017-03-12 16:02:36 159

【非常优秀的MySQLProxy程序启动分析】

1、程序启动代码分析：Proxy 是单例模式的代理启动类，调用CommunicationThread类public static void main(String[] args){ Proxy.getInstance().run(); }CommunicationThread解析CommunicationThread是个多线程类，用于front前段和back...

2017-03-11 17:45:02 116

【Mybatis源码解读之Configuration 】

一、构建SqlSessionFactory public SqlSessionFactory build(InputStream inputStream, String environment, Properties props) { try { XMLConfigBuilder parser = new XMLConfigBuilder(inputStream, ...

2017-03-11 16:17:22 255

【Greenplum 介绍】

Pivotal Greenplum is a commercial fully featured data warehouse powered by the open source Greenplum Database. It provides powerful and rapid analytics on petabyte scale data volumes. Uniquely geared...

2017-03-09 20:36:48 142

【HPCC介绍】

一、HPCC介绍HPCC (High-Performance Computing Cluster), also known as DAS (Data Analytics Supercomputer), is an open source, data-intensive computing system platform developed by LexisNexis Risk Solutio...

2017-03-09 20:24:47 2471

【工作流引擎--Snaker介绍】

Snaker是一个基于Java的开源工作流引擎，适用于企业应用中常见的业务流程。本着轻量、简单、灵巧理念设计，定位于简单集成，多环境支持轻量: snaker-core.jar大小208K，代码行数约7000行，强大的扩展支持，不依赖于具体的ORM框架简单: 表设计简单，流程组件简单[start/end/task/custom/subprocess/decision/fork/joi...

2017-03-06 21:13:25 891

【CoreOS--ETCD介绍】

etcd is a distributed key value store that provides a reliable way to store data across a cluster of machines. It’s open-source and available on GitHub. etcd gracefully handles leader elections durin...

2017-03-06 20:50:30 223

【Apache Phoenix 介绍】

Apache Phoenix enables OLTP and operational analytics in Hadoop for low latency applications by combining the best of both worlds:the power of standard SQL and JDBC APIs with full ACID transaction ...

2017-03-05 18:27:51 172

JAVA之ArrayListt源码解读

ArrayList是基于数组实现的，是一个动态数组，其容量能自动增public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable ArrayLi...

2017-03-05 18:20:36 94

【CQRS 命令查询职责分离模式介绍】

CQRS stands for Command Query Responsibility Segregation. The mainstream approach people use for interacting with an information system is to treat it as a CRUD datastore. By this I mean that we ha...

2017-03-04 17:48:55 183

【CDN内容分发网络介绍】

一、CDN介绍CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近...

2017-03-04 12:32:27 136

Mycat源码解读--错误之【find no Route】

Mycat之find no Route:SELECT * FROM `db1`.`t_gaojs` LIMIT 0 错误原因竟然是：DruidSelectParser类中的tryRoute方法1、后台报错，前台竟然可以查询出数据2017-03-01 20:37:59,312 [WARN ][$_NIOREACTOR-3-RW] ServerConnection [id=1, ...

2017-03-01 21:04:21 1690

Mycat源码解读--错误之【can't find table define in schema 】

Mycat之String msg = "can't find table define in schema "+ tableName + " schema:" + schema.getName();错误位置如下：RouterUtil 类中的tryRouteForTables方法1、正常情况可以查询数据 2、别名查询出现错误 Mycat 怎么就通过不了呢 2017-...

2017-03-01 20:30:01 13630