华 迪

随性而简约,为技术而生.

【Ambari】2.5.1.0.0汉化、构建和安装

环境准备 我使用的Centos7环境(其他的环境ubuntu,debian可能不太一样),在Centos7上安装依赖的软件包。 首先下载maven3.5,jdk8,python2.6并配置好环境变量yum install -y git svn node python-devel rpm-b...

2017-08-21 17:44:59

阅读数 4141

评论数 2

【hadoop】wordcount实例编写

mr实例分为两个阶段,一个是map阶段,一个是reduce阶段,中间用shuff来衔接,我们想运行mapreduce实例,只需要实现map业务是reduce业务逻辑即可。 map实现//hadoop首先将input输入的文件内容split分为多份,每一份的内容用mapper.map来处理,其中V...

2017-04-11 11:36:16

阅读数 418

评论数 0

【hadoop】hadoop安装篇

下载hadoop 在hadoop下载界面选择适合的版本 配置hadoop hadoop有两种类型的配置文件: 1.只读配置文件 - core-default.xml, hdfs-default.xml, yarn-default.xml 和 mapred-default.xm...

2017-04-10 22:25:15

阅读数 366

评论数 0

【DeepDive】应用构建

1.DeepDive实例结构ls demo/app.ddlog db.url deepdive.conf input labeling mindbender run udf2.DeepDive结构详解 app.ddlog是deepdive的规划文件,此文件定义了数据的来源,数据的结构...

2017-04-01 16:11:29

阅读数 3309

评论数 1

【DeepDive】使用教程

DeepDive简介deepdive帮助你从更少的结构化数据和统计推断中提取结构化的知识而无需编写任何复杂的机器学习代码。deepdive是一种新的数据管理系统,能够解决提取、整合型,并在一个单一的系统预测问题,它允许用户快速构建复杂的端到端的数据管道。 DeepDive优势 deepdive让开...

2017-03-29 15:24:17

阅读数 14771

评论数 21

【angular】angular-ui-router学习

Angular-ui-router是建立SPA的route框架,学好ui-router框架,我们能更好的优化我们的web前端。下面先呈上我们的index.html页面<!DOCTYPE html> <html lang="en"> <head>...

2016-12-22 11:28:04

阅读数 503

评论数 0

【accumulo】列数据库介绍

介绍Accumulo是一个基于Google’s BigTable的高扩展性存储数据库。采用java编写并且操作于HDFS系统上。Accumulo支持高效存储和结构多样化,包括范围查询,为MapReduce的job提供input和output支持。 Accumulo优点是自动负载均衡和分片,数据压...

2016-09-19 17:47:48

阅读数 1527

评论数 0

【storm-kafka】storm和kafka结合处理流式数据

首先简单描述下storm Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单,而且,在同类的...

2016-08-31 09:27:09

阅读数 12033

评论数 3

【Mongodb】morphia与spring结合使用详解

Morphia简介  随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数...

2016-07-27 20:46:09

阅读数 2868

评论数 0

【MAVEN】项目管理插件maven-plugins

maven插件使用介绍

2016-07-20 13:51:58

阅读数 1283

评论数 0

【MAVEN】配置私服Nexus

<repositories> <repository> <id>Nexus</id> <name>Nexus Repository</name> <url>h...

2016-07-15 18:01:29

阅读数 257

评论数 0

【solr】关于solr schema.xml 和solrconfig.xml的解释

schema.xml位于solr/conf/目录下,类似于数据表配置文件,定义了加入索引的数据的数据类型,主要包括type、fields和其他的一些缺省设置。1、先来看下type节点,这里面定义FieldType子节点,包括name,class,positionIncrementGap等一些参数。...

2016-06-17 18:08:58

阅读数 1179

评论数 0

【技术架构】负载均衡算法

一、轮询法 轮询很容易理解,将请求按顺序轮流地分配到后端服务器上,它均衡的对待后端每一台服务器,而不关心服务器实际的连接数和当前的系统负载。 这里通过初始化一个serverWeightMap的Map变量来表示服务器地址和权重的映射,以此来模拟轮询算法的实现,其中设置的权重值在后面加权算法...

2016-05-18 13:26:41

阅读数 428

评论数 0

【mysql】事物隔离级别

Innodb引擎室mysql server中支持事务的存储引擎之一, 自然也是支持四种事务隔离级别的 read uncommitted, read commit, repeatable read serializable, 下面就分别最四种隔离级别在实现的锁机制做一个简介: seri...

2016-05-18 10:49:14

阅读数 318

评论数 0

【MongoDB】复制

如同许多关系数据库一样,MongoDB支持以实时或接近实时的方式,将数据内容复制到另一台服务器中。一、MongoDB复制特性 可扩展性 提高冗余度 改善性能 复制通常用于防止硬件故障或数据库损坏,同时为备份和其他具有重要影响的维护活动提供灵活性,只对系统造成一点儿影响或没有影响。 希望拥有...

2016-05-17 20:45:50

阅读数 326

评论数 0

【MongoDB】索引技术总结

MongoDB的索引被用于查询(find、findOne)和排序。如果倾向于在集合中大量使用排序,那么应该根据排序的需求添加索引。目前,每个集合中最多可以拥有64个索引。一、显示索引 MongoDB提供了一个简单的辅助函数getIndexes(),可以显示指定集合中的索引。 MongoDB在每个数...

2016-05-17 19:42:25

阅读数 409

评论数 0

【技术架构】分布式缓存特点

分布式缓存概述1.1 分布式缓存的特性分布式缓存具有如下特性: 1) 高性能:当传统数据库面临大规模数据访问时,磁盘I/O 往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value 形式存储,理想情况下可以获得DRAM 级的读写性能; 2) 动...

2016-05-09 08:39:15

阅读数 1923

评论数 0

【rapid-generator】代码生成器工具使用

<entry key="java_typemapping.java.sql.Timestamp">Date</entry> <entry key="java_typemapping.java.sql.Date">Date&...

2016-04-11 20:20:23

阅读数 2640

评论数 3

【mybatis】模糊查询

最近项目中遇到mybatis模糊查询,项目使用SSM框架,如下:<select id="selectByName" parameterType="String" resultType="company"> select...

2016-03-24 20:23:19

阅读数 5668

评论数 0

【DNS】域名解析过程

在浏览器中输入www.qq.com域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个IP地址映射,完成域名解析。 如果hosts里没有这个域名的映射,则查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返回,完成域名解析。 如果hosts与本地...

2016-03-11 08:44:54

阅读数 610

评论数 0

提示
确定要删除当前文章?
取消 删除