自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(313)
  • 资源 (1)
  • 收藏
  • 关注

原创 MongoDB的权限控制

权限控制API所有数据库的角色控制首先在启用权限控制时,需要在启动MongoDB时指定启动,可以通过配置文件或启动命令添加:

2017-03-08 17:37:14 681

原创 MongoDB的管理与监控

简介MongoDB的管理与监控是可以参考关系型数据库的各种管理思想的,如常用的数据导入导出、备份、监控等,本节主要介绍相关的内容是如何在MongoDB中实现的,MongoDB管理的DBA需要重点关注。数据的导入与导出数据导入与导出可以借助mongoexport与mongoimport实现数据导出: 先查看数据:> use testswitched to db test> show collec

2017-03-07 19:27:34 1791

原创 MongoDB的分布式文件存储系统

对于MongoDB的存储基本单元BSON文档对象,字段值可以是二进制类型,基于此特点,我们可以直接在MongoDB中存储文件,但是有一个限制,由于MongoDB中单个BSON对象不能大于16MB,故而如果需要存储更大的文件,就需要GridFS了。小文件存储系统与GridFS文件存储我们先看下MongoDB存储小文件系统的例子

2017-03-06 15:17:58 7251

原创 MongoDB的分片集群

分片集群简介在之前有说过关于MongoDB的复制集,复制集主要用来实现自动故障转移从而达到高可用的目的,然而,随着业务规模的增长和时间的推移,业务数据量会越来越大,当前业务数据可能只有几百GB不到,一台DB服务器足以搞定所有的工作,而一旦业务数据量扩充大几个TB几百个TB时,就会产生一台服务器无法存储的情况,此时,需要将数据按照一定的规则分配到不同的服务器进行存储、查询等,即为分片集群。分片集群要做

2017-02-28 16:32:44 6380

原创 MongoDB的复制集

#复制集功能概述复制集(replica set)是MongoDB用来保持相同的数据集合的一个MongoD进程组,复制集提供了所有生产部署的基础:数据冗余以及高可用。MongoDB的高可用靠的是自动故障转移来实现的,本节就是介绍MongoDB的该部分实现的。复制集工作原理虽然Journaling日志功能提供了数据恢复的功能,但是他通常针对的是单个节点来说的,而复制集则针对的是一组进程,通常是多个节点组

2017-02-24 17:17:29 3187

原创 MongoDB的聚集分析

简介聚集操作实际上是对数据进行统计分析时使用的,简单的说,可以理解为SQL中的聚合操作,MongoDB中的聚集操作是为了大数据分析做准备的,尤其是MapReduce可以在分片集群上进行操作,本节主要讲了简单的一些操作,没有涉及到MongoDB中的聚集框架,MongoDB中对数据进行分析计算的方式主要有:管道模式、MapReduce模式以及简单的函数或命令这三种聚集分析方式。管道模式聚集分析Mongo

2017-02-13 15:44:24 2163

原创 MongoDB-Journaling日志功能

Journaling日志简介Journaling日志是MongoDB中一个非常重要的功能,他保证了数据库服务器在意外断电、自然灾害下数据的完整性 。该功能类似于RDB中的事务日志,使得数据库在意外故障后快速回复,该功能默认打开内存视图Journaling功能的两个重要内存视图:private view 与 shared view ,这两个视图都是通过MMAP(内存映射)来实现的,对private v

2017-02-10 16:05:11 3513 1

原创 MongoDB的增删改查操作

插入语句MongoDB的 插入语句之前也有过介绍了,这里我们只做一个简单的示例:> db.customers.insert({id:11,name:'lisi',orders:[{orders_id:1,create_time:'2017-02-06',products:[{product_name:'MiPad',price:'$100.00'},{product_name:'iphone',pr

2017-02-09 15:03:14 768

原创 为什么需要MongoDB

为什么需要MongoDBMongoDB与MySQL的区别关于MongoDB与MySQL的区别可以参考网上关于NoSQL与MySQL的区别,以下是找到的网上的关于两者区别的截图: 总体上讲:由于MongoDB独特的数据处理方式,可以将热点数据加载到内存,故而对查询来讲,会非常快(当然也会非常消耗内存);同时由于采用了BSON的方式存储数据,故而对JSON格式数据具有非常好的支持性以及友好的表结

2017-02-09 13:51:15 8586

原创 MongoDB的查询选择器

MongoDB自己的查询语言MongoDB不支持SQL,本节主要讲在MongoDB中如何实现类似SQL的查询功能SQl中的写法如select column from table join table2 where condition在MongoDB中有一套类似的写法

2017-02-09 13:47:56 2207

原创 MongoDB的索引与查询优化

MongoDB的索引的机制与普通数据库基本相似,主要有如下几部分:单字段索引MongoDB默认为所有集合创建了一个_id字段的单字段索引,该索引唯一,且不能删除(_id为集合的主键)索引的创建方法:db.customers.ensureIndex({name:1},{unique:false} )查询索引:db.system.indexes.find()查询结果:{ "v" : 1, "name

2017-02-09 13:46:37 6195

原创 日志记录规范

日志记录规范日志级别一个项目各个log级别的定义应该是清楚明确的,是每个开发人员所遵循的; 即使是TRACE或者DEBUG级别的日志,也应该有一定的规范,要保证除了开发人员自己以外,包括测试人员和运维人员都可以方便地通过日志定位问题; 对于日志级别的分类,有以下参考:FATAL — 表示需要立即被处理的系统级错误。当该错误发生时,表示服务已经出现了某种程度的不可用,系统管理员需要立即介入。这属于最

2016-12-10 16:58:29 2701

原创 java8中lambda表达式用法再探

/* * 版权信息:北京汉方三陆零科技有限公司 * Copyright ?2014-2015. All rights reserved. 京ICP备15000045号 */package com.lin.fund;import java.nio.charset.StandardCharsets;import java.nio.file.Files;import java.nio.

2016-12-10 16:58:26 751

原创 java8 日期time测试用例以及结果分析

/* * 版权信息:北京汉方三陆零科技有限公司 * Copyright ?2014-2015. All rights reserved. 京ICP备15000045号 */package com.lin.fund;import java.sql.Timestamp;import java.time.DayOfWeek;import java.time.Duration;impo

2016-12-10 16:58:24 2352

原创 java8 stream API学习测试用例

package com.lin.fund;import java.io.IOException;import java.nio.file.FileSystems;import java.nio.file.Files;import java.nio.file.Path;import java.util.ArrayList;import java.util.Arrays;import java.uti

2016-12-10 16:58:21 649

原创 paxos算法学习总结

Edit需求:一个分布式系统如何就某一个值达成一致,即在分布式系统中数据的一致性需要。在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,那么他们最后能得到一个一致的状态。为了保证每个节点都执行相同的命令序列,需要在每一条指令上执行一个“一致性算法”以保证每个节点看到的指令一致。这就涉及到一个节点通信的问题,节点通信为保持数据一致性,其通信模型有两个:共享内存(sha

2016-12-10 16:58:18 603

原创 Hive基础知识补遗

Hive学习途径: 1、官网:http://hive.apache.org/2、慕课网:Hive相关入门课程3、《Hadoop实战》第二版4、网络上各种相关Blog以及相关介绍(主要用来进行问题查找解疑) Hive的定义与功能: 定义hive 含义为蜂巢,百度百科定义为:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql

2016-12-10 16:58:15 364

原创 hive自定义函数

这是个很有用的功能,用来处理自己的业务逻辑1、需要引入的jar包(maven) org.apache.hadoop hadoop-common 2.7.1 org.apache.hive hive-jdbc 1.2.1 org.apache.hive hive-exec 1.2.1 jdk.tools jdk.tools

2016-12-10 16:58:13 316

原创 hive的条件函数case

case用法示例select id,userid,case title when 'test_title_2' then userid+1 else userid+10 end from article;从article(id,userid,article,content)表中将标题为‘test_title_2’的记录其userid+1,其他的记录userid+10coalesce用法示例:sel

2016-12-10 16:58:10 813

原创 hive中设置查询不启动mapreduce作业(默认不启动)hive-site.xml关键配置

hive.fetch.task.conversion    more          Expects one of [none, minimal, more].      Some select queries can be converted to single FETCH task minimizing latency.      Currently the query should be

2016-12-10 16:58:07 1102

原创 执行sqoop导入MySQL数据到HDFS出错,异常:The auxService:mapreduce_shuffle does not exist

执行sqoop导入MySQL数据到HDFS出错,异常如下:15/11/15 08:04:23 INFO mapreduce.Job: Task Id : attempt_1446112127610_0004_m_000000_0, Status : FAILEDContainer launch failed for container_1446112127610_0004_01_000002 :

2016-12-10 16:58:04 1130

原创 sqoop数据导入导出常用功能

sqoop wget下来解压后即可使用,常用的导入导出语句为://导入到HDFS中./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/

2016-12-10 16:58:01 693

原创 hive的安装使用总结

折腾了三天,断断续续,到今天周五,终于搞定了,安装好Hive后,执行bin中的hive即可进入直接输入 show tables;或者先启动hiveserver2,然后运行beeline,然后连接DB,执行show tables;连接DB的语句:!connect jdbc:hive2://host:10000用户名密码直接用配置好的的MySQL用户名密码即可 beeline> show tables

2016-12-10 16:57:59 4074

原创 hive异常:创建MySQL时Specified key was too long; max key length is 1000 bytes

2015-11-13 14:44:44,681 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 10

2016-12-10 16:57:56 996

原创 hive异常 java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7

2015-11-13 15:05:16,289 INFO [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(368)) - Exception caught when calling stop of HiveServer2 before retrying startjava.lang.NullPointerExceptio

2016-12-10 16:57:53 3929 1

原创 观察者模式(发布订阅模式)

很多设计模式都用过,或者在别人的代码中看到过或者在开源框架中看到过,可是就是不知道是什么设计模式啊,自己也不清楚叫什么名字,这次总结下观察者模式(我自己只知道叫发布订阅模式,惭愧) 大体上,分为两个,一个是发布者,另一个是订阅者,也就是publisher以及subscriber,下面举例为顾客购买衣服,大致流程应该是这样,顾客消费了一件衣服后,会计收到付款,然后开具发票,顾客凭小票去出纳那里将小票

2016-12-10 16:57:50 501

原创 linux安装JDK1.8、tomcat8、Maven3.2、Scala2.10、Spark1.3.0

下载JDK1.8、tomcat8、Maven、Spark、Scalawget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gzwget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-8/v8.0.22/bin/apache-tomcat-8.

2016-12-10 16:57:48 744

原创 享元模式设计心得

包结构如图: 基本思想:复用我们内存中已存在的对象,降低系统创建对象实例的性能消耗代码:IBizHandler 抽象接口/* * 版权信息:北京汉方三陆零科技有限公司 * Copyright ?2014-2015. All rights reserved. 京ICP备15000045号 */package com.hf.util.flyweight;/**********************

2016-12-10 16:57:45 320

原创 单例模式的另一种实现(内部类)

/**************************************************************************** * com.hf.util SingleTon.java Created on 2015年5月19日 * * @Author: linfenliang * @Description:采用内部类方式维护单例,可以做到懒加载又可以做到不采用关键字

2016-12-10 16:57:42 332

原创 jQuery Mobile页面跳转后未加载JS解决办法

开发中遇到一个情况,网站采用jquery mobile风格开发由医院列表跳转到医院详情时出现问题,数据加载不上(医院详情采用js加载填充数据)医院列表亦采用ajax异步加载,页面效果如下: 医院链接采用方式实现,无法加载到数据,后台查询也调用了,发现医院详情页面js并未执行,刷新后正常显示,页面效果如下: 相关代码如下:var resp = ;loadHospitalInfo(resp)医院详情

2016-12-10 16:57:39 1153

原创 maven在eclipse中自动化远程发布

起因:之前发布项目都是先在本地打包,然后FTP上传替换掉服务器的项目,而且需要重启服务器,每次比较麻烦目标:通过以下配置将maven项目在eclipse中直接打包发布到远程服务器tomcat中操作:pom.xml核心配置:                        org.codehaus.mojo          tomcat-maven-plugin                   

2016-12-10 16:57:36 293

原创 spring学习笔记工厂模式

SpringFactoryBeanTest.javapackage com.lin.test;import org.junit.Assert;import org.junit.Test;import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;impor

2016-12-10 16:57:34 229

原创 spring学习笔记aopproxy

SpringAopProxy.javapackage com.lin.test;import static org.junit.Assert.*;import java.lang.reflect.Method;import org.junit.Test;import org.springframework.aop.AfterReturningAdvice;import org.springfram

2016-12-10 16:57:31 186

原创 spring学习笔记注解(部分)

SpringAbstractTest.javapackage com.lin.test;import static org.junit.Assert.*;import java.util.Date;import javax.annotation.Resource;import org.apache.commons.lang3.builder.ReflectionToStringBuilder;im

2016-12-10 16:57:28 181

原创 spring学习笔记cglib

CglibProxyTest.javapackage com.lin.test;import java.lang.reflect.Method;import org.junit.Test;import org.springframework.cglib.proxy.Enhancer;import org.springframework.cglib.proxy.MethodInterceptor;i

2016-12-10 16:57:25 255

原创 spring学习笔记SpringJdbc

SpringJdbcTest.javapackage com.lin.test.jdbc;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.List;import javax.anno

2016-12-10 16:57:22 214

原创 spring学习笔记SpringAopAspect

SpringAopAspectJTest.javapackage com.lin.test.aspectj;import org.apache.commons.lang3.builder.ReflectionToStringBuilder;import org.aspectj.lang.ProceedingJoinPoint;import org.aspectj.lang.annotation.A

2016-12-10 16:57:20 219

原创 决策树算法

决策树算法目录决策树算法    11    算法介绍    2 2    适用场景    2 3    方法步骤(案例)    3 3.1    计算公式    3 3.2    建立方法    3 3.3    采用量化方法划分数据    4 3.4    决策树的剪枝    4 3.5    应用案例    4 4    代码实现    5 5    

2014-09-18 16:28:56 2647

原创 Lua与Java相互交互的例子

该例子用到一个Java文件,一个Lua脚本文件,引用了Apache commons.lang 第三方jar包,以及luajava.jar,相关jar包请自行下载。LuaDemo.javapackage com.chilijoy.lua;import java.io.File;import java.util.Queue;import java.util.Random;import java.uti

2014-09-18 16:28:53 6632

原创 k-近邻算法的初步研究

k-近邻算法目录k-近邻算法    11    算法介绍    2 2    适用场景    2 3    方法步骤(案例)    2 3.1    首先我们事先定下k值    3 3.2    根据事先确定的距离度量公式(如:欧氏距离),得出待分类数据点和所有已知类别的样本点中,距离最近的k个样本。    3 3.3    统计这k个样本点中,各个类别的数量。    3

2014-09-18 16:28:51 1263

JasperReport 用户手册的翻译

JasperReport 用户手册的翻译 初学者看看啊

2010-04-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除