- 博客(174)
- 资源 (8)
- 收藏
- 关注
原创 koala 多数据源动态切换
koala项目源码以及demo:https://github.com/zeq9069/koala最近,在开发项目的时候后,要用到多个数据源的动态切换,于是就开发了koala这个小小得框架,koala支持多数据源的切换,数据源的分组和负载均衡(轮询)!只需要将jar引入到你自己的项目中之后,然后进行简单配置就可以使用了!!使用起来非常方便,该项目提供了三个核心的注解@ChangeTo,@DataSo
2015-05-07 15:21:43
1719
1
原创 31天代码重构
最近,很长时间没有在csdn上发表blog了,不是没有写,而是以随笔的形式写到了有道云笔记上,还没来得及时间整理发布!这段时间还是学到了不少的东西,稍后一段时间我会陆续的整理出来,供大家学习~~~ 在这里今天看了一篇博文《31天代码重构》感觉收货很大,这也是我们在项目开发中所必须的规范!所以在这里给大家推荐一下!是一个外国朋友写的,叫 Sean Chambers是2009年写的,很
2015-03-27 13:17:46
910
原创 Quartz2.2.1+spring4.0.6出现的异常
WARNING: Unable to load class [org.springframework.scheduling.quartz.JobDetailBean] to check against the @HandlesTypes annotation of one or more ServletContentInitializers. java.lang.IncompatibleClas
2014-11-21 16:09:13
2142
转载 eclipse快捷键大全
Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对
2014-10-19 10:13:54
593
转载 海量数据处理之分而治之/hash映射 + hash统计 + 堆/快速/归并排序
本章和后面的几章我将对海量数据和其处理的方法进行一些总结,很多内容转自博文http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理? 所谓海量数据处理,无非就是基于海量数据上的存储、处理、操作。何谓海量,就是数据量太大,所以导致要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存。处理海量数据问题,
2014-10-12 22:08:27
1386
转载 PostgreSQL之分区表(partitioning)
PostgreSQL有一项非常有用的功能,分区表,或者partitioning。当某个TABLE的记录非常的多,千万甚至更多的时候,我们其实需要将他分割成子表。一个庞大的TABLE,就像水果仓库杂乱无章地堆放着无数的苹果桃子和桔子,查找不方便,性能降低,比较合理的做法是将仓库分成三个子区域,分表放苹果桃子和桔子。一张大表就变成了三个小表的集合。 通过合理的设计,可以将选择一定的规则,将大表
2014-09-25 10:19:47
1963
转载 服务器宕机监控、检测、报警程序(139绑定手机短信报警)monitor_down.sh
宕机监控报警程序一. 需求来源宕机对运维人员来说,最痛苦了。如何检测一台服务器是否还在正常运行,如果该服务器宕机,如何在第一时间监测到并通知一线运维人员进行维护,最大化减少损失。 二. 程序功能对指定服务器进行宕机监测,如果确实宕机,则发送email到139邮箱(绑定手机,实现短信报警) 三.源程序#!/bin/bash#author
2014-09-16 22:12:32
3016
转载 139邮箱短信报警实现
一.问题的提出如何在最短的时间,让非在线运维人员得到服务器运行情况?如何在服务器宕机后,在第一时间能通知非在线运维人员? 二.问题的初步解决移动办公(移动终端运维支持)很重要,通过手机短信报警,可以在更短时间得到服务器的运行情况,从而更快排除故障,解决问题,使企业损失降到最低。 三.如何实现 1.可以通过购买移动、联通、电信的短信网关服务器或者相应接口来实现
2014-09-16 22:07:50
1946
转载 hadoop运行第三方jar
在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的.如果希望将程序发布成jar文件, 在namenode上通过命令行方式执行, 缺少了eclipse帮忙自动配置jar文件, 会遇到java
2014-09-01 13:34:28
956
转载 hadoop运行报错: java.lang.ClassNotFoundException解决方法
在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundExcept
2014-09-01 13:30:48
8664
转载 精华索引:大数据实际应用案例50篇
数据化农产品,大数据世界是商机,还是生活? http://www.36dsj.com/archives/11856数据是全国各地农产品批发市场的价格数据。数据采集自全国各大农产品批发市场,每日更新。包括全国各个省直辖市自治区(澳门、香港、西藏、台湾、海南暂无数据)的180多个批发市场、300多种农产品类别。生物医学大数据:现状与展望 http://www.36dsj.com/archive
2014-08-31 23:57:24
3405
转载 MapReduce,组合式,迭代式,链式
前面介绍一些怎样用户类制定自己的类,来达到减少中间数据:http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html1.迭代式mapreduce 一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在
2014-08-27 09:40:11
606
原创 navicat for linux
安装:解压后即可用。目录下的start_navicat文件为可执行文件。 破解:(找过好几个注册码都不能用,注册码生成器都是Windows平台的,Linux下不行) ----第一次执行start_navicat时,会在用户主目录下生成一个名为.navicat的隐藏文件夹。 ----此文件夹下有一个system.reg文件 ----把此文件删除后,下次启动navicat 会重新生成此文件,30天试用
2014-08-26 20:50:25
870
转载 hadoop中的ssh无密码登录配置
目标:在配置hadoop分布式安装过程中,需要配置ssh的无密码登录。在组建hadoop集群的时候,需要多台实体机进行通信(发送或者读取数据,namenode和datanode之间)就是借助ssh,在通信过程中如果需要操作人员频繁输入密码是不切实际的,所以需要ssh的无密码登录。环境:主机qiuchenl0,namenode,ubuntu12.04 操作系统,用户名qiuc
2014-08-25 22:02:26
875
转载 Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)
Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)中文版下载地址http://pan.baidu.com/s/1sjtZBSL原文地址链接: http://labs.google.com/papers/gfs.html http://labs.google.com/papers/
2014-08-24 09:41:22
3673
原创 hdfs java.io.IOException: Mkdirs failed to create
今天写MapReduce的时候, FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/center_db"));
2014-08-24 01:10:21
2743
转载 HMaster自动退出源于regionServer宕机
一大早起来关注我的小集群,发现HBase不好使了,弄得毫无头绪——只好重新查看守护进程jps 后 返现传说中的HMaster居然。。。不见了!————查看日志!果然:2012-12-17 22:51:13,317 INFO org.apache.zookeeper.ClientCnxn: Unable to reconnect to ZooKeeper service, session 0
2014-08-23 19:10:40
1629
转载 ssh localhost “Permission denied (publickey)
再次遇到 SSH Server And “Permission denied (publickey)首先,我们要确定ssh 已经设置过了,并且成功了遇到上述问题,是在我启动在伪分布式hadoop集群下执行的所有命令时,每次都要求输入密码,之前还是好好的,每次登录不需要密码所以,我就回忆,哪里出错了,后来,想了想,可能是我一次把/home/下的文件权限全都递归修改
2014-08-21 21:09:21
2840
翻译 RabbitMQ消息队列之“Hello World”(一)
本系列文章翻译字www.rabbitmq.com/tutorials/tutorial-one-java.html
2014-08-10 14:19:50
1203
转载 高并发解决方案
时常看到高并发的问题,但高并发其实是最不需要考虑的东西。为何,他虚无缥缈,很少有网站真的需要这些东西,而且其中很多技术,其实你已经在用了。有这个意识就够了,不需要时刻盯着这个问题。只有很少的网站真的能达到高并发。简单做一个归纳,从低成本、高性能和高扩张性的角度来说有如下处理方案: 1、HTML静态化 2、图片服务器分离 3、数据库集群和库表散列 4、缓存 5
2014-06-24 01:36:04
801
转载 awk用法介绍 做为了一个系统管理员我若不会awk会不会out了
1. 介绍Awk是由Aho、Weinberger和Kernighan三位科学家开发的,特别擅长文本处理的linux 工具,该工具是 linux 下最常用的工具之一。Awk不是普通的工具,其实,也是一种编程语言,在编程语言排行榜上也能排上号的。google 的一位工程师(他的博客最近访问不了)写了一篇文章,介绍Awk,标题为《Why you should learn just a l
2014-05-27 09:57:03
1455
转载 E:无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系
安装terminator等一些软件等时候,遇到了这样等问题leo@leo:~$ sudo apt-get install terminator[sudo] password for leo: 正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 有一些软件包无法被安装。如果您用的是 unstable 发行版,这也许是因为系统无法达到您要
2014-05-24 09:33:05
2775
转载 Cobar使用文档(可用作MySQL大型集群解决方案)
最近好不容易抽空研究了下Cobar,感觉这个产品确实很不错(在文档方面比Amoeba强多了),特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统,该产品成功替代了原先基于Oracle的数据存储方案,目前已经接管了3000+个MySQL数据库的schema,平均每天处理近50亿次的SQL执行请求。首先,使用Cobar的核心功能如下:分布式:Cobar的分布式主要
2014-04-30 19:03:51
673
转载 Hibernate事务与并发问题处理(乐观锁与悲观锁)
目录一、数据库事务的定义二、数据库事务并发可能带来的问题三、数据库事务隔离级别四、使用Hibernate设置数据库隔离级别五、使用悲观锁解决事务并发问题六、使用乐观锁解决事务并发问题 Hibernate事务与并发问题处理(乐观锁与悲观锁)一、数据库事务的定义 数据库事务(Database Transaction) ,是指作为单个逻辑工作单元执行的
2014-02-27 14:00:33
870
转载 微博短链接的生成算法(Java 版本)
最近看到微博的短链接真是很火啊,新浪、腾讯、搜狐等微博网站都加入了短链接的功能。之所以要是使用短链接,主要是因为微博只允许发140 字,如果链接地址太长的话,那么发送的字数将大大减少。短链接的主要职责就是把原始链接很长的地址压缩成只有6 个字母的短链接地址,当我们点击这6 个字母的链接后,我们又可以跳转到原始链接地址。开始以为短链接是按照某种算法把原始链接压缩为短链接,再根据算法从短链接反算成
2014-02-26 19:56:42
1002
原创 变相解决调用innerHTML之后,onclick失效的问题
最近再写一个项目,用到了innerHTML,但是呢,发现调用innerHTML之后,onclick失效了,这也是在意料之中的,因为innerHTML是以文本形式插入的button,所以无法识别onclick事件,所我们只有另找出路了,我们不能直接实现,但是可以间接实现,下面就举个例子:例子一:该例子是无法实现的onclick的function insCell(th) v
2014-01-28 10:37:32
4987
转载 Hadoop实战实例
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或
2013-12-31 22:17:19
855
转载 负载均衡技术全攻略
负载均衡技术全攻略Internet的规模每一百天就会增长一倍,客户希望获得7天24小时的不间断可用性及较快的系统反应时间,而不愿屡次看到某个站点“Server Too Busy”及频繁的系统故障。 网络的各个核心部分随着业务量的提高、访问量和数据流量的快速增长,其处理能力和计算强度也相应增大,使得单一设备根本无法承担。在此情况下,如果扔掉现有设备去做大量的硬件升级,这样将造成现有资源
2013-12-30 23:11:13
161
转载 hdfs操作
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来
2013-12-30 22:56:33
1315
转载 WebService详解
什么是webService WebService,顾名思义就是基于Web的服务。它使用Web(HTTP)方式,接收和响应外部系统的某种请求。从而实现远程调用. 1:从WebService的工作模式上理解的话,它跟普通的Web程序(比如ASP、JSP等)并没有本质的区别,都是基于HTTP传输协议的程序。 2:WebService所使用的数据均是基于XML格式的。目前标准的WebSer
2013-12-24 01:10:02
911
原创 webService发布简单实例
最近呢,听朋友说了一下WebService,当时不懂,不知道什么事webService,于是萌生了学习一下的念头,不甘落后嘛!!!呵呵,废话少说,现在切入正题!相信大家,也都或多或少的了解一点WebService了,我们上两篇博文中也讲过课~~~我们这次呢,主要是以图文结合的形式,来教大家操作一些简单的例子~~带你入门!!这一节是针对初学者的,所以讲的很浅很浅,适合入门者学习,尤其不是到怎
2013-12-24 01:03:59
958
基于pushlet实现的jsp网站消息推送
2013-11-18
Mahout推荐算法usercf itemcf,slopeone三种算法实现
2013-11-18
一个对xml进行操作的web小项目
2012-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人