自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(51)
  • 资源 (12)
  • 收藏
  • 关注

原创 redis3.2.5官方安装及测试方法

InstallationDownload, extract and compile Redis with:$ wget http://download.redis.io/releases/redis-3.2.5.tar.gz$ tar xzf redis-3.2.5.tar.gz$ cd redis-3.2.5$ makeThe binaries that are now

2016-11-17 10:38:47 1091

转载 Redis集群搭建与简单使用

用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master、3 salve 环境。redis 采用 redis-3.2.4 版本。两台虚拟机都是 CentOS ,一台 CentOS6.5 (IP:192.168.31.245),一台 CentOS7(IP:192.168.31.210) 。安装过程1. 下载并解压cd /root/software

2016-11-17 10:10:41 473

转载 redis的安装及三种启动方式

Part I. 直接启动下载官网下载安装tar zxvf redis-2.8.9.tar.gzcd redis-2.8.9#直接make 编译make#可使用root用户执行`make install`,将可执行文件拷贝到/usr/local/bin目录下。这样就可以直接敲名字运行程序了。make install启动#加上`&`号使redis以后台

2016-11-17 10:10:01 379

转载 memcached安装方式一(yum安装)

1. 查找Memcachedyum search memcached首先检查yum软件仓库中是否存在memcached,如果有 直接进入第3步安装即可,否则执行第2步。 2. 安装第三方软件库(可选)标准的CentOS5软件仓库里面是没有memcache相应的包的,所以,我们的第一步就是导入第三方软件仓库,这里推荐的是RpmForge(RpmForg

2016-11-15 22:00:06 490

转载 linux下的mysql安装方式一(yum安装)

mysql数据库有多种安装方式,本文只介绍在Linux服务器上最实用、最快捷的mysql server安装方法。一、Linux服务器yum安装(CentOS6.3 64位)所有在服务器上执行的命令,都在 # 后面1、命令安装mysql# yum install mysql mysql-server mysql-devel -y最后提示 Complete!  表示安装成功

2016-11-15 19:55:49 639

原创 spark-shell示例

Scala 行数统计命令及结果示例# spark-shellscala> val lines  = sc.textFile("README.md")lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24scala> lines.count

2016-11-09 14:08:26 1001

转载 Spark 单机安装配置

本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。备注:经验证,spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。0.Spark的安装准备Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的:S

2016-11-09 13:37:09 4052

转载 Spring中所用到的设计模式

应该说设计模式是我们在写代码时候的一种被承认的较好的模式。好的设计模式就像是给代码造了一个很好的骨架,在这个骨架里,你可以知道心在哪里,肺在哪里,因为大多数人都认识这样的骨架,就有了很好的传播性。这是从易读和易传播来感知设计模式的好处。当然设计模式本身更重要的是设计原则的一种实现,比如开闭原则,依赖倒置原则,这些是在代码的修改和扩展上说事。说到底就是人类和代码发生关系的四种场合:阅读,修改,增加,

2016-10-20 10:24:42 301

转载 HBase – Memstore Flush深度解析

Memstore是HBase框架中非常重要的组成部分之一,是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置,对hbase集群管理、性能调优都有着非常重要的帮助。Memstore 概述HBase中,Region是集群节点上最小的数据服务单元,用户数据表由一个或多个Region组成。在Region中每个ColumnFamily的

2016-10-18 15:33:10 943

转载 设计模式之代理模式(Proxy)

这段时间一直忙于期末考试,好久没来博客园了,现在好了,终于考完了,也该过上正常的日子了。开学就是大四的学生了,时间过的可是真快啊,转眼间大学四年已经接近尾声了。回想大学这三年,成绩还可以吧(年级前10%),参加过各种竞赛(acm,数学建模等等),学生会也呆过(打了一年的酱油),好哥们也有那么五六个(希望以后能在一个城市发展,大学期间的宝贵财富啊),另外所谓的大学生创新实践项目也搞了一个(就算开阔一

2016-10-18 10:29:46 310

原创 hbase常用查询总结

1、巧妙的数据行数查询显然hbase做count是个非常困难的事,所以有时要查一个ID的时间段的次数,就可以结合STARTROW -STOPROW还结合着做,可以指定一个列加快查询速度。说明:此处是rowkey = busNo+time+5位随机数。scan 'HBS_TEMP:HB_BUS_WARNING_LOG_A',{COLUMNS =>'D:busNo', STARTROW =>'

2016-10-18 09:29:01 2010

转载 MapReduce:详解Shuffle过程

/** * author : 冶秀刚 * mail     : dennyy99@gmail.com */         Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job

2016-10-17 18:14:41 213

转载 hadoop下的Map-Reduce最高温度例子

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+00430119

2016-10-17 17:59:28 671

转载 Hadoop2的高可用并取代SecondaryNamenode

在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum Journal

2016-10-17 16:46:32 6850 1

原创 窗口函数的总结

1、求急加减速(加速度为相邻两时刻后一时刻的车速减前一时刻的车速并比上相隔时间间隔)急加速 = 最近两次的速度之差 / 最近两次时间之差select quota_data,       abs(quota_data - Lead(quota_data, 1) OVER(order by update_time desc)) /       abs(update_time - L

2016-10-17 16:13:00 451

转载 软件的分类定义

在某种程度上讲我们难以对软件应用给出一个通用的分类。随着软件复杂性的增加,其间已没有明显的差别。下面给出一些软件应用领域,它们可能是一种潜在的应用分类:系统软件:系统软件是一组为其他程序服务的程序。一些系统软件(如编译器、编辑器和文件管理程序)处理复杂的但也是确定的信息结构。其他的系统应用(如操作系统、驱动程序和通讯进程等)则处理大量的非确定的数据。不管哪种情况,系统软件均具有以下特点:与

2016-10-13 11:59:38 5351 1

转载 跟我一起学 Hadoop YARN

Hadoop 2.0的本质  很多人提到Hadoop首先想到的是Map/Reduce,其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。  上图是Hadoop2.0的技术栈,在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理,HDFS提供了分布式存储。在此之上开发出来的应用被称为 Appl

2016-10-13 09:02:50 898 1

转载 oozie使用中的一些小结

关于oozie 寻找包寻找位置原则:  oozie在运行的时候 只会去两个地方寻找自己需要的lib 1 回去当前提交任务的workflow所在的hdfs目录下的lib下寻找 eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录

2016-10-12 18:32:06 2920

转载 Hive SQL 编译过程详解

Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在 几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为 MapReduce的过

2016-10-12 18:31:20 575

转载 tomcat cpu暴涨的原因之一及其解决方法

当你使用tomcat部署web系统时,过了一段时间发现cpu暴涨,你不防试试下面的方法,看看是否程序内的死循环导致cpu暴涨。 第一步:增加tomcat监控对外端口 在你的tomcat的bin目录下找到catalina.sh在二行加上 Java代码  JAVA_OPTS='-server -Xms1024m -Xmx1024m -XX:PermSize=

2016-10-11 11:06:33 967

转载 Tomcat的性能与最大并发(1000)

当一个进程有 500 个线程在跑的话,那性能已经是很低很低了。Tomcat 默认配置的最大请求数是 150,也就是说同时支持 150 个并发,当然了,也可以将其改大。当某个应用拥有 250 个以上并发的时候,应考虑应用服务器的集群。具体能承载多少并发,需要看硬件的配置,CPU 越多性能越高,分配给 JVM 的内存越多性能也就越高,但也会加重 GC 的负担。操作系统对于进程中的线程数有一

2016-10-11 11:00:53 537

转载 HBase最佳实践网易视频云--内存规划

问题导读1.本文hbase是如何规划内存的?2.写多读少型 + LRUBlockCache 内存规划思路是什么?3.读多写少型 + BucketCache 内存你认为内存该如何规划?网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、

2016-10-10 18:00:37 838

转载 hbase权限管理

HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true,以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。

2016-10-10 15:30:30 7760 2

转载 多线程优缺点

何时使用多线程技术,何时避免用它,是我们需要掌握的重要课题。多线程技术是一把双刃剑,在使用时需要充分考虑它的优缺点。多线程处理可以同时运行多个线程。由于多线程应用程序将程序划分成多个独立的任务,因此可以在以下方面显著提高性能: (1)多线程技术使程序的响应速度更快 ,因为用户界面可以在进行其它工作的同时一直处于活动状态;(2)当前没有进行处理的任务时可以将处理器时间让给其它任务;

2016-10-09 17:36:18 257

转载 Java 面试题总结

多线程、并发及线程的基础问题: 1)Java 中能创建 volatile 数组吗? 能,Java 中可以创建 volatile 类型数组,不过只是一个指向数组的引用,而不是整个数组。我的意思是,如果改变引用指向的数组,将会受到 volatile 的保护,但是如果多个线程同时改变数组的元素,volatile 标示符就不能起到之前的保护作用了。 2)volatile 能使得一个非原

2016-10-09 17:26:07 385

转载 一程序员在阿里HBase团队的所感所悟

2013/08/18阅读 9.9k 评论 1收藏 0再不改变,你就老了。用加薪后的2天薪资来投资自己,做个优秀的产品经理 开始改变!“committer为开源社区的一个光荣和义务的职务。拥有对某项目拥有直接提交代码、代码审核与提交、投票否决代码、参加核心会议、决定项目未来走势、加入committer邮件列表等多个重要权利。”“hadoop社区的committer主要

2016-10-08 18:25:36 2987 1

转载 oracle试题

1. Oracle跟SQL Server 2005的区别? 宏观上: 1). 最大的区别在于平台,oracle可以运行在不同的平台上,sql server只能运行在windows平台上,由于windows平台的稳定性和安全性影响了sql server的稳定性和安全性 2). oracle使用的脚本语言为PL-SQL,而sql server使用的脚本为T-SQL 微观上: 从数据类型

2016-10-08 16:19:33 409

转载 索引的基本概念、分类、优点、使用

转载▼一、索引的概念        索引就是加快检索表中数据的方法。数据库的索引类似于书籍的索引。在书籍中,索引允许用户不必翻阅完整个书就能迅速地找到所需要的信息。在数据库中,索引也允许数据库程序迅速地找到表中的数据,而不必扫描整个数据库。二、索引的特点    1.索引可以加快数据库的检索速度    2.索引降低了数据库插入、修改、删除等维护任务的速度   

2016-10-08 15:39:54 928

转载 oracle 使用explain plan分析查询语句

使用explain plan分析查询语句" title="oracle  使用explain plan分析查询语句" style="margin:0px; padding:0px; border:0px; list-style:none">如图或者左边建一个explain plan窗口.或直接点右边窗口如图 使用explain plan分析查询语句" title="orac

2016-10-08 15:14:48 4260

原创 Centos是否安装桌面的选择

Desktop:基本的桌面系统,包括常用的桌面软件,如文档查看工具Minimal Desktop:基本的桌面系统,包含的软件更少Minimal:基本的系统,不包含任何可选的软件包Basic Server:安装的基本系统的平台支持,不包含桌面Database Server:基本系统平台,加上MySQL和PostgreSQL数据库的客户端,无桌面Web Serv

2016-09-30 16:03:54 2307

转载 oracle:分析函数(评级函数、窗口函数等)

1.评级函数:用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名,排名相等会在名次中留下空位DENSE_RANK()返回数据项在分组中的排名,排名相等会在名次中不会留下空位CUME_DIST()返回特定值对于一组值的位置“cumulati

2016-09-29 17:59:48 409

转载 Hadoop单机模式中Hive安装配置

本文主要是演示在Hadoop单机模式中Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下:基础环境Hive安装配置启动及演示[一]、基础环境Mac OSX 10.9.1Java 1.6+ Hadoop 2.2.0 (安装配置详见: http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setu

2016-09-29 17:49:59 3285

转载 HIVE 窗口及分析函数 应用场景

窗口函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询 一、分析函数用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名,排名相等会在名次中留下空位DENSE_RANK()返回数据项在分组中的排名,排

2016-09-29 17:43:10 235

转载 Hadoop单机版安装

以前对Hadoop有过一点了解,但没有深入,现在越来越感觉这东西挺有意思的,打算学习下,前两天买了两本Hadoop相关的书,先粗略的翻了下,今天就动手先把环境搭起来。      环境:centos6.2,jdk7_u45,hadoop2.2.0      下载,解压过程就不说了,直接环境配置(包括JAVA_HOME的配置,以及HADOOP_HOME的环境变量配置,都略过了)。参考文档htt

2016-09-29 17:38:44 663

转载 Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读).本质上就是通过Hive访问HBase表,具体就是通过hive-hbase-handler(关于Hive和HBase的整

2016-09-29 11:16:18 1155

原创 oracle实现类似mysql的LIMIT,也可以作为oracle分页使用

select * from (select A.*,rownum rn from ( 原mysql的语句,注意去掉limit )A where rownum > 30 ) where rn 20

2016-09-29 09:21:10 1594

转载 hive数据分析

近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据,利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验,并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hiv

2016-09-27 18:17:23 1122

转载 数据库SQL优化大总结之 百万级数据库优化方案

网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量

2016-09-27 18:11:59 261

转载 hive优化

倾斜的原因:  使map的输出数据更均匀的分布到reduce中去,是我们的最终目标。由于Hash算法的局限性,按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。解决思路:  Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的分配到各个reduce中,就是解决

2016-09-27 18:11:05 296

转载 大数据工具比较:R语言和Spark谁更胜一筹?

摘要:本文有两重目的,一是在性能方面快速对比下R语言和Spark,二是想向大家介绍下 Spark的机器学习库 。 背景 介绍 由于R语言本身是单线程的,所以可能从性能方面对比Spark和R并不是很明智的做法。即使这种比较不是很理想,但是对于那些曾经遇到过这些问题的人,下文中的一些数字一定会让你很感兴趣。原文  http://www.daifans.com/bigdata/20917.htm

2016-09-27 15:30:43 596

ntp-4.2.6的离线rpm包

因为没有可行的二进制安装方式,而且rpm找起来比较费劲,所以直接给大家分享了 已在64位的centos7.3-1611 / centos-7.5-1804系统验证可行。 解压命令: tar -xvf xxxxxx.tar 安装命令:yum install -y ./*.rpm

2019-04-17

keepalived-1.3.5-8离线rpm包

因为没有可行的二进制安装方式,而且rpm找起来比较费劲,所以直接给大家分享了 已在64位的centos7.3-1611 / centos-7.5-1804系统验证可行。 解压命令: tar -xvf xxxxxx.tar 安装命令:yum install -y ./*.rpm

2019-04-17

nfs-utils-1.3.0-0.61.x86_64离线rpm包

找起来比较费劲,所以直接给大家分享了 已在64位的centos7.3-1611 / 7.5-1804系统验证可行。 解压命令: tar -xvf xxxxxx.tar 安装命令:yum install -y ./*.rpm

2019-04-17

jodconverter-2.2.2.zip

jodconverter 找起来比较费劲,大家看着用,网上很多例子文章!

2017-03-06

Flash Builder注册机

使用方法: 是个EXE 直接运行就可以了。当然得先选择产品。

2013-04-10

Myeclipse注册机

使用方法,非常简单,在配置了jdk1.5及以上的机器上,内容如下(应该能看懂哦): Ms-dos下 C:\Documents and Settings\Administrator\桌面>java -jar MyeclipseKey.jar please input register name: hello Serial:uLR8ZC-855550-61595456546245104

2013-04-10

图片格式转换编辑小工具

这是一个相当实用的图形格式转换工具,写上10个资源分不过。<br>应用范围:在QQ空间,其他上传图片遇到格式不支持时,实现快速格式转化<br>安环环境:只需解压,无需安装。<br>因为实用,所以值得

2008-07-17

Hibernate高级特性

Hibernate高级特性,可以看看!

2008-06-19

J2EE的简单介绍

J2EE的简单介绍,JAVA中的基本知识了解<br>来自网上,与大家共享!

2008-05-06

JSP的相关技术介绍,面试有用!!

JSP的相关技术介绍,面试有用!!

2008-05-05

一比较实用的商店购书系统

对初学者和精通asp的人都有帮助

2008-01-14

一个好的ASP上传组件

对你初学asp的您可能有所帮助

2008-01-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除