- 博客(51)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 redis3.2.5官方安装及测试方法
InstallationDownload, extract and compile Redis with:$ wget http://download.redis.io/releases/redis-3.2.5.tar.gz$ tar xzf redis-3.2.5.tar.gz$ cd redis-3.2.5$ makeThe binaries that are now
2016-11-17 10:38:47
1093
转载 Redis集群搭建与简单使用
用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。redis 采用 redis-3.2.4 版本。两台虚拟机都是 CentOS ，一台 CentOS6.5 （IP:192.168.31.245），一台 CentOS7（IP:192.168.31.210） 。安装过程1. 下载并解压cd /root/software
2016-11-17 10:10:41
475
转载 redis的安装及三种启动方式
Part I. 直接启动下载官网下载安装tar zxvf redis-2.8.9.tar.gzcd redis-2.8.9#直接make 编译make#可使用root用户执行`make install`，将可执行文件拷贝到/usr/local/bin目录下。这样就可以直接敲名字运行程序了。make install启动#加上`&`号使redis以后台
2016-11-17 10:10:01
381
转载 memcached安装方式一（yum安装）
1. 查找Memcachedyum search memcached首先检查yum软件仓库中是否存在memcached，如果有 直接进入第3步安装即可，否则执行第2步。 2. 安装第三方软件库（可选）标准的CentOS5软件仓库里面是没有memcache相应的包的,所以，我们的第一步就是导入第三方软件仓库，这里推荐的是RpmForge（RpmForg
2016-11-15 22:00:06
493
转载 linux下的mysql安装方式一（yum安装）
mysql数据库有多种安装方式，本文只介绍在Linux服务器上最实用、最快捷的mysql server安装方法。一、Linux服务器yum安装（CentOS6.3 64位）所有在服务器上执行的命令，都在 # 后面1、命令安装mysql# yum install mysql mysql-server mysql-devel -y最后提示 Complete! 表示安装成功
2016-11-15 19:55:49
640
原创 spark-shell示例
Scala 行数统计命令及结果示例# spark-shellscala> val lines = sc.textFile("README.md")lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24scala> lines.count
2016-11-09 14:08:26
1003
转载 Spark 单机安装配置
本文将介绍Apache Spark 1.6.0在单机的部署，与在集群中部署的步骤基本一致，只是少了一些master和slave文件的配置。备注：经验证，spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。0.Spark的安装准备Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的：S
2016-11-09 13:37:09
4054
转载 Spring中所用到的设计模式
应该说设计模式是我们在写代码时候的一种被承认的较好的模式。好的设计模式就像是给代码造了一个很好的骨架，在这个骨架里，你可以知道心在哪里，肺在哪里，因为大多数人都认识这样的骨架，就有了很好的传播性。这是从易读和易传播来感知设计模式的好处。当然设计模式本身更重要的是设计原则的一种实现，比如开闭原则，依赖倒置原则，这些是在代码的修改和扩展上说事。说到底就是人类和代码发生关系的四种场合：阅读，修改，增加，
2016-10-20 10:24:42
301
转载 HBase – Memstore Flush深度解析
Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。Memstore 概述HBase中，Region是集群节点上最小的数据服务单元，用户数据表由一个或多个Region组成。在Region中每个ColumnFamily的
2016-10-18 15:33:10
943
转载 设计模式之代理模式（Proxy）
这段时间一直忙于期末考试，好久没来博客园了，现在好了，终于考完了，也该过上正常的日子了。开学就是大四的学生了，时间过的可是真快啊，转眼间大学四年已经接近尾声了。回想大学这三年，成绩还可以吧（年级前10%），参加过各种竞赛（acm，数学建模等等），学生会也呆过（打了一年的酱油），好哥们也有那么五六个（希望以后能在一个城市发展，大学期间的宝贵财富啊），另外所谓的大学生创新实践项目也搞了一个（就算开阔一
2016-10-18 10:29:46
310
原创 hbase常用查询总结
1、巧妙的数据行数查询显然hbase做count是个非常困难的事，所以有时要查一个ID的时间段的次数，就可以结合STARTROW -STOPROW还结合着做，可以指定一个列加快查询速度。说明：此处是rowkey = busNo+time+5位随机数。scan 'HBS_TEMP:HB_BUS_WARNING_LOG_A',{COLUMNS =>'D:busNo', STARTROW =>'
2016-10-18 09:29:01
2011
转载 MapReduce:详解Shuffle过程
/** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job
2016-10-17 18:14:41
213
转载 hadoop下的Map-Reduce最高温度例子
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+00430119
2016-10-17 17:59:28
675
转载 Hadoop2的高可用并取代SecondaryNamenode
在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal
2016-10-17 16:46:32
6875
1
原创 窗口函数的总结
1、求急加减速（加速度为相邻两时刻后一时刻的车速减前一时刻的车速并比上相隔时间间隔）急加速 = 最近两次的速度之差 / 最近两次时间之差select quota_data, abs(quota_data - Lead(quota_data, 1) OVER(order by update_time desc)) / abs(update_time - L
2016-10-17 16:13:00
451
转载 软件的分类定义
在某种程度上讲我们难以对软件应用给出一个通用的分类。随着软件复杂性的增加，其间已没有明显的差别。下面给出一些软件应用领域，它们可能是一种潜在的应用分类：系统软件：系统软件是一组为其他程序服务的程序。一些系统软件（如编译器、编辑器和文件管理程序）处理复杂的但也是确定的信息结构。其他的系统应用（如操作系统、驱动程序和通讯进程等）则处理大量的非确定的数据。不管哪种情况，系统软件均具有以下特点：与
2016-10-13 11:59:38
5386
1
转载 跟我一起学 Hadoop YARN
Hadoop 2.0的本质 很多人提到Hadoop首先想到的是Map/Reduce，其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。 上图是Hadoop2.0的技术栈，在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理，HDFS提供了分布式存储。在此之上开发出来的应用被称为 Appl
2016-10-13 09:02:50
900
1
转载 oozie使用中的一些小结
关于oozie 寻找包寻找位置原则： oozie在运行的时候 只会去两个地方寻找自己需要的lib 1 回去当前提交任务的workflow所在的hdfs目录下的lib下寻找 eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录
2016-10-12 18:32:06
2920
转载 Hive SQL 编译过程详解
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在 几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为 MapReduce的过
2016-10-12 18:31:20
576
转载 tomcat cpu暴涨的原因之一及其解决方法
当你使用tomcat部署web系统时，过了一段时间发现cpu暴涨，你不防试试下面的方法，看看是否程序内的死循环导致cpu暴涨。 第一步：增加tomcat监控对外端口 在你的tomcat的bin目录下找到catalina.sh在二行加上 Java代码 JAVA_OPTS='-server -Xms1024m -Xmx1024m -XX:PermSize=
2016-10-11 11:06:33
969
转载 Tomcat的性能与最大并发(1000)
当一个进程有 500 个线程在跑的话，那性能已经是很低很低了。Tomcat 默认配置的最大请求数是 150，也就是说同时支持 150 个并发，当然了，也可以将其改大。当某个应用拥有 250 个以上并发的时候，应考虑应用服务器的集群。具体能承载多少并发，需要看硬件的配置，CPU 越多性能越高，分配给 JVM 的内存越多性能也就越高，但也会加重 GC 的负担。操作系统对于进程中的线程数有一
2016-10-11 11:00:53
539
转载 HBase最佳实践网易视频云--内存规划
问题导读1.本文hbase是如何规划内存的？2.写多读少型 + LRUBlockCache 内存规划思路是什么？3.读多写少型 + BucketCache 内存你认为内存该如何规划？网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、
2016-10-10 18:00:37
843
转载 hbase权限管理
HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。
2016-10-10 15:30:30
7764
2
转载 多线程优缺点
何时使用多线程技术,何时避免用它,是我们需要掌握的重要课题。多线程技术是一把双刃剑,在使用时需要充分考虑它的优缺点。多线程处理可以同时运行多个线程。由于多线程应用程序将程序划分成多个独立的任务,因此可以在以下方面显著提高性能: (1)多线程技术使程序的响应速度更快 ,因为用户界面可以在进行其它工作的同时一直处于活动状态;(2)当前没有进行处理的任务时可以将处理器时间让给其它任务;
2016-10-09 17:36:18
259
转载 Java 面试题总结
多线程、并发及线程的基础问题： 1）Java 中能创建 volatile 数组吗？ 能，Java 中可以创建 volatile 类型数组，不过只是一个指向数组的引用，而不是整个数组。我的意思是，如果改变引用指向的数组，将会受到 volatile 的保护，但是如果多个线程同时改变数组的元素，volatile 标示符就不能起到之前的保护作用了。 2）volatile 能使得一个非原
2016-10-09 17:26:07
385
转载 一程序员在阿里HBase团队的所感所悟
2013/08/18阅读 9.9k 评论 1收藏 0再不改变，你就老了。用加薪后的2天薪资来投资自己，做个优秀的产品经理 开始改变！“committer为开源社区的一个光荣和义务的职务。拥有对某项目拥有直接提交代码、代码审核与提交、投票否决代码、参加核心会议、决定项目未来走势、加入committer邮件列表等多个重要权利。”“hadoop社区的committer主要
2016-10-08 18:25:36
2991
1
转载 oracle试题
1. Oracle跟SQL Server 2005的区别？ 宏观上： 1). 最大的区别在于平台，oracle可以运行在不同的平台上，sql server只能运行在windows平台上，由于windows平台的稳定性和安全性影响了sql server的稳定性和安全性 2). oracle使用的脚本语言为PL-SQL，而sql server使用的脚本为T-SQL 微观上： 从数据类型
2016-10-08 16:19:33
410
转载 索引的基本概念、分类、优点、使用
转载▼一、索引的概念 索引就是加快检索表中数据的方法。数据库的索引类似于书籍的索引。在书籍中，索引允许用户不必翻阅完整个书就能迅速地找到所需要的信息。在数据库中，索引也允许数据库程序迅速地找到表中的数据，而不必扫描整个数据库。二、索引的特点 1.索引可以加快数据库的检索速度 2.索引降低了数据库插入、修改、删除等维护任务的速度
2016-10-08 15:39:54
929
转载 oracle 使用explain plan分析查询语句
使用explain plan分析查询语句" title="oracle 使用explain plan分析查询语句" style="margin:0px; padding:0px; border:0px; list-style:none">如图或者左边建一个explain plan窗口.或直接点右边窗口如图 使用explain plan分析查询语句" title="orac
2016-10-08 15:14:48
4261
原创 Centos是否安装桌面的选择
Desktop:基本的桌面系统，包括常用的桌面软件，如文档查看工具Minimal Desktop:基本的桌面系统，包含的软件更少Minimal:基本的系统，不包含任何可选的软件包Basic Server:安装的基本系统的平台支持，不包含桌面Database Server:基本系统平台，加上MySQL和PostgreSQL数据库的客户端，无桌面Web Serv
2016-09-30 16:03:54
2317
转载 oracle:分析函数（评级函数、窗口函数等）
1.评级函数：用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名，排名相等会在名次中留下空位DENSE_RANK()返回数据项在分组中的排名，排名相等会在名次中不会留下空位CUME_DIST()返回特定值对于一组值的位置“cumulati
2016-09-29 17:59:48
413
转载 Hadoop单机模式中Hive安装配置
本文主要是演示在Hadoop单机模式中Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下：基础环境Hive安装配置启动及演示[一]、基础环境Mac OSX 10.9.1Java 1.6+ Hadoop 2.2.0 （安装配置详见： http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setu
2016-09-29 17:49:59
3287
转载 HIVE 窗口及分析函数 应用场景
窗口函数应用场景：（1）用于分区排序（2）动态Group By（3）Top N（4）累计计算（5）层次查询 一、分析函数用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名，排名相等会在名次中留下空位DENSE_RANK()返回数据项在分组中的排名，排
2016-09-29 17:43:10
235
转载 Hadoop单机版安装
以前对Hadoop有过一点了解，但没有深入，现在越来越感觉这东西挺有意思的，打算学习下，前两天买了两本Hadoop相关的书，先粗略的翻了下，今天就动手先把环境搭起来。 环境：centos6.2,jdk7_u45,hadoop2.2.0 下载，解压过程就不说了，直接环境配置（包括JAVA_HOME的配置，以及HADOOP_HOME的环境变量配置，都略过了）。参考文档htt
2016-09-29 17:38:44
665
转载 Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数
关键字： Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）.本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler（关于Hive和HBase的整
2016-09-29 11:16:18
1157
原创 oracle实现类似mysql的LIMIT,也可以作为oracle分页使用
select * from (select A.*,rownum rn from ( 原mysql的语句，注意去掉limit )A where rownum > 30 ) where rn 20
2016-09-29 09:21:10
1594
转载 hive数据分析
近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验，并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hiv
2016-09-27 18:17:23
1123
转载 数据库SQL优化大总结之 百万级数据库优化方案
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量
2016-09-27 18:11:59
261
转载 hive优化
倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。解决思路: Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决
2016-09-27 18:11:05
298
转载 大数据工具比较：R语言和Spark谁更胜一筹？
摘要：本文有两重目的，一是在性能方面快速对比下R语言和Spark，二是想向大家介绍下 Spark的机器学习库 。 背景 介绍 由于R语言本身是单线程的，所以可能从性能方面对比Spark和R并不是很明智的做法。即使这种比较不是很理想，但是对于那些曾经遇到过这些问题的人，下文中的一些数字一定会让你很感兴趣。原文 http://www.daifans.com/bigdata/20917.htm
2016-09-27 15:30:43
596
ntp-4.2.6的离线rpm包
2019-04-17
keepalived-1.3.5-8离线rpm包
2019-04-17
nfs-utils-1.3.0-0.61.x86_64离线rpm包
2019-04-17
Myeclipse注册机
2013-04-10
图片格式转换编辑小工具
2008-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人