2015年07月_mituan1234567

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 redis持久化RDB和AOF

http://my.oschina.net/davehe/blog/174662Redis 持久化:提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF.RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据

2015-07-31 13:41:47 311

转载让Redis在你的系统中发挥更大作用的几点建议

http://www.jb51.net/article/51624.htmRedis在很多方面与其他数据库解决方案不同：它使用内存提供主存储支持，而仅使用硬盘做持久性的存储；它的数据模型非常独特，用的是单线程。另一个大区别在于，你可以在开发环境中使用Redis的功能，但却不需要转到Redis。转向Redis当然也是可取的，许多开发者从一开始就把Redis作为首选数据库；但设想如

2015-07-31 11:15:03 296

转载 Redis计数在新浪微博的应用

http://c.blog.sina.com.cn/profile.php?blogid=a466bf91890019v8微博业务的迅速发展，对基础架构层面的要求也越来越高。新浪作为国内最早使用redis，并且是国内最大的redis使用者，在redis的使用上，也在逐步优化和提高。作为微博中一项重要的数据，计数类业务在微博业务中占的比重和重要性逐步提高。计数结果的准确度直接影响

2015-07-31 11:11:53 804

转载 Redis在计数器场景上的应用

http://itindex.net/detail/44383-redis-%E8%AE%A1%E6%95%B0%E5%99%A8-%E5%BA%94%E7%94%A8对于计数器大家肯定还有或多或少的疑问。　　Q1:计数从哪里来？　　通常我们发布的社交内容会存储在数据库中，最常见的如MySQL：　　更新索引：insert into user_message(uid,messagei

2015-07-31 11:08:46 1331

转载 Redis经验谈

http://www.programmer.com.cn/14577/新浪作为全世界最大的Redis用户，在开发和运维方面有非常多的经验。本文作者来自新浪，希望能为业界提供一些亲身经历，让大家少走弯路。使用初衷从2010年上半年起，我们就开始尝试使用Redis，主要出于以下几方面的考虑。性能比MySQL好。因为业务的发展对性能的需求越来越强烈。丰富的数据类型

2015-07-31 11:06:59 302

转载 Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

http://www.linuxidc.com/Linux/2014-03/98978.htm初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系

2015-07-30 19:03:26 475

转载 Hadoop中HDFS写入文件的原理剖析

http://www.linuxidc.com/Linux/2015-02/113638.htm要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供一些参考依据。步入正题创建一个新文件的过程：第一步：客户端通过DistributedFilesystem 对象中的creat（）方法来

2015-07-30 18:54:41 469

转载解释一下SQLSERVER事务日志记录

http://www.cnblogs.com/lyhabc/archive/2013/07/16/3194220.html大家知道在完整恢复模式下，SQLSERVER会记录每个事务所做的操作，这些记录会存储在事务日志里，有些软件会利用事务日志来读取操作记录恢复数据，例如：log explorer那么事务日志记录怎麽查看，里面都记录了些什么？打开可以利用下面SQL

2015-07-30 16:01:04 2025

转载 SQL Server 数据库定时自动备份【转】

http://www.cnblogs.com/zhangq723/archive/2012/03/13/2394102.htmlSQL Server 数据库定时自动备份【转】在SQL Server中出于数据安全的考虑，所以需要定期的备份数据库。而备份数据库一般又是在凌晨时间基本没有数据库操作的时候进行，所以我们不可能要求管理员每天守到晚上1点去备份数据库。要实

2015-07-30 14:12:56 337

转载深入理解Hadoop集群和网络

http://www.csdn.net/article/2012-08-30/2809380-understanding-hadoop-clusters-network导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的

2015-07-29 15:30:42 327

转载 hadoop自带的存取小文件存取解决方案

http://blog.csdn.net/luyee2010/article/details/8461991现实场景;在系统中，存在大量的小文件存取，比如图片文件，一般在几M以内， 1），但是HDFS默认block大小是64M,如果直接存取在Hadoop中，将极大的消耗namenode的资源。直接放在hadoop文件系统中，大多只是做归档分析用，所以，我们就想能不能定期

2015-07-29 13:37:06 394

转载 Hadoop Archive解决海量小文件存储

http://www.linuxidc.com/Linux/2012-05/60785p2.htm单台服务器作为Namenode，当文件数量规模不断增大时，元数据的规模增长将是一个需要面对的问题，由于Namenode需要将所有元数据Load到内存中，单台Namenode可能会无法管理海量的元数据。另一个是HDFS中SequenceFile存储方式的讨论，利用Block压缩方式可以很好的

2015-07-29 13:10:19 1752

转载 Hadoop集群（第6期）_WordCount运行详解

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，M

2015-07-28 16:27:11 333

转载 hadoop 在win系统中的eclipse开发测试问题及解决

http://duguyiren3476.iteye.com/blog/1843198hadoop 在win系统中的eclipse开发测试问题及解决一· 在win系统下安装cygwin的步骤不在赘述，常见错误如下：问题1]Java代码 # /usr/local/sbin/sshd /usr/local/sbin/sshd: error whi

2015-07-28 16:07:36 559

转载如何在windows下安装cygwin

http://jingyan.baidu.com/article/48a42057accae3a92525045a.htmlcygwin是一个在windows平台上运行的unix模拟环境，是cygnus solutions公司开发的自由软件。它对于学习unix/linux操作环境，或者从unix到windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用gnu工具集在window

2015-07-28 15:33:48 470

转载 [Windows]在Win7系统下搭建Eclipse+Cygwin开发环境

http://www.cnblogs.com/williamwue/archive/2011/06/30/2094979.html前面省略下载Eclipse和Cygwin的过程。下面记录下解决调试报错的问题的过程。当写好程序，进入Debug时，会出现以下错误提示：这时候点击“Edit Source Lookup Path”按钮，会出现以下画面：

2015-07-28 15:28:08 531

转载国内外三个不同领域巨头分享的Redis实战经验及使用场景

http://blog.csdn.net/wconvey/article/details/40555791摘要：随着数据体积的激增，MySQL+memcache已经满足不了大型互联网类应用的需求，许多机构也纷纷选择Redis作为其架构上的补充，下面就一览新浪微博、Pinterest及Viacom的实践分享。随着应用对高性能需求的增加，NoSQL逐渐在各大名企的系统架构中生根发芽。这

2015-07-27 14:40:47 443

转载第4周 Redis使用场景与案例分析

http://blog.csdn.net/zq9017197/article/details/17305749redis的主从复制:在前一节我们已经实践启动了一个redis服务，我们将其作为主机，现为其创建一个从机作备份使用 1.复制一份配置出来为从机所用[root@linux etc]# pwd/nosql/redis/redis/etc[root

2015-07-27 14:35:45 416

转载 Redis消息通知系统的实现

http://huoding.com/2012/02/29/146最近忙着用Redis实现一个消息通知系统，今天大概总结了一下技术细节，其中演示代码如果没有特殊说明，使用的都是PhpRedis扩展来实现的。内存比如要推送一条全局消息，如果真的给所有用户都推送一遍的话，那么会占用很大的内存，实际上不管粘性有多高的产品，活跃用户同全部用户比起来，都会小很多，所以如果

2015-07-26 16:06:40 411

转载 Redis 安装与简单示例 <第一篇>

一、Redis的安装　　Redis下载地址如下：https://github.com/dmajkic/redis/downloadshttp://www.cnblogs.com/kissdodog/p/3570984.html　　解压后根据自己机器的实际情况选择32位或者64位。下载解压后图片如下：　　redis-server.exe redis服务器的

2015-07-24 15:36:19 354

转载 jquery 单行滚动、批量多行滚动、文字图片翻屏滚动效果代码

http://www.jb51.net/article/23526.htm xmlns="http://www.w3.org/1999/xhtml"> http-equiv="Content-Type" c /> 无标题文档 type="text/css">

2015-07-23 11:49:24 1189

转载微博和知乎中的 feed 流是如何实现的？

http://www.zhihu.com/question/19645686简单来说，Feeds这块主要包括两块内容，就是生成feeds和更新feeds。生成feeds是什么意思呢，比如我们已经关注的人做了特定操作，我们需要把这些活动加入你的feeds，让你接收到。更新feeds包括的内容比较多，一种就是你关注点做了更新，比如你新关注了一个人，需要把他的活动加入已有feeds，与此类似，取

2015-07-22 19:44:13 7232

转载 Dynamic IP Restrictions: 保護 IIS 網站的流量守門員

http://www.microsoft.com/taiwan/technet/iis/expand/DynamicIPRestrictions.aspx本文將介紹一個可以防止 IIS 網站受到 DDoS（分散式阻斷服務）或是惡意產生大量並行流量的用戶端攻擊的一個擴充套件：Dynamic IP Restrictions，它可以設定強制將大量並行流量的用戶的要求捨棄，並且在發生 DDoS

2015-07-22 18:57:53 1833

转载单机运行环境搭建之－－Centos6.4下webbench压力测试

http://www.cnblogs.com/littlehb/archive/2013/04/09/3009313.html首先我们先来安装webbench吧, 为了测试准确，请将 webbench 安装在别的linux服务器上, 因为webbench 做压力测试时，自身也会消耗CPU和内存资源, 否则, 很可能把自己服务器搞挂掉。于是我切换到了centos系统做webbench测试

2015-07-22 18:43:10 396

转载 Linux下安装软件的一般步骤

http://www.cnblogs.com/jyginger/archive/2010/07/25/1784599.htmlLinux下安装软件的一般步骤目录一、解析Linux应用软件安装包二、了解包里的内容三、搞定使用tar打包的应用软件四、搞定使用rpm打包的应用软件五、搞定使用deb打包的应用程序一、解析Linux应用软件安装包（

2015-07-22 17:57:26 494

转载初次使用keepalived应该注意的

http://www.07net01.com/linux/chucishiyongkeepalivedyinggaizhuyide_58436_1358909551.html1.如果keepalived做HA的时候只需要配置全局配置不需要配置lvs部分(废话呵呵提示下新手) 2.vip指定的时候最好指定下子网掩码的位数否则可能为出错example:

2015-07-22 15:48:17 1543

转载虚拟IP原理

http://blog.csdn.net/whycold/article/details/11898249高可用性HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。实现HA的方式，一般采用两台机器同时完成一项功能，比如

2015-07-22 15:05:38 326

转载比较核心的技术了虚拟ip的一种实现方式（手工添加和C#添加）

http://www.cnblogs.com/ProJKY/p/VirtualIPAddressImp.html虚拟IP技术在高可用领域像数据库SQLSERVER、web服务器等场景下使用很多，很疑惑它是怎么实现的，偶然，发现了一种方式可以实现虚拟ip。它的原理在于同一个物理网卡，是可以拥有多个ip地址的，至于虚拟网卡，也可用通过该方式拥有多个ip。下面，就拿安装vmware后的虚拟网卡做例子

2015-07-22 15:02:26 1310

转载用Webbench进行网站压力测试

http://blog.csdn.net/jk110333/article/details/9190687这几天一直在做web service想找个工具测试下并发请求处理能力，开始找到了web-ct，windows客户端的，但是安装后用起来很不好，而且免费版最多能测试并发40个，最长10s这基本上测试不出来什么，还有就是360软件管家卸载不掉，需要去windows控制面板中卸载

2015-07-22 14:49:31 478

转载 VRRP协议介绍

VRRP协议介绍msn: yfydz_no1@hotmail.com来源：http://yfydz.cublog.cn参考资料: RFC 37681. 前言VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议，最新协议在RFC3768中定义，原来的定义RFC2338被废除，新协议相对还简化了一些功

2015-07-22 14:30:52 351

转载 HighChart学习-更新数据data Series与重绘

http://www.cnblogs.com/dyllove98/archive/2013/06/26/3157304.html一：HighChart介绍基于JQuery的纯JavaScript的图标库，支持各种图表显示，同时还支持Mootools与Prototype详细版本支持在这里：JQuery1.3.2 - 1.9.x. 2.0.x

2015-07-21 15:17:39 2480

转载 SQL按照日、周、月、年统计数据

http://www.2cto.com/database/201311/255097.html--按日selectsum(consume),day([date])fromconsume_record whereyear([date]) = '2006'group by day([date]) -

2015-07-21 11:04:38 627

转载实现不同概率抽奖功能

序号物品名称物品ID抽奖概率1物品1P10.22物品2P20.13物品3P30.44物品4P40.35物品5P50.06物品6P6-0.17物品7P70.008

2015-07-20 20:16:43 1233

转载 C#产生正态分布、泊松分布、指数分布、负指数分布随机数（原创）

http://blog.sina.com.cn/s/blog_76c31b8e0100qskf.html在编程过程中，由于数据仿真模拟的需要，我们经常需要产生一些随机数，在C#中，产生一般随机数用Random即可，但是，若要产生服从特定分布的随机数，就需要一定的算法来支持了，为了方便广大编程人员，我将我再做项目过程中用到的产生服从正态分布、泊松分布、指数分布以及负指数分布随机数的方法与

2015-07-20 18:56:45 6074 3

转载 windows7+eclipse+hadoop2.5.2环境配置

http://www.cnblogs.com/huligong1234/p/4137133.html一.hadoop集群环境配置参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html）但本人配置时还修改了如下内容(由于你的环境和我的可能不一致，可

2015-07-14 19:32:57 352

转载使用java api操作Hadoop文件

http://www.cnblogs.com/xuqiang/archive/2011/06/03/2042526.html使用java api操作Hadoop文件1. 概述 2. 文件操作2.1 上传本地文件到hadoop fs2.2 在hadoop fs中新建文件，并写入2.3 删除hadoop fs上的文件2.4 读取文件3.

2015-07-14 18:40:39 459

转载基于Eclipse的Hadoop应用开发环境配置

http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html我的开发环境：操作系统centos5.5 一个namenode 两个datanodeHadoop版本：hadoop-0.20.203.0Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.

2015-07-14 18:32:27 434

转载 Eclipse提示No java virtual machine

原文地址：java virtual machine(转载)" style="text-decoration:none; color:rgb(33,128,36)">Eclipse提示No java virtual machine(转载)作者：readom1980第一次运行Eclipse,经常会提示下面的问题:... No java virtual machine was foun

2015-07-13 13:13:19 855

转载零基础学习hadoop到上手工作线路指导（编程篇）

原文链接：http://www.aboutyun.com/thread-8329-1-1.html问题导读：1.hadoop编程需要哪些基础？2.hadoop编程需要注意哪些问题？3.如何创建mapreduce程序及其包含几部分？4.如何远程连接eclipse，可能会遇到什么问题？5.如何编译hadoop源码？阅读此篇文章，需要

2015-07-13 12:36:07 415

转载 ASP.NET性能优化之让浏览器缓存动态网页

http://www.cnblogs.com/luminji/archive/2011/09/13/2172737.html上一篇《ASP.NET性能优化之构建自定义文件缓存》我们通过OutputCache，让请求去访问服务器asp.net的输出缓存，我们扩展了OutputCacheProvider，这相当于是访问服务器上的静态资源。OutputCache是针对所有访问服务器资源的用户

2015-07-10 18:40:13 366