2015年09月_me_lawrence

转载基于 Spark 和 Flask 的一个可伸缩的电影推荐系统

http://python.jobbole.com/82207/本文由伯乐在线 - fzr 翻译，唐尤华校稿。未经许可，禁止转载！英文出处：Jose A. Dianes。欢迎加入翻译组。这份Apache Spark教程可以指导你逐步了解如何使用MovieLens数据集,基于协同过滤建立一个电影推荐系统。协同过滤使用Spark的交替最小方差（ALS）算法。

2015-09-29 09:04:37 2553

转载分布式中使用 Redis 实现 Session 共享（下）

http://blog.jobbole.com/91877/原文出处：焰尾迭欢迎分享原创到伯乐头条上一篇使用Redis实现Session共享方式虽然可行,但是实际操作起来却很麻烦，现有代码已经是这个样子了,总不可能全部换掉吧！好吧,这是个很实际的问题,那么能不能实现无侵入式的分布式Session共享方案呢？mode=”InProc”这是web.config里面使

2015-09-25 11:30:26 1361

转载分布式中使用 Redis 实现 Session 共享（中）

http://blog.jobbole.com/91874/原文出处：焰尾迭欢迎分享原创到伯乐头条上一篇介绍了一些redis的安装及使用步骤，本篇开始将介绍redis的实际应用场景,先从最常见的session开始，刚好也重新学习一遍session的实现原理。在阅读之前假设你已经会使用nginx+iis实现负载均衡搭建负载均衡站点了，这里我们会搭建两个站点来验证r

2015-09-25 11:28:43 1174

转载分布式中使用 Redis 实现 Session 共享（上）

http://blog.jobbole.com/91870/原文出处：焰尾迭欢迎分享原创到伯乐头条上一篇介绍了如何使用nginx+iis部署一个简单的分布式系统，文章结尾留下了几个问题，其中一个是”如何解决多站点下Session共享”。这篇文章将会介绍如何使用Redis，下一篇在此基础上实现Session。这里特别说明一下，其实没有必要使用Redis来解决Ses

2015-09-25 11:27:28 1733

转载高并发Web服务的演变：节约系统内存和CPU

http://blog.jobbole.com/91749/本文作者：伯乐在线 - 徐汉彬。未经作者许可，禁止转载！欢迎加入伯乐在线作者团队。一、越来越多的并发连接数现在的Web系统面对的并发连接数在近几年呈现指数增长，高并发成为了一种常态，给Web系统带来不小的挑战。以最简单粗暴的方式解决，就是增加Web系统的机器和升级硬件配置。虽然现在的硬件越来越便宜，

2015-09-25 11:24:07 558

转载 The Log-Structured Merge-Tree(译)：下

http://duanple.blog.163.com/blog/static/7097176720123202219903/4.Concurrency and Recovery in the LSM-tree本节我们来研究下用于LSM-tree并发访问和恢复的技术。为此，我们需要更深入地描述出rolling merge过程。我们将该并发访问和恢复算法正确性的形式化证明作为

2015-09-24 15:48:40 1110

转载 The Log-Structured Merge-Tree(译)：中

http://duanple.blog.163.com/blog/static/7097176720123202125771/3.3 Multi-Component LSM-Trees对于给定的LSM-tree，参数M代表了rolling merge过程中插入到每个C1树的叶子节点中的C0树的平均记录数。在merge到C1树的节点中之前，这些新记录会首先在C0中积累一段时间

2015-09-24 15:44:12 820

转载 The Log-Structured Merge-Tree(译)：上

http://duanple.blog.163.com/blog/static/7097176720120391321283/说明：转载请保留全部信息作者：Patrick O’Neil &Edward Cheng etc. 1996原文：http://www.springerlink.com/content/rfkpd5yej9v5chrp/译者：phylips

2015-09-24 15:42:10 736

转载 Linux 内存管理: Kmalloc

http://blog.jobbole.com/91820/原文出处： linuxDOS 欢迎分享原创到伯乐头条这里只说物理内存管理 linux内核的，看了很多讲解的内存的东西，但是自己总结的时候总感觉无从下手，这里就从实际物理内存分配接口开始吧。Kmalloc 它分配连续的物理内存空间，它不负责把分配的内存空间清零，它能分配多大的呢？并且它只能分配ZONE_

2015-09-24 11:26:51 1463

转载 Linux 内核同步机制

http://blog.jobbole.com/91784/原文出处： linuxDOS 欢迎分享原创到伯乐头条Linux内核同步机制，挺复杂的一个东西，常用的有自旋锁，信号量，互斥体，原子操作，顺序锁，RCU，内存屏障等。这里就说说它们的特点和基本用法。自旋锁：通用的和读写的特点：1. 处理的时间很短。2. 尝试获取锁时，不能睡眠，但是有t

2015-09-24 11:25:06 492

转载 TCP/IP 协议详解内容总结

http://blog.jobbole.com/91841/原文出处： Emotiona1106 欢迎分享原创到伯乐头条TCP/IP协议TCP/IP不是一个协议，而是一个协议族的统称。里面包括IP协议、IMCP协议、TCP协议。TCP/IP分层：这里有几个需要注意的知识点：互联网地址：也就是IP地址，一般为网络号+子网号+主机号域

2015-09-24 11:23:32 483

转载 Nginx + IIS 实现负载均衡

http://blog.jobbole.com/91852/原文出处：焰尾迭欢迎分享原创到伯乐头条最近在研究分布式系统架构方面的知识，包括负载均衡，数据库读写分离，分布式缓存redis等。本篇先从负载均衡服务架构入手，关于负载均衡百度百科的定义如下：负载均衡，英文名称为Load Balance，其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、

2015-09-24 11:20:41 471

转载 Linux内存管理：Vmalloc

http://blog.jobbole.com/91885/原文出处： linuxDOS 欢迎分享原创到伯乐头条在前面我们讲解了kmalloc申请连续物理内存的操作，以及原理和基础cache . 在内核中还有另外一个接口函数那就是vmalloc，申请一片连续的虚拟地址空间，但不保证物理空间连续，实际上我们会想到用户空间的malloc，malloc它是标准的glibc封装

2015-09-24 11:18:29 1387

转载深入 HBase 架构解析（2）

http://blog.jobbole.com/91916/原文出处： DLevin（@雪地脚印_）欢迎分享原创到伯乐头条前言这是《深入HBase架构解析（1）》的续，不多废话，继续。。。。 HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起

2015-09-24 11:15:15 726 1

转载深入HBase架构解析（1）

http://blog.jobbole.com/91913/原文出处： DLevin（@雪地脚印_）欢迎分享原创到伯乐头条前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，

2015-09-24 11:14:21 595

转载 Vim自动补全神器：YouCompleteMe

http://blog.jobbole.com/58978/原文出处： marchtea 的博客欢迎分享原创到伯乐头条第一次听说这个插件还是在偶然的情况下看到别人的博客，听说了这个插件的大名。本来打算在实训期间来完成安装的，无奈网实在不给力，也就拖到了回家的时候。在开始准备工作的时候就了解到这个插件不是很容易安装，安装的时候果然名不虚传。(关于这方面的内容，请查看另一

2015-09-24 11:12:18 538

转载开源、高效、跨平台：深剖Google FlatBuffers工作原理

http://android.jobbole.com/81418/原文出处：张挥戈欢迎分享原创到伯乐头条JSON——大家可能都知道它是几乎所有现代服务器都使用的轻量级数据交换格式。它体量轻，可读性强，通常比老式的、不友好的XML开发起来更加便捷友好。JSON是不依赖于开发语言的数据格式，但是在解析数据并将其转换到如Java对象时，会消耗我们的时间和存储资源。

2015-09-24 11:09:28 589

转载从头开始实现神经网络——入门

http://python.jobbole.com/82208/本文由伯乐在线 - fzr 翻译，唐尤华校稿。未经许可，禁止转载！英文出处：Denny Britz。欢迎加入翻译组。获取代码：接下来，为了匹配文章的内容，所有的代码都会在Github上以iPython笔记的形式提供。本文中我们会从头实现一个简单的3层神经网络。我们不会推导所有的数学公式，但会给我

2015-09-24 11:03:47 1534

转载亿级Web系统搭建：单机到分布式集群

http://blog.jobbole.com/91738/本文作者：伯乐在线 - 徐汉彬。未经作者许可，禁止转载！欢迎加入伯乐在线作者团队。当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。

2015-09-24 09:23:47 647

转载 Web系统大规模并发：电商秒杀与抢购

http://blog.jobbole.com/91754/本文作者：伯乐在线 - 徐汉彬。未经作者许可，禁止转载！欢迎加入伯乐在线作者团队。一、大规模并发带来的挑战在过去的工作中，我曾经面对过5w每秒的高并发秒杀功能，在这个过程中，整个Web系统遇到了很多的问题和挑战。如果Web系统不做针对性的优化，会轻而易举地陷入到异常状态。我们现在一起来讨论下，优化的

2015-09-24 09:22:39 532

原创 Linux 磁阵性能瓶颈定位过程

磁阵性能指标Raid10,2块SAS MDL磁盘。使用fio测试1,随机读1g文件iops 65002，随机读写1g文件读写各590 iops3，随机写1g文件iops 659c程序创建10000+子目录，每个子目录写入1个20KB的文件写入时，发现iostat关键点

2015-09-23 19:39:31 1351

转载 linux dd 测试硬盘的读写性能

http://blog.itpub.net/73920/viewspace-1036120/注:dd只能提供一个大概的测试结果，而且是连续IO 而不是随机IO1. 首先用自带的dd命令先测一下, 块大小为8kdd只能提供一个大概的测试结果，而且是连续IO 而不是随机IO读测试[@more@]# time dd if=/dev/sda2 of=/dev

2015-09-23 16:23:43 643

转载通过blktrace, debugfs分析磁盘IO

http://www.07net01.com/2014/09/71589.html前几天微博上有同学问我磁盘util达到了100%时程序性能下降的问题，由于信息实在有限，我也没有办法帮太大的忙，这篇blog只是想给他列一下在磁盘util很高的时候如何通过blktrace+debugfs找到发生IO的文件，然后再结合自己的应用程序，分析出这些IO到底是谁产生的，最终目的当然是尽量减少不必

2015-09-23 15:16:55 657

转载 Linux内核源代码情景分析---第五章文件系统

http://blog.sina.com.cn/s/blog_6b94d5680101vfqv.html 5.1 概述构成一个操作系统最重要的就是进程管理与文件系统；有些操作系统有进程管理而没有文件系统，有些操作系统有文件系统而没有进程管理（MSDOS）；两者都没有那就不是操作系统了；狭义的文件：指磁盘文件，进入指可以是有序地存储在任何介质中（包括内存）的一组信息。广义的

2015-09-23 13:58:41 746

转载主题：Linux文件系统简介

http://www.iteye.com/topic/816268 文件系统是linux的一个十分基础的知识，同时也是学习linux的必备知识。本文将站在一个较高的视图来了解linux的文件系统，主要包括了linux磁盘分区和目录、挂载基本原理、文件存储结构、软链接硬链接、和常见目录的介绍。相信有了这些知识对于深入的学习linux会有一定的帮助。文章例子主要是基于ubuntu发

2015-09-23 13:52:57 489

转载理解 Linux 的硬链接与软链接

http://www.ibm.com/developerworks/cn/linux/l-cn-hardandsymb-links/理解 Linux 的硬链接与软链接从 inode 了解 Linux 文件系统硬链接与软链接是 Linux 文件系统中的一个重要概念，其涉及文件系统中的索引节点 (index node 又称 inode)，而索引节点对

2015-09-23 10:05:17 451

原创各种程序场景下磁盘读写性能分析 -- 结合iostat

背景研究IO与磁盘IOPS的对应关系（什么场景merge，什么场景随机）。一，硬件及操作系统双核4GSUSE 11 SP1文件系统 ext3二，程序场景及性能结果Step 1，同一目录下创建20000+子目录Step 2，顺序在子目录中添加文件Step 3，随机在子目录中添加文件三，场景的比较分析

2015-09-22 21:00:48 886

转载磁盘IOPS的计算

http://www.cnblogs.com/renyb/p/3698664.html计算磁盘IOPS的三个因素： 1、RAID类型的读写比不同RAID类型的IOPS计算公式：RAID类型公式RAID5、RAID3Drive IOPS=Read IOPS + 4*Write IOP

2015-09-22 16:40:41 538

转载 Web攻防之XSS,CSRF,SQL注入

http://www.cnblogs.com/drawwindows/archive/2013/03/11/2954259.html摘要：对Web服务器的攻击也可以说是形形色色、种类繁多，常见的有挂马、SQL注入、缓冲区溢出、嗅探、利用IIS等针对Webserver漏洞进行攻击。本文结合WEB TOP10漏洞中常见的SQL注入，跨站脚本攻击(XSS)，跨站请求伪造（CSRF）攻击的产生

2015-09-22 10:52:19 415

转载 Nginx 的 TCP 负载均衡介绍

http://blog.jobbole.com/91757/本文作者：伯乐在线 - 徐汉彬。未经作者许可，禁止转载！欢迎加入伯乐在线作者团队。Nginx Plus的商业授权版开始具有TCP负载均衡的功能。从Nginx 1.7.7版本开始加入的，现在变成了一个商业收费版本，想要试用，需要在官网申请。也就是说，Nginx除了以前常用的HTTP负载均衡外，Nginx增加基

2015-09-22 10:42:22 502

转载 block_dump观察Linux IO写入的具体文件

http://www.oenhan.com/block-dump-linux-io很多情况下开发者调测程序需要在Linux下获取具体的IO的状况，目前常用的IO观察工具用vmstat和iostat，具体功能上说当然是iostat更胜一筹，在IO统计上时间点上更具体精细。但二者都是在全局上看到IO，宏观上的数据对于判断IO到哪个文件上毫无帮助，这个时候block_dump的作用就显现出来

2015-09-21 17:02:19 743

转载 oracle 11g对大表中添加DEFAULT值的NOT NULL字段速度有大幅度的提升

http://blog.csdn.net/weiwangsisoftstone/article/details/7674916今天同事问我一个问题他说在一张2000万的表上增加了一个字段并字段一个默认值，执行这条语句（alter table tablename add new_col default ‘col’）一个小时没有执行完，问我有没有其他解决方法我查了一下资料发现

2015-09-21 16:34:17 546

转载你值得拥有：25 个 Linux 性能监控工具

http://os.51cto.com/art/201412/460698_all.htm一段时间以来，我们在网上向读者介绍了如何为Linux以及类Linux操作系统配置多种不同的性能监控工具。在这篇文章中我们将罗列一系列使用最频繁的性能监控工具，并对介绍到的每一个工具提供了相应的简介链接，大致将其划分为两类，基于命令行的和提供图形化接口的。基于命令行的性能监控工具1.

2015-09-21 15:31:00 638

转载 NFS 监控和调优

http://www.ibm.com/developerworks/cn/aix/library/au-aix7networkoptimize2/这个关于 AIX® 7 网络的 3 部分系列文章主要关注优化网络性能的挑战。鉴于 AIX 7 在网络部署环境中使用得越来越频繁，且工作负载分区常用于帮助管理资源，您必须知道优化网络部署所需的所有不同应用程序和环境。第 2 部分关注

2015-09-21 14:13:31 7243

转载 nfs性能调优

http://blog.csdn.net/anghlq/article/details/8532312所有的 NFS 请求都通过 nfsd 守护进程；但是只有读写操作才通过 biod 守护进程。选择初始的 nfsd 和 biod 守护进程的数目决定最佳的 nfsd 和 biod 守护进程数是反复的过程。指导方针能提供给您的仅仅是一个合理的出发点。缺省

2015-09-21 14:08:14 7877

转载 debugfs恢复Ext3的文件系统中被rm、rm -f 掉的文件

http://blog.csdn.net/my2010sam/article/details/9852539ls -d # -d或--directory 显示目录名称而非其内容。ls -i # -i或--inode 显示文件和目录的inode编号如何在Ext3的文件系统中恢复被rm掉的文件。[root@Gw za]# debugfsdeb

2015-09-21 14:04:59 1562

转载 Linux的IO性能监控工具iostat详解

http://www.ha97.com/4546.htmlLinux系统出现了性能问题，一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。其中iostat可以提供更丰富的IO性能状态数据。1. 基本使用$iostat -d -k 1 10参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilob

2015-09-21 10:37:07 414

转载 linux sar 命令详解

http://www.chinaz.com/server/2013/0401/297942.shtmlsar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。本文主要以Ce

2015-09-21 10:26:06 486

转载 Linux下的一些I/O统计工具

http://blog.csdn.net/longxibendi/article/details/36004155 Linux 系统管理员，统计各类 IO 是一项必不可少的工作。其统计工具中 iostat 显然又是最重要的一个统计手段。但是这里 iostat 不是本文的重点，因为这个工具的使用在网络上已经有大量的教程，可以供大家参考。这里主要是想介绍一些其他统计工具以来满足不同的需求。

2015-09-21 09:46:46 365

原创自学数据挖掘

先记下，后面整理此文。参考了北大-msra联合互联网的数据挖掘课程 http://www.docin.com/p-714705030.html1，下面是实际的课程安排2，下面是参考书目

2015-09-16 23:11:02 641

空空如也

空空如也