2015年09月_youbo_sun

原创 ubuntu LVM搭建

Ubuntu LVM配置1. LVM介绍 LVM全称为Logical Volume Management，它是Linux环境下对磁盘分区进行管理的一种机制，它通过在硬盘和分区上建立一个抽象的逻辑层，来屏蔽分区大小，磁盘空间给用户带来的困难。在LVM中，可以将多个磁盘分区组做成一个存储池，管理员可以在此存储池上随意创建逻辑卷组，再mount到相应的挂载点上去，从而达成动态增加磁盘空间的目的

2015-09-25 17:10:48 7881

原创 redis 主从实现

一：Redis 数据存储方式Redis 数据库中的所有数据存储在内存中，为了数据安全，同时也会进行数据持久化处理。Redis 持久化的方式主要有两种： RDB方式和AOF方式。 1RDB方式：RDB的持久化是通过快照来完成的，当符合一定条件时Redis会自动将内存中的所有数据进行快照，并存储在硬盘上。进行快照的参数可以有配置文件指定，主要由两个参数构成：时间和改动的键的个数。 RDB是

2015-09-25 17:02:55 476

原创 redis cluster实现

Redis 集群Redis cluster 介绍：Redis 集群是指可以在多个Redis 节点中自动共享的设施。Reids 集群不支持同事涉及多个键的redis 命令（因为有可能需要移动数据在不同的节点导致性能下降和不和预知的问题。）。Rediscluster的作用：1. 可以切分数据到多个节点中（通过hash slot），类似关系数据库的表分区。2. 可

2015-09-25 16:54:58 545

原创 ubuntu添加用户未指定shell，ll别名等无法是使用

添加用户并指定shell： #useradd -r -m -s /bin/bash test #test为新增用户 #passwd test #修改用户密码如果添加的时候为指定shelll可能没有创建用户目录和生成.bashrc文件。这时候就自己新建home目录和添加shell。 #useradd test #添加用户 #pas

2015-09-24 12:01:19 3851 1

转载数据挖掘系列（10）——卷积神经网络算法的一个实现

前言　　从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。　　卷积神经网络CNN是Deep Learning的一个重要算法

2015-09-20 23:32:42 909

转载数据挖掘系列（9）——BP神经网络算法与实践

神经网络曾经很火，有过一段低迷期，现在因为深度学习的原因继续火起来了。神经网络有很多种：前向传输网络、反向传输网络、递归神经网络、卷积神经网络等。本文介绍基本的反向传输神经网络（Backpropagation 简称BP），主要讲述算法的基本流程和自己在训练BP神经网络的一些经验。BP神经网络的结构　　神经网络就是模拟人的大脑的神经单元的工作方式，但进行了很大的简化，神经网络由很多神经网

2015-09-20 23:31:26 1212

转载数据挖掘系列（8）朴素贝叶斯分类算法原理与实践

一个简单的例子　　朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：　　这个公式虽然看上去简单，但它却能总结历史，预知未来。公式的右边是总结历史，公式的左边是预知未来，如果把Y看出类别，X看出特征，P(Yk|X)就是在已知特征X的情况下求Yk类别的概率，而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来。　　举个例子，大学的时

2015-09-20 23:30:15 717

转载数据挖掘系列（7）分类算法评价

一、引言　　分类算法有很多，不同分类算法又用很多不同的变种。不同的分类算法有不同的特定，在不同的数据集上表现的效果也不同，我们需要根据特定的任务进行算法的选择，如何选择分类，如何评价一个分类算法的好坏，前面关于决策树的介绍，我们主要用的正确率（accuracy）来评价分类算法。　　正确率确实是一个很好很直观的评价指标，但是有时候正确率高并不能代表一个算法就好。比如某个地区某天地震的

2015-09-20 23:28:21 432

转载数据挖掘系列（6）决策树分类算法

从这篇开始，我将介绍分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。总共7篇，欢迎关注和交流。　　这篇先介绍分类问题的一些基本知识，然后主要讲述决策树算法的原理、实现，最后利用决策树算法做一个泰坦尼克号船员生存预测应用。一、分类基本介绍　　物以类聚，人以群分，分类问题只古以来就出现我们的生活

2015-09-20 23:27:12 889

转载数据挖掘系列（5）使用mahout做海量数据关联规则挖掘

上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘，weka方便实用，但不能处理大数据集，因为内存放不下，给它再多的时间也是无用，因此需要进行分布式计算，mahout是一个基于hadoop的分布式数据挖掘开源项目（mahout本来是指一个骑在大象上的人）。掌握了关联规则的基本算法和使用，加上分布式关联规则挖掘后，就可以处理基本的关联规则挖掘工作了，实践中只需要把握业务，理解数据便可游刃有余。

2015-09-20 23:26:15 578

转载数据挖掘系列（4）使用weka做关联规则挖掘

前面几篇介绍了关联规则的一些基本概念和两个基本算法，但实际在商业应用中，写算法反而比较少，理解数据，把握数据，利用工具才是重要的，前面的基础篇是对算法的理解，这篇将介绍开源利用数据挖掘工具weka进行管理规则挖掘。weka数据集格式arff　　arff标准数据集简介　　weka的数据文件后缀为arff（Attribute-Relation File Format，即属性关系

2015-09-20 23:25:02 1784

转载数据挖掘系列（3）--关联规则评价

前面我们讨论的关联规则都是用支持度和自信度来评价的，如果一个规则的自信度高，我们就说它是一条强规则，但是自信度和支持度有时候并不能度量规则的实际意义和业务关注的兴趣点。一个误导我们的强规则看这样一个例子，我们分析一个购物篮数据中购买游戏光碟和购买影片光碟之间的关联关系。交易数据集共有10,000条记录，其中购买6000条包含游戏光碟，7500条包含影片光碟，4000条既包

2015-09-20 23:23:43 744

转载数据挖掘系列（2）--关联规则FpGrowth算法

上一篇介绍了关联规则挖掘的一些基本概念和经典的Apriori算法，Aprori算法利用频繁集的两个特性，过滤了很多无关的集合，效率提高不少，但是我们发现Apriori算法是一个候选消除算法，每一次消除都需要扫描一次所有数据记录，造成整个算法在面临大数据集时显得无能为力。今天我们介绍一个新的算法挖掘频繁项集，效率比Aprori算法高很多。　　FpGrowth算法通过构造一个树结构来压缩数据记

2015-09-20 23:22:30 567

转载数据挖掘系列（1）关联规则挖掘基本概念与Aprior算法

关联规则挖掘在电商、零售、大气物理、生物医学已经有了广泛的应用，本篇文章将介绍一些基本知识和Aprori算法。　啤酒与尿布的故事已经成为了关联规则挖掘的经典案例，还有人专门出了一本书《啤酒与尿布》，虽然说这个故事是哈弗商学院杜撰出来的，但确实能很好的解释关联规则挖掘的原理。我们这里以一个超市购物篮迷你数据集来解释关联规则挖掘的基本概念：TIDItems

2015-09-20 23:20:42 759

转载 Python字符编码详解

1. 字符编码简介1.1. ASCIIASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号。不过ASCII只用到了其中的一半（\x80以下），这也是MBCS得以实现的基础。1.2. MBCS

2015-09-20 23:14:59 404

转载 django signal基础

Django Signals 从实践到源码分析MAR 31, 2014 on django当某个事件发生的时候，signal(信号)允许senders(发送者)用来通知receivers(接收者)，通知receivers干嘛？你想要recivers干嘛就可以干嘛。这在多处代码对同一个事件感兴趣的时候就有用武之地了。比如：Django提供了一个built-in signal，叫django

2015-09-18 18:32:59 1246

转载 django signal

django拾遗之signal摘要突然发现自己比较喜欢写系列类型的文章, 因为通常类似的一些文章都具有相同的特征,但一篇很难完全覆盖,所以往往写系列的文章比较合适.拾遗系列的文章主要是一些常被程序员忽略, 但又特别有意义的一些内容.所以, 从本文起, 我会开始不定期地更新一些类似的文章. 作为自己学习的总结也和朋友们一起分享.Contents摘

2015-09-18 15:05:00 900

转载 python垃圾回收机制

一、概述：Python的GC模块主要运用了“引用计数”（reference counting）来跟踪和回收垃圾。在引用计数的基础上，还可以通过“标记-清除”（mark and sweep）解决容器对象可能产生的循环引用的问题。通过“分代回收”（generation collection）以空间换取时间来进一步提高垃圾回收的效率。二、引用计数在Python中，大多数对象的生命周期都是

2015-09-14 14:18:51 351

原创 python 安装包error: Unable to find vcvarsall.bat

在windows上安装python的一些与操作系统密切的扩展包时，可能会出现error: Unable to find vcvarsall.bat错误，如：PIL, greenlet, pycrypto等等。在网上搜了一下大部分是有2种方法： 1.安装MinGW，它是一个可自由使用和自由发布的Windows特定头文件和使用GNU工具集导入库的集合，允许你在GNU/Linux和Windo

2015-09-05 15:00:13 671

youbo_sun的专栏