sdulibh的专栏

转载 Linux调试工具

1. 使用printf调试#ifdef DEBUGPrintf(“valriable x has value = %d\n”, x)#endif然后在编译选项中加入-DDEBUG更复杂的调试应用如：#define BASIC_DEBUG 1#define EXTRA_DEBUG 2#define SUPER_DEBUG 4

转载 IO端口和IO内存的区别及分别使用的函数接口

IO端口和IO内存的区别及分别使用的函数接口          每个外设都是通过读写其寄存器来控制的。外设寄存器也称为I/O端口，通常包括：控制寄存器、状态寄存器和数据寄存器三大类。根据访问外设寄存器的不同方式，可以把CPU分成两大类。一类CPU（如M68K，Power PC等）把这些寄存器看作内存的一部分，寄存器参与内存统一编址，访问寄存器就通过访问一般的内存指令进行，所以，这种CPU没

原创 ISC2015听会小计

今天，冒雨去国家会议中心听取ISC2015大会，期间有些许收获，记录、分享：1.个人感觉云计算安全与传统网络安全，在防御方面最大的不同是：传统网络防御可以把待防御对象看成信息孤岛，因此，边界性很强;然后开一个门，并设立看门狗，来保证子网安全，这建立在对子网人员可信的基础上;而云计算是开放的，任何人，只要按规则申请，都可以成为云租户，安全边界难以界定，这是云计算最大的问题，安全人员不再信任每一个

转载 linux container容器技术框架性理解

我对container原理的一些理解(基于linux kernel 2.6.38)by kin2011.04.17===================================================== linux中称谓的container在内核层面由两个独立的机制保证，一个保证资源的隔离性，名为namespace；一个进行资源的控制，名为cgroup。 

转载 fast system call 快速系统调用

SYSENTER用来快速调用一个0层的系统过程。SYSENTER是SYSEXIT的同伴指令。该指令经过了优化，它可以使将由用户代码（运行在3层）向操作系统或执行程序（运行在0层）发起的系统调用发挥最大的性能。 在调用SYSENTER指令前，软件必须通过下面的MSR寄存器，指定0层的代码段和代码指针，0层的堆栈段和堆栈指针：1.       IA32_SYSENTER_CS：一个32位值

转载 kvm 虚拟化

CPU虚拟化3.1 基本原理CPU虚拟化是VMM中最核心的部分，由于内存和IO访问的指令都是敏感指令，所以内存和IO虚拟化都依赖于CPU虚拟化的实现。CPU虚拟化的目标是让虚拟机中执行的所有敏感指令都能产生异常而“陷入”，并由VMM进行模拟。VMM的陷入是通过CPU的保护机制、中断或异常来完成的。通常，VMM的陷入方式有如下3种：1、  由CPU的保护机制触发。CPU在执行

转载 算法思路

转载 几张图看懂列式存储

最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻

转载 网卡

网卡工作在osi的最后两层，物理层和数据链路层，物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等，并向数据链路层设备提供标准接口。物理层的芯片称之为PHY。数据链路层则提供寻址机构、数据帧的构建、数据差错检查、传送控制、向网络层提供标准的数据接口等功能。以太网卡中数据链路层的芯片称之为MAC控制器。很多网卡的这两个部分是做到一起的。他们之间的关系是pci总线接

转载 网页性能管理详解

你遇到过性能很差的网页吗？这种网页响应非常缓慢，占用大量的CPU和内存，浏览起来常常有卡顿，页面的动画效果也不流畅。你会有什么反应？我猜想，大多数用户会关闭这个页面，改为访问其他网站。作为一个开发者，肯定不愿意看到这种情况，那么怎样才能提高性能呢？本文将详细介绍性能问题的出现原因，以及解决方法。一、网页生成的过程要理解网页性能为什么不好，就要了解网页

转载 读完这100篇论文 就能成大数据高手

开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，都有一大堆“新”框架、“新”类库或“新”工具，犹如雨后春笋般涌出，乱花渐欲“迷”人眼。为了掌控住这些“新玩意”，数据分析的达人们不得不“殚精竭虑”地“学而时习之”。

转载 深入理解Spark Streaming执行模型

摘要：Spark Streaming是Spark中最常用的组件之一，将会有越来越多的有流处理需求的用户踏上Spark的使用之路。本文描述了Spark Streaming的架构并解释如何去提供上述优势，以及一些目前进行的令大家感兴趣的相关后续工作。正如市面上存在众多可用的流处理引擎，人们经常询问我们Spark Streaming有何独特的优势？那么首先要说的就是Apache Spark在

转载 26条深度学习经验

八月初，我有幸有机会参加了蒙特利尔深度学习暑期学校的课程，由最知名的神经网络研究人员组成的为期10天的讲座。在此期间，我学到了很多，用一篇博客也说不完。我不会用60个小时的时间来讲解神经网络知识的价值，而会以段落的方式来总结我学到的一些有趣的知识点。在撰写本文时，暑期学校网站仍可以访问，并附有全部的演示文稿。所有的资料和插图都是来自原作者。暑期学校的讲座已经录制成了视频，它们也可能会被上传

原创 关于“特权解除、陷入模拟”的理解

一直想不通这两句话的含义，今天查了点资料、对着源码分析了一下，不一定对，写下来，分享：x86 CPU支持ring0-3 共4种不同的特权级别，下面分正常和虚拟化两种情况叙述、分析：1.正常情况下：特权级别是针对段来讲的，段描述符的最后两位标识了该段所位于的特权级别，比如，中断处理程序运行于ring0（），此时的内核程序是具有特权的，即ring0.位于ring3用户程序可以通过系统调

转载 5大架构：细数数据平台的组成与扩展

导读：One size does not fit all！ 数据处理平台已不集中于传统关系型数据库，各种其他平台层出不穷，也各有其适用范围。从哪些角度去理解各种数据处理平台的设计思想及发展演进呢？下面我们从几个角度讨论一下：一、单机存储引擎设计（数据的位置）从某种意义上说，当我们处理数据的时候，实际上是在管理数据的位置，管理数据在

转载 机器学习

【编者按】本文作者指出了关于数据科学书上很少提及的三点经验：模型评价方法是关键，特征提取是根本，模型选择而非数据集规模最费时间。文章指出，处理上万维的特征和几十万的样本的现代算法是愚蠢的，而特征工程理论还不完善，更像是一门艺术。这是数据科学大行其道的时代。各类课程、博客、培训学校如雨后春笋般出现。然而，每次我浏览这些学习资料时，我发现它们过于强调一些具体的算法。理解逻辑回归或者深度学习的原

转载 关于自学能力

我常常暗骂现在的本科教育，可是我也知道骂了也没用，所以，骂的时候只是偶尔才愤怒。不夸张地讲，今天的本科教育很大程度上干脆就是忘了本。本科教育的最根本在于培养学生的自学能力。理论上讲，本科毕业之后，学生应该有能力自学自己需要的任何科目。　　可是，今天的本科教育基于种种原因，或明显的，或隐晦的，或有意的，或无意的，使大多数毕业生在毕业的时候依然不具备基本的自学能力不说，甚至可能连本专业都没学好

转载 ELF文件的加载和动态链接过程

近段时间在研究Erlang核心特性的实现，也许过段时间会有个系列的总结，期待... 今天看到有人写一个深入Hello World的文章，想起来读研的时候做的一个关于程序加载和链接的课程设计，也是以Hello World为例说明的，随发出来共享。文后有下载链接。 ====================================================== 本文

转载 统计与推断

统计在wikipedia上的解释是它是研究如何测定、收集、整理、归纳和分析反映客观现象总体数量的数据，以便给出正确认识的方法论科学，被广泛的应用在各门学科之上，从自然科学和社会科学到人文科学，甚至被用来工商业及政府的情报决策之中。用比较土鳖一点的话来说就怎样有效利用数据来产生有用的信息，以便为决策提供依据。三种信息统计里有频率派和贝叶斯派两大势力，都是身怀绝技，互不相服，要