2017年03月_lionzl

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

转载 Apache YARN/Mesos与Google Borg差距多远？

Google于2013年和2015年分别公开了它的实验和生产环境中使用的数据中心资源管理系统Omega和Borg，其中Omega是一个实验产品，由几个实习生博士做出了原型，比较新颖地提出了share state架构，是一种非常理想的架构，但个人认为离完全替换Borg还有一段距离，即使替换，在短时间内仍然不能完全替换，因此本文不会过多讨论（关于Omega的细节，也可参考我的这篇文章：“解析

2017-03-23 23:06:14 524

转载浅谈Borg/YARN/Mesos/Torca/Corona一类系统

Borg（来自Google），YARN（来自Apache，属于Hadoop下面的一个分支，开源），Mesos（来自Twitter，开源），Torca（来自腾讯搜搜），Corona（来自Facebook，开源）一类系统被称为资源统一管理系统或者资源统一调度系统，它们是大数据时代的必然产物。概括起来，这类系统设计动机是解决以下两类问题：（1）提高集群资源利用率在大数据时代，为了存

2017-03-23 22:54:05 802

转载 Storm vs. Spark Streaming: 横向对比

Storm 和 Spark Streaming是构建与Hadoop之上的两款优秀的实时流式计算框架，他们各自的特点如何，究竟那款框架适用于你的业务需求？也许本文可以给你一个参考：原文连接：http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.htmlStorm

2017-03-23 22:50:48 407

转载性能测试平台效率优化的一次经验（python版）

性能测试平台效率优化的一次经验（python版）在做性能测试平台的优化过程中，由于启动任务相对其他测试任务比较频繁，而目前30次两个包的交叉对比(30次)测试需要耗时30分钟整，因此打算优先对测试流程做一次优化，将测试时间消耗降低到20分钟。由于一开始估计乐观，认为启动时间，一台设备理论上启动顶多1s，1*2*30也就60s，加上其他开销，5分钟都够了，能减少到20分钟

2017-03-23 22:42:43 754

转载实时流Streaming大数据：Storm,Spark和Samza

http://www.jdon.com/bigdata/streaming-big-data-storm-spark.html实时流Streaming大数据：Storm,Spark和Samza　　当前有许多分布式计算系统能够实时处理大数据，这篇文章是对Apache的三个框架进行比较，试图提供一个快速的高屋建瓴地异同性总结。Apache Storm　　在Storm中，你设

2017-03-21 20:11:17 653

转载动态脱敏和静态脱敏

Dynamic vs. Static Data MaskingWhen masking data, organizations prevent unauthorized users from viewing sensitive data and protect information for following regulatory needs. Data masking techn

2017-03-21 19:27:11 3769 1

转载人工智能各学派简介：符号主义，连接主义，行为主义

人工智能各学派简介目前人工智能的主要学派有下面三家：(1)符号主义(symbolicism)，又称为逻辑主义(logicism)、心理学派(psychologism)或计算机学派(computerism)，其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。(2)连接主义(connectionism)，又称为仿生学派(bionicsism)或生理学派(p

2017-03-20 23:04:25 3219

转载动态库与主程序共享全局变量

曾经在一次写程序的时候，全局使用一个日志对象，所有的日志信息都由此日志对象写入文件。但是发现在动态链接库里，无法存取到该全局对象，后经查找资料。发现，动态链接库是否能存取主程序的全局变量，主程序是否能存取动态链接库里定义的全局变量都是可以通过链接指令改变此行为。主程序存取动态链接库里的全局变量例如动态库里定义全局变量int i, 在主程序里申明extern int i。则

2017-03-20 22:15:18 3062

转载为什么动态库中的全局变量是可以用的？

之前在linux下做过一个测试：写一个so，该so中有一个全局变量。so中的代码在运行时会修改该全局变量的值。然后，有多个程序都需要该so，而且这些应用程序都启动了。此时，很显然so只被加载了一份，那么，当这么多程序在运行调用该so时，该so中的全局变量的值会被覆盖来覆盖去么？答案是不会。这是测试的答案。现在知道原理了，尽管这是windows via C/C++中解

2017-03-20 22:14:08 2266 1

转载 C++又一坑:动态链接库中的全局变量

前几天我们项目的日志系统出现了一点问题，但是一直没有时间去深究。昨天在同事的帮助下，无意中猜了一种可能性，结果还真被我猜中了，于是今天就特别研究了一下，记录下来。其实主要问题是三个模块。模块 a, 静态库 a模块 b, 二进制 b, 静态引用a, 动态加载c模块 c, 动态链接库c, 静态引用a关键在于静态库a里有一个静态全局变量，没错就是我们的日志模块。原先的这个

2017-03-20 22:12:27 9265 1

转载 Impala架构分析

Impala架构分析Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。那么Impala如何实现大数据

2017-03-20 18:10:26 433

转载解析Impala架构

1. Impala综述Impala是架构于Hadoop之上的开源、高并发的MPP查询引擎，被广泛应用于各种行业。Impala是完全集成的，用以平衡Hadoop的灵活性和可扩展性，为BI／数据分析师提供低延迟、高并发的以读为主的查询。它将传统分析数据库的SQL支持和多用户性能与Hadoop的灵活性和可扩展性结合起来，它通过利用HDFS、HBase、Metastore、YARN、Sen

2017-03-20 18:09:16 731

转载躲避 HSTS 的 HTTPS 劫持

前言HSTS 的出现，对 HTTPS 劫持带来莫大的挑战。不过，HSTS 也不是万能的，它只能解决 SSLStrip 这类劫持方式。但仔细想想，SSLStrip 这种算劫持吗？劫持 vs 钓鱼从本质上讲，SSLStrip 这类工具的技术含量是很低的。它既没破解什么算法，也没找到协议漏洞，只是修改和代理了明文的封包而已。如果说劫持，要保持源站点不变才算的话，那 SSLSt

2017-03-20 17:58:01 988

转载 how to recover root password in Collabnet SVN Edge?

If at all you are looking for an option to reset your admin password as you have forgotten it, the only way to reset this without deleting the database is to edit it directly (it's pretty easy).

2017-03-17 13:57:55 1422

转载 Storm与Spark Streaming比较

Storm风暴和Spark Streaming火花流都是分布式流处理的开源框架。这里将它们进行比较并指出它们的重要的区别。处理模型,延迟虽然这两个框架都提供可扩展性和容错性,它们根本的区别在于他们的处理模型。而Storm处理的是每次传入的一个事件，而Spark Streaming是处理某个时间段窗口内的事件流。因此,Storm处理一个事件可以达到秒内的延迟，而Spark Str

2017-03-12 17:50:10 588

转载 Storm上的Nimbus、Supervisor以及Worker之间的关系

2017-03-12 17:38:29 543

转载机器学习/深度学习/自然语言处理学习路线 Stanford机器学习笔记 TensorFlow人工智能引擎入门教程之系列

机器学习（73）目录(?)[-]TensorFlow人工智能引擎入门教程所有目录机器学习资源大全中文版httpsgithubcomjobboleawesome-machine-learning-cn大数据工程师技能图谱转当前标签 Machine Learning机器学习深度学习自然语言处理学习路线基础进阶方向

2017-03-12 17:37:29 419

转载 mesos和yarn区别

视频地址：Apache Mesos vs. Hadoop YARN #WhiteboardWalkthrough总结：1、最大的不同点在于他们所采用的scheduler：mesos让framework决定mesos提供的这个资源是否适合该job，从而接受或者拒绝这个资源。而对于yarn来说，决定权在于yarn，是yarn本身（自行替应用程序作主）决定这个资源是否适合该job，对

2017-03-12 17:24:01 536

转载 JStorm介绍

一、简介Storm是开源的分布式容错实时计算系统，目前被托管在GitHub上，遵循 Eclipse Public License 1.0。最初由BackType开发，现在已被Twitter收入麾下。Storm最新版本是Storm 0.9，核心采用Clojure实现。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（

2017-03-12 17:23:08 594

转载什么是机器学习：一次权威定义之旅

在这篇文章中，我想要解决一个很简单的问题：机器学习是什么？你可能对机器学习感兴趣或者稍稍了解。如果有一天你和朋友或同事聊起机器学习，那么一些人可能会问你“机器学习是什么”。那么，此文的目标就是告诉你一些可参考的定义，以及一个现成的、容易记起的趣味定义。我们将从了解该领域的权威书籍上关于机器学习的标准定义出发，并且以得出机器学习的一种程序员定义和我们被问及什么是机器学习时一个随时可以

2017-03-12 16:55:34 462

转载数据挖掘

数据挖掘数据挖掘（Data Mining，DM）又称数据库中的知识发现（Knowledge Discover in Database，KDD）目录[隐藏]1 数据挖掘概述1.1 数据挖掘的定义2 数据挖掘常用的方法3 数据挖掘的功能4 数据挖掘常用技术5 数据挖掘的流程6 数据挖掘与传统分析方法的区

2017-03-12 16:54:25 3245

转载 TCP/IP面临淘汰？美国政府力推命名数据网络NDN

斯诺登事件后，互联网中立的普世价值观被颠覆，互联网的信任基石彻底崩塌，随之而来的是各国纷纷提高技术贸易壁垒，大力推动本国关键基础技术企业发展，公有云发展遭受沉重打击。如今网络安全已经成为各国政府制定信息产业发展政策的关键议题，与此同时IPv4地址行将耗尽。一切的矛盾都指向作为互联网基石的关键基础设施技术和协议，而统治了互联网半个世纪的TCP/IP协议更是众矢之的，这一切都加快了下一代互

2017-03-12 16:26:21 892

转载命名数据网络（NDN）与TCP/IP网络

之前面试时遇到一个十分有趣的开放性的问题：当前TCP/IP协议存在哪些问题？如何改进？当时没有回答好，然后提到了NDN可以针对TCP/IP做出改进，但是在行家面前就漏洞百出，一是对TCP/IP网络理解不够深入，另外一方面是自己对NDN比较陌生。趁着这段时间比较得闲，在网上搜了《Named Data Networking(NDN) Project》（2010.10）和初略看了看

2017-03-12 16:16:37 1861 1

转载 Oratop工具——实时数据库性能监控工具

Oratop工具——实时数据库性能监控工具 2015-12-07 03:16:09分类： Linux原文地址：Oratop工具——实时数据库性能监控工具作者：realkid4在任何系统优化过程中，“80/20原则”是我们一定要关注的问题。简单的说，就是我们系统80%的性能问题、现象，都是有少数几个甚至一个问题造成的。这就需要我们面对复杂的系统性能问题的时候

2017-03-08 18:48:23 416

转载 ORACLE 性能视图的分析和使用

在定位性能问题的时候，第一步需要做的事情通常是查看一些动态视图来获得一些相关的信息。这些视图比SQL_TRACE或者AWR报告更方便和快捷。v$mystat记录了某个session从运行以来的各种资源统计数据。1、v$mystat视图中只会有当前用户的会话信息，v$sesstat会有整个实例内所有会话信息。两个视图结构一致，只是统计数据不一致。2、一般情况下v$

2017-03-08 18:46:14 402

转载 SQLServer性能视图

--获取有关按平均CPU 时间排在最前面的五个查询的信息SELECT TOP 5 total_worker_time/execution_count AS [Avg CPU Time], SUBSTRING(st.text, (qs.statement_start_offset/2)+1, ((CASE qs.statement_end_offset

2017-03-08 18:44:26 564

转载 Nagios 监控Windows服务器(详细篇)

Nagios 监控Windows服务器(详细篇) 2010-09-04 13:47:51分类： LINUX1. 监控内容windows服务器的内部参数包括以下a. 内存使用状况b. CPU负载c. 磁盘使用状况d. 服务状态e. 运行的进程2. 监控原理在windows服务器内安装NSClient++的监控引擎，nagios服

2017-03-08 18:43:27 594

转载关于Windows主机的性能监控

关于Windows主机的性能监控前言我的目的是监控SQL Server实例的运行，但每个实例是跑在windows上的，所以主机级别的稳定性也是不可或缺的，这篇文章主要围绕这张图的windows主机节点部分来讲。一工具工欲善其事，必先利其器。要做windows的性能监控除了要了解我们关注的性能点外还要去准确的收集处理。收集这些数据的方式有很多

2017-03-08 18:38:30 1982

转载 Linux常用的系统监控shell脚本

Linux常用的系统监控shell脚本下面是我常用的几个Linux系统监控的脚本，大家可以根据自己的情况在进行修改，希望能给大家一点帮助。1、查看主机网卡流量#!/bin/bash#network#Mike.Xuwhile : ; dotime=’date +%m”-“%d” “%k”:”%M’day=’date +

2017-03-08 18:35:31 516

转载 “认知安全”是怎样一种安全？

http://www.tuicool.com/articles/3iuQje214年上映的科幻电影《超验骇客》，男主角将自我的意识数据化上传到互联网，入侵所有联网设备，并借此在知识的储备和处理能力上得到了难以想象的提升。虽然最后电影结局离不开“人类胜利”的必然，但设想一下，如果真实存在这样一个系统，汇集了互联网上无法计量且仍在不断生成的庞大数据，拥有类似人类的“认知能力”以及现有的

2017-03-08 17:37:41 1289

转载李航博士的《浅谈我对机器学习的理解》机器学习与自然语言处理

李航博士的《浅谈我对机器学习的理解》机器学习与自然语言处理标签：机器学习自然语言处理nlp2015-09-09 18:37 563人阅读评论(0) 收藏举报分类：NLP/DeepLearning（236）　　算算时间，从开始到现在，做机器学习算法也将近八个月了。虽然还没有达到融会贯通的地步，但至少在熟悉了算法的

2017-03-08 17:35:21 262

转载给外行能看懂的科普：这就叫自然语言处理

自然语言处理Natural Language Processing一、什么是自然语言处理简单地说，自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言，人类的思维

2017-03-08 16:51:32 1892