2016年10月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

转载 Metron学习1_安全大数据分析框架 OpenSOC

OpenSOC：安全大数据分析框架。OpenSOC已经加入Apache工程改名为Apache Metron。思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC，引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目 Hadoop，实时索引使用开源项目

2016-10-28 11:22:32 5246

翻译 Apache Metron Proposal

Apache Metron Proposal阿帕奇Metron提案 FINAL This proposal is now complete and has been submitted for a VOTE.该提案现已完成，并已提交表决。AbstractThe Metron project is an open source proj

2016-10-27 20:38:49 2129

转载数据库4_Sql常见面试题

1. 用一条SQL 语句查询出每门课都大于80 分的学生姓名name kecheng fenshu 张三语文 81张三数学 75李四语文 76李四数学 90王五语文 81王五数学 100王五英语 90

2016-10-17 00:23:58 625

转载 ElasticSearch学习19_搜索引擎-倒排索引基础知识

搜索引擎的索引1.单词——文档矩阵单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。

2016-10-16 18:27:39 6078

转载 JAVA学习38_115个Java面试题和答案——终极列表

115个Java面试题和答案——终极列表（上）本文由 ImportNew - miracle1919 翻译自 javacodegeeks。欢迎加入Java小组。转载请参见文章末尾的要求。本文我们将要讨论Java面试中的各种不同类型的面试题，它们可以让雇主测试应聘者的Java和通用的面向对象编程的能力。下面的章节分为上下两篇，第一篇将要讨论面向对象编程和它的特点，关于J

2016-10-15 15:17:57 662

转载 Spark学习2_Spark源码分析：多种部署方式之间的区别与联系

作者：过往记忆从官方的文档我们可以知道， Spark 的部署方式有很多种：local、Standalone、Mesos、YARN…..不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。从代码中，我们可以得知其实Spark的部署方式其实比官方文档中介绍的还要多，这里我来列举一下：1、local：这种方式是在本地启

2016-10-13 14:47:52 519

转载 Hadoop学习7_MapReduce 应用：TF-IDF 分布式实现

概述本文要说的 TF-IDF 分布式实现，运用了很多之前 MapReduce 的核心知识点。算是 MapReduce 的一个小应用吧。版权说明著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。本文作者：Q-WHai 发表日期： 2016年6月24日本文链接：http://blog.csdn.net/lemon_tree1213

2016-10-13 14:38:58 756

转载算法19_各种排序算法的分析及java实现

排序一直以来都是让我很头疼的事，以前上《数据结构》打酱油去了，整个学期下来才勉强能写出个冒泡排序。由于下半年要准备工作了，也知道排序算法的重要性（据说是面试必问的知识点），所以又花了点时间重新研究了一下。　　排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部记录存放在内存，则称为内排序，如果排序过程中需要使用外存，则称为外排序。下面讲的排序都是属于内排序。　　内排序有可以

2016-10-13 13:52:00 341

转载数据库3_最左前缀原则

这两天看《构建高性能Web站点》这本书，感觉写的真是不错，很多实际项目中会碰到的问题都有所提及，今天看到一个最左前缀原则，以前也听说过，不过一直没搞明白，今天查了下。通过实例理解单列索引、多列索引以及最左前缀原则实例：现在我们想查出满足以下条件的用户id：mysql>SELECT ｀uid｀ FROM people WHERE lname｀='Liu' AND ｀f

2016-10-13 10:36:58 1146

转载数据库2_低效能的”where1=1”

网上有不少人提出过类似的问题：“看到有人写了where 1=1这样的sql，到底是什么意思？”。其实使用这种用法的开发人员一般都是在使用动态数组的sql。让我们想象如下的场景：用户要求提供一个灵活的查询界面来根据各种复杂的条件查询员工信息，界面如下图：界面中列出了四个查询条件，包括按工号查询、按姓名查询、按年两查询以及按工资查询，每个查询条件前都

2016-10-13 10:28:16 406

转载 Network学习14_ TCP协议中的三次握手和四次挥手

建立TCP需要三次握手才能建立，而断开连接则需要四次握手。整个过程如下图所示：先来看看如何建立连接的。首先Client端发送连接请求报文，Server段接受连接后回复ACK报文，并为这次连接分配资源。Client端接收到ACK报文后也向Server段发生ACK报文，并分配资源，这样TCP连接就建立了。那如何断开连接呢？简单的过程如下：

2016-10-13 09:28:35 262

转载 JAVA学习37_同一进程中的线程究竟共享哪些资源

线程共享的环境包括：进程代码段、进程的公有数据(利用这些共享的数据，线程很容易的实现相互之间的通讯)、进程打开的文件描述符、信号的处理器、进程的当前目录和进程用户ID与进程组ID。进程拥有这许多共性的同时，还拥有自己的个性。有了这些个性，线程才能实现并发性。这些个性包括： 1.线程ID 每个线程都有自己的线程ID，这个ID在本进程中是唯一的。

2016-10-11 21:03:13 1459

转载 BigData学习3_大数据技术Hadoop面试题_选择和判断

单项选择题1. 下面哪个程序负责 HDFS 数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker2. HDfS 中的 block 默认保存几份？a)3 份b)2 份c)1 份d)不确定3. 下列哪个程序通常与 NameNode 在一个节点启动？

2016-10-09 13:51:55 1368

转载算法18_五大常用算法之二：动态规划算法

一、基本概念动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能

2016-10-08 21:04:33 378