转载
zstarstone
研究方向:信息安全,大数据分析
展开
-
教你如何迅速秒杀掉:99%的海量数据处理面试题
作者:July出处:结构之法算法之道bloghttp://blog.csdn.net/v_july_v/article/details/7382693前言 一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对这篇文章:转载 2012-03-23 22:02:49 · 843 阅读 · 0 评论 -
安装后用终端打开eclipse的出错问题
http://www.linuxidc.com/Linux/2012-07/65617.htm安装后用终端打开eclipse,提示出错(直接图形打开没问题)An error has occurred. See the log file/home/pengeorge/.eclipse/org.eclipse.platform_3.7.0_155965261/configura转载 2013-07-03 17:14:31 · 2190 阅读 · 0 评论 -
LaTeX技巧572:如何给表格项添加注释?
http://blog.sina.com.cn/s/blog_5e16f1770102dxpi.html给表格加注释的确是很多TeX用户不好用的地方,这里提供一个样式和代码,或许对于你的学习使用有所帮助,样式如下:代码如下:\documentclass[11pt,a4paper,english]{article}\usepackage[T1]{fonte转载 2014-03-23 00:01:29 · 22734 阅读 · 0 评论 -
朴素贝叶斯新闻分类器详解
引自http://sobuhu.com/ml/2012/11/11/navie-bayes-classify.html转载 2014-05-16 11:25:14 · 4785 阅读 · 4 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2015-04-24 09:19:37 · 970 阅读 · 0 评论 -
hadoop1.0 和hadoop2.0 任务处理架构比较
来源:http://younglibin.iteye.com/blog/1921385刚刚看到一篇文章对 hadoop1 和 hadoop 2 做了一个解释 图片不错 拿来看看 Hadoop 1.0 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:首先用户程序 (JobClient) 提交了转载 2015-04-24 10:11:10 · 698 阅读 · 0 评论 -
漫谈:机器学习中距离和相似性度量方法
漫谈:机器学习中距离和相似性度量方法原文:http://www.cnblogs.com/daniel-D/p/3244718.html在机器学习和数据挖掘中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分类和聚类算法,如 K 最近邻(KNN)和 K 均值(K-Means)等等。根据数据特性的不同,可以采用不同的度量方法。转载 2015-04-24 16:53:04 · 569 阅读 · 0 评论 -
OpenSOC初探
2015/4/16 17:39:41 来源:http://blog.chinaunix.net/uid-26275986-id-4964935.htmlCisco在最近的BroCon大会上公布了旗下的OpenSOC项目即将开源的消息,在其GIT站点上也开始放出了部分代码,应该说OpenSOC对于当今大数据分析的“落地”有着重要的意义。一直以来各界都鼓吹大数据的神奇力量,但是却一直无转载 2015-04-28 16:18:40 · 2823 阅读 · 0 评论 -
当大数据遇到安全分析:思科OpenSOC即将开源
来源:http://www.aqniu.com/neotech/network-security/4546.html作者:zeon 2014年9月17日 来源:安全牛 收藏文章(0) OpenSOC是大数据分析与安全分析技术的结合大数据与安全分析技术的结合是信息安全市场的热点话题,而思科公司的安全大数据分析框架OpenSOC也在转载 2015-04-28 16:16:01 · 1048 阅读 · 0 评论 -
终于搞定了hadoop集群的配置
终于搞定了hadoop的集群配置,困扰了好几天,因为也没有人讨论,很是郁闷。完成后大概有以下几点感想吧。1、开始的用户名不是一致2、ssh的配置不正确,具体配置可以参考前一篇文章3、可以在一台机器上配置,ssh到另外的机器上4、其他可以参考另外两篇文章,由于开始参考这两篇文章没配置成功,所以不搬过来了,尤其是这两篇文章的ssh配置不详细,个人感觉,不过其他一些方面可以参转载 2013-07-03 16:59:45 · 3608 阅读 · 0 评论 -
如何让你的作业在Hadoop集群中真正实现分布式运行?
搭建过hadoop之后,如何让程序在hadoop集群中分布式运行成了一件令人头痛的事。可能有人会说在eclipse的类文件中右键点击-》“run on hadoop”不就行了嘛,注意:eclipse中的“run on hadoop”默认只是运行在单机上的,因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程的,一个简单的“run on hadoop”只是启动转载 2013-07-03 19:44:27 · 1117 阅读 · 0 评论 -
Hadoop中map/reduce编程中关于mapper和reducer的Format问题
[日期:2012-01-16]来源:Linux社区 作者:ae86_fc[字体:大 中 小]Hadoop中的map/reduce编程中有几个非常关键的组件,其中包括 Mapper,Reducer,InputFormat,OutputFormat,OutputKeyClass,OutputValueClass 等,在刚接触map/reduce编程的时候很容易由于转载 2013-05-31 17:01:33 · 1290 阅读 · 0 评论 -
程序员编程艺术(算法卷):第一章、左旋转字符串
第一章、左旋转字符串http://blog.csdn.net/v_july_v/article/details/6322882作者:July,yansha。时间:二零一一年四月十四日。说明:(狂想曲,有三层意思:1、思绪纷飞,行文杂乱无章,想到什么,记下什么。2、简单问题深入化,复杂问题精细化,不惧汪洋,不惧艰深,洋洋洒洒,纵横千里。3、依托一道面试题展开来,思维放任不羁,逐步转载 2012-03-23 22:51:23 · 1535 阅读 · 0 评论 -
12306网上订票,提示您所请求的网址(URL)无法获取
在C盘搜索一个名叫“hosts”的无后辍文件,用记事本打开,看到里边有两行内容涉及12306:[$1]122.228.243.22 dynamic.12306.cn[$1]61.183.42.94 dynamic.12306.cn[$1]把它们删除,然后保存文件,重启浏览器,再打开12306网站,进行之前的操作。一切正常!转载 2013-03-15 20:02:11 · 2629 阅读 · 0 评论 -
Hadoop 2.0 安装向导 (0.23.x)
http://blog.csdn.net/shenshouer/article/details/7613234安装向导 (0.23.x)最新版本的HADOOP2.0与老版本相比有不同的目录结构。本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法(Hadoop 0.23 安装)。这有许多可以执行的方式,现在介绍以下:如果想安装老版本的hadoop此处不转载 2013-04-15 14:26:56 · 830 阅读 · 0 评论 -
JDK1.6在LINUX下的安装配置
JDK1.6在LINUX下的安装配置2009-07-07 11:33 佚名 百度百科 我要评论(3) 字号:T | TJDK1.6在LINUX下的安装配置是Java初学者开始Java编程的必经之路,那么如何JDK1.6在LINUX下的安装配置就成了首要的问题,那么本文就向你介绍JDK1.6在LINUX下的安装配置问题。AD: 2013大数据全球技术峰会低价抢转载 2013-04-15 12:25:05 · 971 阅读 · 1 评论 -
鼠标键盘共享之-Synergy工具
------------------------------以下为转载自http://www.cnblogs.com/linucos/archive/2011/10/31/2230157.html---------------Synergy工具,绝对好玩而且好用,下面我们一步步,搞定一套鼠标键盘同时操作windows和linux双系统,本篇的环境是windows xp和ubuntu9.10转载 2013-04-12 13:24:50 · 717 阅读 · 0 评论 -
eclipse关联JAVA API文档以及ubuntu中提示的黑色背景修改
【转,由于这个太多,无法确认源于哪里。这个变化的是下载地址已经无效,我的下载地址为:http://dlc.sun.com.edgesuite.net/jdk/jdk-api-localizations/jdk-api-zh-cn/publish/1.6.0/html/。另外还需注意的是,源代码连接默认使用了JDK安装文件夹中自带的src.zip文件,其中源代码中包含英文的Javadoc信息。所以选转载 2013-05-01 05:00:45 · 1168 阅读 · 0 评论 -
JAVA API文档,可以直接进行API搜索
找了好久,终于找到一个好用的API参考文档,可以进行函数的搜索,有点像MSDN,目前感觉还不错。下面内容转载:http://www.javatang.com/javadoc2006年06月5日Java DocFiled under: — Jet Ma @ 10:54 上午原文出处: Java Doc作者: Jet Mah from Java堂声明: 可以转载 2013-05-27 16:09:25 · 5557 阅读 · 0 评论 -
Mapreduce的输入格式
http://blog.csdn.net/lilin_xdu/article/details/7790891map(k1,v1)——>list(k2,v2)reduce(k2,list(v2))->list(k3,v3)reduce的输入类型必须与map函数的输出类型相同combine的输入输出键值类型必须相同,也就是k2,v2static class Mapp转载 2013-05-31 16:28:31 · 1159 阅读 · 0 评论 -
大数据工程人员知识图谱
http://yanbohappy.sinaapp.com/?cat=32大数据工程人员知识图谱3 Replies在企业里面从事大数据相关的工作到底需要掌握哪些知识呢?我认为需要从两个角度来看:一个是技术;一个是业务。技术上主要涉及到概率和数理统计,计算机系统、算法和编程等;而业务的角度呢则是因公司业务的不同而异。对于从事大数据的工程人员来说,需要学会使用数据挖掘方转载 2015-06-25 13:16:50 · 3645 阅读 · 0 评论 -
网络安全书籍推荐列表
转自:http://www.cnblogs.com/zer0Black/p/3959886.html看到作者列出的书籍列表,对于信息安全的初学者来说,能很好的选择教材,鉴于只有英文版,我尝试翻译成中文以供参考,初次翻译,翻译的不好请见谅。原文链接:http://dfir.org/?q=node/8/注:对于所有的书籍链接,我都会寻找中文版重新链接,如无中文版,则按原文链转载 2015-01-06 14:00:19 · 24120 阅读 · 1 评论 -
SSL协议详解
http://www.cnblogs.com/zhuqil/archive/2012/10/06/ssl_detail.html背景介绍 最近在看《密码学与网络安全》相关的书籍,这篇文章主要详细介绍一下著名的网络安全协议SSL。 在开始SSl介绍之前,先给大家介绍几个密码学的概念和相关的知识。 1、密码学的相关概念密码学(cryptography):目的是转载 2015-01-06 11:36:01 · 889 阅读 · 0 评论 -
基于大数据分析的安全管理平台技术研究及应用
【引言】这篇文章原载于内刊,现发布于此。内容有所删减。基于大数据分析的安全管理平台技术研究及应用Research and Application of Big Data Analysis Based Security Management PlatformLast Modified By yepeng @ 2014-1-14【内容摘要】本文首先通过介绍大数据的起因,给出转载 2015-07-14 17:24:25 · 11980 阅读 · 1 评论 -
开源大数据查询分析引擎现状
引言 大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域,撼动了RDBMS在商用数据库和数据转载 2015-07-14 16:06:32 · 763 阅读 · 0 评论 -
强烈推荐!大数据领域的顶级开源工具大集合
随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。 如今,从小型初创企业到行业巨头,各种规模的供应商都在使用开源来处理大数据和运行预测分析。借助开源与云计算技术,新兴公司甚至在很多方面都可以与大厂商抗衡。 以下是一些大数据方面的顶级开源工具,分为四个领域:数据存储、开发平台、开发工具和集成、分析和报告工具。 数据存储:Apache转载 2015-07-14 17:19:02 · 2376 阅读 · 0 评论 -
flume+kafka+storm+mysql架构设计
http://blog.csdn.net/mylittlered/article/details/20810265分类: storm2014-03-09 00:55 6769人阅读 评论(185) 收藏 举报目录(?)[+]序言前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考。这个框架用的组件基本都是最新稳定版本,flume转载 2015-07-29 16:02:43 · 790 阅读 · 0 评论 -
有继承的C++析构函数一定要用virtual
先补下virtual是啥虚函数是指一个类中你希望重载的成员函数,当你用一个基类指针或引用指向一个继承类对象的时候,你调用一个虚函数,实际调用的是继承类的版本。 先贴个代码,再解释#include using namespace std;class Base{public: Base(){cout"Base Construct"endl;}; ~转载 2015-07-16 17:15:11 · 1516 阅读 · 0 评论 -
从Hadoop到Spark的架构实践
发表于2015-06-08 10:46|5838次阅读| 来源程序员杂志|3 条评论| 作者阎志涛Hadoop架构移动互联网数据挖掘技术架构摘要:本文则主要介绍TalkingData在大数据平台建设过程中,逐渐引入Spark,并且以Hadoop YARN和Spark为基础来构建移动大数据平台的过程。当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark转载 2015-08-11 10:35:06 · 1167 阅读 · 0 评论 -
启动hadoop 2.6遇到的datanode启动不了
http://blog.csdn.net/zhangt85/article/details/42078347查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:500752014-12-22转载 2015-12-25 13:35:19 · 4394 阅读 · 0 评论 -
大数据技术人员的工具包——开源大数据处理工具list(限时下载)
详细文字介绍版本请看:一共81个,开源大数据处理工具汇总(上)一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等下面是文档简版,收集整理者为Aquester类别名称官网备注查询引擎Phoenixhttp://phoenix.incubator.apache.org/Salesforce公司出品,Apache转载 2015-07-14 17:26:31 · 1613 阅读 · 0 评论 -
一共81个,开源大数据处理工具汇总(上)
作者:大数据女神-诺蓝(微信公号:dashujunvshen)。本文是36大数据专稿,转载必须标明来源36大数据。本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache转载 2015-07-14 17:21:36 · 4070 阅读 · 0 评论 -
一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
作者:大数据女神-诺蓝(微信公号:dashujunvshen)。本文是36大数据专稿,转载必须标明来源36大数据。接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Facebook Scribe贡献者:Facebook转载 2015-07-14 17:22:58 · 4399 阅读 · 0 评论 -
The Rise of Encrypted Traffic
The Rise of Encrypted TrafficGreg MayfieldOctober 23, 2014https://www.bluecoat.com/company-blog/2014-10-23/rise-encrypted-trafficBased on proven standards like Secure Sockets Lay转载 2015-01-06 11:18:21 · 974 阅读 · 0 评论 -
谷歌UBUNTU中文拼音输入法IBus
http://wiki.ubuntu.org.cn/index.php?title=IBus&variant=zh-hantIBus中文輸入法中文輸入法fcitx中文輸入法ibusIBus 全稱 Intelligent Input Bus for Linux / Unix OS 是下一代輸入法框架(或者說“平台”),計劃現存於 Google Code转载 2012-03-15 09:21:49 · 3194 阅读 · 0 评论 -
IRAF 安装 for Ubuntu 10.04
按照这个步骤,基本上能装好,只是DS9的wget地址有点问题,需要注意:wget http://hea-www.harvard.edu/saord/ds9/archive/linux/ds9.linux.6.2.tar.gz开始转发的安装版本,也能成功,不过好像没有装X11和DS9IRAF 安装 for Ubuntu 10.04 http://blog.sciencenet转载 2012-04-17 13:23:59 · 3622 阅读 · 0 评论 -
第一个程序IDL
终于安装完了UBUNTU,并且把IDL安转好了,运行第一个程序:http://physics.nyu.edu/grierlab/idl_html_help/intro_program3.htmlStart IDLAt the IDL command line, enter the following: A = 2 Enter转载 2012-03-15 11:16:31 · 1048 阅读 · 0 评论 -
IRAF 2.15 安装笔记
IRAF 2.15 安装笔记http://astroleaks.lamost.org/?p=1563May 24, 2011 in 经验之谈 ( 各位同学,我们发现目前在国内访问wordpress服务可能会有一些障碍,鉴于我们Lamost服务器上的镜像已经经过了重新的布置,为了方便大多数国内同学访问,即日起我们将Lamost服务上的站点作为主要更新站 , wordpress转载 2012-04-17 10:04:46 · 2177 阅读 · 0 评论 -
网络安全协议之比较(SSH、 PKI、SET、SSL)
转自:http://blog.chinaunix.net/uid-20663154-id-1585302.html一、SSH介绍 什么是SSH? 传统的网络服务程序,如:ftp、pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而且,这些服务程序的安全验证方式也是有其转载 2015-01-06 14:53:43 · 3064 阅读 · 0 评论 -
开源日志系统比较
本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享hadoop技术内幕,hadoop最新技术进展,发布hadoop相关职位和求职信息,hadoop技术交流聚会、讲座以及会议等。二维码如下:1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:转载 2015-07-14 15:15:36 · 731 阅读 · 0 评论