Map-Reduce和Spark

Overview 回顾python中的函数式编程python中的map和reduce函数用map写并行代码Map-Reduce编程模型用python写spark程序 Reading Introduction to Parallel Computing, Blaise Barney, La...

2017-07-30 14:29:43

阅读数 423

评论数 0

Spark原理总结

一、Spark 是什么    Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有hadoop MapReduce所具有的优点,但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——S...

2017-07-30 12:55:05

阅读数 597

评论数 0

YARN原理总结

问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点? 2.它们有什么不同点? 3.yarn中有哪些改变? 4.yarn中有哪些术语? yarn是比较难懂的一个地方,也是很重要的一个组件,不止hadoop使用yarn,spark,storm也可以使用yarn。因此...

2017-07-29 18:33:19

阅读数 637

评论数 0

HDFS原理总结

1. HDFS优缺点 1.1 优点 1.1.1 高容错性 可以由数百或数千个服务器机器组成,每个服务器机器存储文件系统数据的一部分; 数据自动保存多个副本; 副本丢失后检测故障快速,自动恢复。 1.1.2 适合批处理 移动计算而非数据; 数据位置暴露给计算框架; 数据访问的高吞吐量; 运...

2017-07-29 17:49:02

阅读数 3846

评论数 0

Tensorflow LSTM连续序列预测方法实践

本文展示了如何使用循环神经网络去估计一个向量序列,我们会使用到LSTM的网络。我在网上找的 大多数用到LSTM的例子都是用来解决自然语言处理方面问题的,还没有找到相关的例子可以用在预测连续 值序列上,所以写下了本文。 所以本文的任务是基于历史观察数据去预测一系列连续的实数。传统的神经网络做不到...

2017-07-25 16:57:35

阅读数 4535

评论数 2

RNN的简单理解-part2

Part 2

2017-07-24 14:23:51

阅读数 365

评论数 0

RNN的简单理解

Part 1  在本文中,我们会构造一个RNN接受一个二进制的X序列输入,来预测一个二进制序列Y输出。序列按如下方式构造: 输入序列X : 在时间步t, Xt有一半的几率为0,另一半几率为1,X可能是[1,0,0,1,1,...]. 输出序列Y :   在时间步t,Yt有50%的几率为0,另一...

2017-07-22 18:46:29

阅读数 1307

评论数 1

了解sklearn中的pipeline及FeatureUnions

pipeline模块是sklearn中一个可以让你链式操作系一列transformer和estimators的单元。当你需要做一系列数据提取、变换、规则化和训练的操作时往往是非常麻烦的。        第一次参加一些数据竞赛,我会经常以以下的代码模式起手。  _file('data/train.t...

2017-07-13 14:09:50

阅读数 764

评论数 0

如何在MacOS上玩儿汇编?

在Mac上写汇编还是相当方便的。本文通过写一个Helloworld程序来入门。 首先,MacOS 自带nasm,只是版本有点老,编译不了64位程序,只要上官网下一个最新的,替换一下就行了。 有一点需要注意的是mac上gcc编译.o文件的默认入口是_main,而使用ld命令的时候默认的事star...

2017-05-21 22:28:43

阅读数 1589

评论数 0

Tensorflow分布式并行技术实践

本文实践了tensorflow的分布式并行技术 Tensor的分布式有几种模式,In-graph replication模型并行,将模型的计算图的不同部分放在不同机器执行;                                  between-graph replication数据...

2017-05-06 20:55:48

阅读数 1109

评论数 0

Tensorflow实例分析Google Inception v3 网络

本文直接从Inception v3的代码实现入手,分析其中值得借鉴的思想 首先要知道一个slim的组件,可以给参数自动赋值,可以省去很多操作 def inception_arg_scope(weight_decay=0.00004, use...

2017-05-05 22:02:35

阅读数 4953

评论数 0

Word2Vec+CNN+tensorflow实现恶意网页链接的检测

一、综述 恶意网页链接的检测方案有很多 例如http://fsecurify.com/using-machine-learning-detect-malicious-urls/ 该文使用了机器学习的方法,仅使用逻辑回归就达到了98.5% 的准确率 但是该算法存在一些问题,一个是用TFIDF方法来获...

2017-05-04 22:12:40

阅读数 5553

评论数 1

Ubuntu16.04下基于Docker的Caffe-GPU版本环境搭建总结

Caffe的GPU环境搭建比较复杂,所需依赖如下,本文全部会说明安装方法 GNU/Linux x86_64 with kernel version > 3.10Docker >= 1.9 (official docker-engine, docker-ce or docker-ee...

2017-04-29 02:16:06

阅读数 6456

评论数 1

基于Spark MLlib平台的协同过滤算法---电影推荐系统

说到推荐系统,大家可能立马会想到协同过滤算法。本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中,主要包括三部分内容: 协同过滤算法概述 基于模型的协同过滤应用---电影推荐 实时推荐架构分析     一、协同过滤算法概述         本人对算法...

2017-04-21 18:39:48

阅读数 1749

评论数 1

使用Python MrJob的MapReduce实现电影推荐系统

原文链接:http://www.sobuhu.com/archives/567                   http://blog.csdn.net/lzt1983/article/details/8777884 最近发现一个很好玩的Python库,可以方便的使用在Python下...

2017-04-18 22:27:13

阅读数 1199

评论数 0

RCTF-200 welpwn 地址泄露实例

转载地址:http://blog.csdn.net/SmalOSnail/article/details/53436113题目来源 RCTF 2015 welpwn http://oj.xctf.org.cn/files/welpwn_932a4428ea8d4581431502ab7e66ea...

2017-04-18 21:22:45

阅读数 852

评论数 0

借助DynELF实现无libc的漏洞利用小结

转自:http://bobao.360.cn/learning/detail/3298.html    前言 在没有目标系统libc文件的情况下,我们可以使用pwntools的DynELF模块来泄漏地址信息,从而获取到shell。本文针对linux下的put...

2017-03-30 17:06:49

阅读数 1851

评论数 0

一图看懂GOT表覆写原理

2017-03-30 16:42:47

阅读数 470

评论数 0

200 CSAW2016 Tutorial writeup

拿到程序,运行后直接段错误 打开ida看看怎么回事 void __fastcall __noreturn main(__int64 a1, char **a2, char **a3){ v15 = *MK_FP(__FS__, 40LL); optval = 1; sigemptyset(...

2017-03-30 14:56:56

阅读数 580

评论数 0

利用ret2libc绕过DEP安全机制

文中的例子是引用了别人的,计作转载吧,具体哪里引用的忘记了数据执行保护:           DEP就是将非代码段的地址空间设置成不可执行属性,一旦系统从这些地址空间进行取指令时,CPU就是报内存违例异常,进而杀死进程。栈空间也被操作系统设置了不可执行属性,因此注入的Shellcode就无法执行了...

2017-03-29 18:43:49

阅读数 690

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭