BlueSky

找到自己,从现在开始......

从小白到大数据科学家

参加北大“智能多媒体大数据研讨会”,听取很多业界大牛相关工作的分享。In some way,I got some information and it broaden my horizons.Then i will share my feeling.(题目是噱头,但也是一个收获) 1、重新认识大数...

2015-11-26 22:38:43

阅读数:1291

评论数:1

Scala学习(二)---入门基础知识

元组使用: 元组List一样而是不能改变的结构,但是元组内每个元素的类型可以不同,List也可以但是List是推断为any,而Tuple推断为各个元素的类型。元组的作用一般为在方法里返回对个对象,元组对其内元素的操作为._来取元素(其是基于1开始索引而不是0)。 val pair = (1,...

2015-11-28 16:09:25

阅读数:399

评论数:0

Recipes for Running Spark Streaming Applications in Production

转自:https://spark-summit.org/2015/events/recipes-for-running-spark-streaming-applications-in-production/ Tathagata Das (Databricks) Tuesday, Jun...

2015-11-27 23:42:47

阅读数:335

评论数:0

Centos6.4 本地yum源配置

转自:http://www.cnblogs.com/shenliang123/p/3829044.html 由于单位的服务器均使用的是内网,而安装一些软件如Git,需要很多的依赖包,使用yum安装相对简单,由于不能联网故配置本地yum源配置。 1.首先将需要rpm库添加到系统中: 1)....

2015-11-26 00:02:48

阅读数:500

评论数:0

CentOS搭建本地yum源(http方式)

YUM介绍 YUM主要用于自动升级、安装\移除rpm软件包,它能自动查找并解决rpm包之间的依赖关系,要成功的使用YUM工具更新系统和软件,需要有一个包含各种rpm软件包的repository(软件仓库),提供软件仓库的服务器习惯上成为“源”服务器。网络上有大量的源服务器,但是,由于受到网络连接...

2015-11-25 23:59:00

阅读数:342

评论数:0

学习大数据、云技术如何提高部署学习效率

转自:http://www.aboutyun.com/thread-14575-1-1.html 1.如何避免反复部署集群? 2.快照的作用是什么? 3.缓存服务器能起到什么作用? 学习大数据、云技术,我们首先应该掌握的是部署,通过部署,我们认识hadoop、ope...

2015-11-25 23:40:24

阅读数:646

评论数:0

李滔:搜狐基于Spark的新闻和广告推荐实战

转自:http://www.aboutyun.com/thread-14577-1-2.html 可视化工具推荐: Bi类需求在hive和sparkSQL实现,那前台显示有没有好工具?如果有比较明细的数据呢? 李滔:展示工具,商用的比如Tableau,开源的比如Saiku等。 ...

2015-11-25 22:51:40

阅读数:1103

评论数:0

Scala学习(一)---入门基础知识

1、初识Scala         Scala将面向对象和函数式编程融为一体,因此具有可扩张性。Scala里函数就是对象。函数类型能够被子类继承的类。面向对象编程的动机非常简单:绝大多数的程序都需要某种结构。而最直接的办法就是把数据和操作放进某种形式的容器中。面向对象编程里最伟大的思想是让这些容...

2015-11-25 21:21:56

阅读数:542

评论数:0

将web攻击数据可视化

转自:http://www.freebuf.com/articles/web/25476.html 去年一直在做日志分析的工作,略有心得,对于恶意攻击我们需要知道啥时候有人攻击我们了,攻击了多少次,这个有利于领导知道你做了哪些工作。从防护者的角度来说,我不止关心payload、或者req...

2015-11-25 09:29:51

阅读数:575

评论数:0

大数据安全分析:我们从日志中得到的(一)

转自:http://www.freebuf.com/articles/web/25613.html 简介 在一个嘈杂的环境中,怎样才能尽可能的发现异常?不外乎黑白名单。 黑名单,又可以总结出两种方式: 1.基于特征的检测,2.基于行为的检测 基于特征,是一种立竿见影的...

2015-11-25 09:15:14

阅读数:2216

评论数:0

大数据安全分析漫谈

转自:http://www.freebuf.com/articles/database/68877.html 前言 写这篇文章有三个原因,一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 (想继续吐槽);二是看到了阿里的招聘广告-一起来聊聊这个新职位:大数据安全...

2015-11-24 21:19:40

阅读数:1814

评论数:0

七牛是如何搞定每天500亿条日志的

转自:http://news.csdn.net/article_preview.html?preview=1&reload=1&arcid=2825342 概述 数据平台在大部分公司都属于支撑性平台,做的不好立刻会被吐槽,这点和运维部门很像。所以在技术选型上优先...

2015-11-23 21:16:39

阅读数:606

评论数:0

zookeeper 启动错误

zookeeper.out: Permission denied错误解决方法 zkServer.sh: line 109: ./zookeeper.out: Permission denied  STARTED 从问题描述,可以看出都是权限问题。在第二个提示中,找到第109...

2015-11-23 12:23:05

阅读数:1504

评论数:0

Spark Streaming和Kafka整合开发指南

转自:http://dataunion.org/15193.html Apache Kafka是一个分布式的消息发布-订阅系统。可以说,任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据,这里将会介绍两种方法:(...

2015-11-23 09:42:32

阅读数:642

评论数:0

spark submit 运行开发的应用程序

sbt打包 经过一段时间的理解和学习,对sbt有点了了解,也成功安装成功,并打好了自己的程序jar包。 1、工程目录 保证sbt安装成功,可以console下命令:sbt sbt -version sbt sbt-version [info] Loading global plugins...

2015-11-21 17:16:06

阅读数:565

评论数:0

sbt使用详解

前两天安好的sbt但是在真正的用的时候还是遇到很多问题,所以在系统学习了解下。 安装: 我的系统为centos6.5故采用官方提供的在线安装: curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bin...

2015-11-20 19:19:01

阅读数:16217

评论数:0

Spark学习(三)---Spark Standalone Mode说明及参数配置详解

启动集群–启动standalone模式下master server(启动完毕后可以通过http://master:8080来看你对应的spark-url,其中master对应你机器的hostname) ./sbin/start-master.sh –启动one or more works并且将...

2015-11-20 15:12:36

阅读数:3514

评论数:0

Spark学习(二)---kafka+SparkStreaming的搭建与连接

kafka+Sparkstreaming环境搭建与配置说明以及相关的测试代码的编写

2015-11-19 21:18:31

阅读数:10644

评论数:0

加速 SBT 下载依赖库的速度

SBT翻墙手册:http://afoo.me/posts/2014-11-05-how-make-sbt-jump-over-GFW.html 根据 SBT 的官网文档中 Proxy Repositories 部分的描述, 可以通过改变repositories 的 url 列表来优化. ...

2015-11-19 13:25:41

阅读数:1631

评论数:0

用SBT编译Spark的WordCount程序

转自:http://www.aboutyun.com/thread-8587-1-1.html sbt介绍 sbt是一个代码编译工具,是scala界的mvn,可以编译scala,java等,需要java1.6以上。 sbt项目环境建立 sbt编译需要固定的目录格式,并且需要联网,sbt会将依赖的...

2015-11-19 11:15:24

阅读数:687

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭