vinfly_li的博客

不定期分析大数据热门技术干货,NoSQL技术,机器学习,欢迎关注微信公众号DTSpider...

Kafka全解析

kafka 标签(空格分隔): Kafka 一. Concepts Kafka is used for building real-time data pipelines and streaming apps 分布式消息传递 网站活跃数据跟踪 日志聚合 流式数据处理 数据存储 事...

2018-02-28 10:28:22

阅读数 36497

评论数 8

Flume + Kafka + TridentStorm + Hbase项目实战

Flume + Kafka + TridentStorm + Hbase项目实战 版权声明:禁止转载,转载必究 标签(空格分隔): Storm项目 Write by Vin 1,项目简介 项目名称:基于Storm开发实现的实时网站流量统计 项目需求:通过Storm分析业务系统产生的网站...

2018-02-28 10:21:10

阅读数 835

评论数 0

Spark基础全解析

SPARK全解析 标签(空格分隔): Spark SPARK全解析 Spark是什么? Spark 源码编译 Spark本地模式安装配置及Spark Shell基本使用 Spark集群 Spark Application开发、运行及监控(IDEA) Spark 日志监控(History...

2018-02-28 10:05:32

阅读数 11024

评论数 0

Actor模型与Akka

Actor模型与Akka 一. Actor模型 Actor模型概念 一个概念模型,用于处理并发计算 Actor模型内部的状态由自己的行为维护,外部线程不能直接调用对象的行为,必须通过消息才能激发行为,这样就保证Actor内部数据只有被自己修改 Actor模型组成 Ac...

2018-03-02 16:29:59

阅读数 606

评论数 0

Solr语法解析及SolrJ使用

Solr语法解析及SolrJ使用 标签(空格分隔): Solr 官方指南:http://lucene.apache.org/solr/quickstart.html Solrj 之HttpSolrClient 旧版本的连接服务HttpSolrServer在solr5版本后已经停用,被新...

2018-03-01 17:37:49

阅读数 1612

评论数 0

Windows系统Solr单机安装

Windows系统Solr单机安装 标签(空格分隔): Solr Solr概览 1, 什么是Solr Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可...

2018-03-01 17:36:00

阅读数 467

评论数 0

Spark开发性能调优

Spark开发性能调优 标签(空格分隔): Spark –Write By Vin 1. 分配资源调优 Spark性能调优的王道就是分配资源,即增加和分配更多的资源对性能速度的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升是成正比的,当公司资源有限,能分配的资源达到...

2018-03-01 17:26:44

阅读数 8389

评论数 4

Redis DB开发指南

Redis DB 标签(空格分隔): Redis 1,概述: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API 2,安装、编译Redis 安装、编译 [hadoop@bi...

2018-02-28 10:31:09

阅读数 1023

评论数 0

Azkaban基础指南

Azkaban 标签(空格分隔): Azkaban Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through...

2018-02-28 10:26:45

阅读数 489

评论数 0

Hive基础指南

Hive指南 标签(空格分隔): Hive HIVE基本介绍 Hive是由FaceBook开源的用于解决海量结构化日志的数据统计,后成为Apache Hive的一个开源项目,Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL(也成为HQL)查...

2018-02-28 10:23:45

阅读数 492

评论数 0

Flume指南

Flume基础 标签(空格分隔): Flume Flume概述 Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集,聚集,移动信息的服务,Flume仅仅运行在linux环境下,它是一个基于流式的数据的灵活的架构,具有健壮和容错性,官网中这样解释健壮和容...

2018-02-28 10:15:51

阅读数 978

评论数 0

Apache Beam指南

Apache Beam 标签(空格分隔): Hadoop 1. What is Beam ? 前世今生: 诞生背景: 分布式数据处理发展迅猛 –> 新的分布式数据处理技术越来越多 –> Hadoop MapReduce,Apache...

2018-02-28 10:12:37

阅读数 5769

评论数 2

Scala基础语法指南

Scala 标签(空格分隔): Scala By Vinfly Scala Scala介绍 Scala语法 声明变量 数据类型与操作符 函数调用和apply()函数 条件控制和循环 函数 数组 数组转换 Map与Tuple 面对对象编程之–类 面向对象编程之对象 面向对象之继承 ...

2018-02-28 10:08:26

阅读数 1572

评论数 0

Hbase基础全解析

HBASE基础全解析 标签: 大数据生态 本文使用版本 hbase-0.98.6-cdh5.3.6 源码库: https://github.com/apache/hbase/releases 注:rel = release即发行版本 , RC=Release Candidate即候选发...

2018-02-28 09:40:56

阅读数 2425

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭