程序猿丶小川-CSDN博客

原创大数据实时阶段_Day08_Elasticsearch

一、什么是Elasticsearch 1． Java语言全文检索技术简介什么是lucene？ Lucene是一套 “全文检索” 编程API ，基于Lucene对数据建立索引，进行查询。很多框架对lucene进行了封装。什么是ElasticSearch ? 现在企业开发中，更常用是的solr搜索服务器和ElasticSearch搜索服务器如果大家使用过 Apache Lucene 或 ...

2018-10-11 17:25:05 569

HBASE数据库 Hbase基础 1.1 hbase数据库介绍 1、简介 hbase是基于Google BigTable模型开发的，典型的key/value系统。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它是Apache Hadoop生态系统中的重要一员，主要用于海量结构化和半结构化数据存储。它介于nosql和RDBMS之间，仅能通过主键(ro...

2018-10-11 08:32:32 383

原创大数据实时阶段_Day06_推荐系统

推荐系统开发实战推荐系统是一个综合性的系统，涉及到前段JS代码、推荐服务（Web网站）、推荐算法、大数据处理平台等；各个系统有依赖很多基础服务，调用关系非常复杂；在实际的开发过程中，每个模块都是由一个团队负责开发和维护的；本例期望通过一个猜你喜欢的案例梳理出推荐系统开发的一般流程。课程目标了解推荐系统概念及整体架构掌握推荐系统开发的整体流程理解推荐系统之协同过滤算法及开发流程动手实践 ...

2018-10-09 08:33:39 395

原创大数据实时阶段_Day05_日志分析

课程名称：日志监控告警系统课程目标： 1、掌握Storm编程的应用场景及编程模型 2、掌握Storm开发生态圈各知识点 3、掌握短信和邮件告警功能课程大纲： 1、背景知识 2、需求分析 3、功能分析 4、架构设计 5、代码开发点击流日志信息行为轨迹 1.2、如何进行点击流日志分析 1）用户访问http://yun.itheima.com/open/c-139.html 是...

2018-09-30 17:11:29 704

原创大数据实时阶段_Day03_Storm原理

1.Storm源码下载及目录熟悉 1.1在Storm官方网站上寻找源码地址 http://storm.apache.org/downloads.html 1.2 点击文字标签进入github 点击Apache/storm文字标签，进入github https://github.com/apache/storm 1.3 拷贝storm源码地址在网页右侧，拷贝storm源码地址 1.4 使用...

2018-09-28 19:01:48 237

原创大数据实时阶段_Day02_Apache Storm 流式计算框架

1.Strom基础 1.1是什么? hadoop处理数据时效性不够， Strom是一个流式计算框架，（数据是一条一条计算）它只负责计算，不负责存储流式计算概念：数据如同在流水线上被处理 1.2 strom架构 Nimbus:负责资源分配和任务调度 Supervisor:负责接收nimbus分配的任务，启动和停止属于自己的管理的worker Worker：运行具体处理组件逻辑的进程。 T...

2018-09-26 21:35:16 214

原创 Storm集群安装部署详细手册

Storm集群安装部署详细手册 1、安装虚拟机 1.1、准备软件 1、VMware Workstation 12.zip 虚拟机软件 2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统 1.2、安装虚拟机软件要想成功安装，务必删除掉已有的虚拟机软件 1.3、安装操作系统运行虚拟机软件，点击软件右上角的文件，选择新建虚拟机，会弹出新建虚拟机向导页面选择典型安装...

2018-09-26 12:42:05 563

原创大数据实时阶段_Day01_Apache Kafka 企业级消息队列

大数据企业级消息平台 apache kafka Apache Kafka 企业级消息队列爬虫课程：原生队列、多线程重复消费的问题、ArrayBlockingQueue阻塞队列分布式爬虫：使用Redis的list数据结构做队列。分布式电商：AMQ 消息队列、发布一个商品时发送一个消息，有程序消费消息创建静态化页面。 Apache Kafka：消息队列、随着大数据兴起，现在非常流行 1、...

2018-09-25 22:05:35 448

小川的博客