weixin_36815898的博客

原创 CDH5安装包下载(含CM5.16.2rpm包)

CDH官网链接CDH ComponentsCDH is Cloudera’s 100% open source platform distribution, including Apache Hadoop and built specifically to meet enterprise demands. CDH delivers everything you need for enterprise use right out of the box. By integrating Hadoop

原创 Kafka学习之路(一)Kafka API编程之生产者

一、新建一个Maven项目1.点击“Create New Project”选项2. 选择maven选项，选择JDK版本，“Create From Archetype”复选框可以不用选择 点击【Next】3. 给项目起一个名字，“groupId”，“artifactId”，“version”可以更改，也可以默认，填写完之后，点击【Finish】 4.由于我配置了全局Maven，所以不用选择Maven路径，直接使用我本机默认的Maven仓库>二、设置pom文件pom.xml文件&lt

原创 Spark Streaming实时流处理项目实战(四)分布式消息队列Kafka

分布式消息队列Kafkakafka概述kafka架构及核心概念kafka部署及使用kafka容错性测试kafka API编程kafka实战kafka概述Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。kafka架构及核心概念1）Producer ：消息生产者，就是向kafka broker发消息的客户端；2）Consumer ：消息消费者，向kafka broker取消息的客户端；3）Consumer Group （CG）：消费者组，由多个consumer组

原创 CDH开始收费之后，下载方法！

目前Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。下载需要用户名和密码也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/cdh5/cdh/5现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息：403 Forbidden

原创 MarkDown编辑器使用

空格在文中添加&nbsp； 加几次几个空格 （注意分号是英文状态下的分号）缩进 或  # 缩进1格 或  # 缩进2格

原创 Spark Streaming实时流处理项目实战(三)日志收集Flume

分布式日志收集框架Flume业务现状分析Flume概述Flume架构及核心组件Flume环境部署Flume实战业务现状分析如何解决我们的数据从其他server上移动到Hadoop之上shell 将数据cp到hadoop的机器上然后再使用 hadoop fs -put …将数据放入到hdfs上使用传统方案没有办法解决容错和负载均衡，这时可以使用FlumeFlume概述Flume官网：http://flume.apache.org/Flume是一种分布式的、高可靠的、高可用的服务，用于高效

原创 Spark Streaming实时流处理项目实战(二)初识实时流处理

初识实时流处理1.业务现状分析2.实时流处理产生背景3.实时流处理概述4.离线计算与试试计算对比5.实时流处理框架对比6.实时流处理框架与技术选型7.实时流处理在企业中的应用1.业务现状分析需求： 统计某主站上课程访问的客户端地域信息分布  问题：按小时级别统计、10分钟、5分钟、1分钟、秒级别  分析：小时统计时是可以使用MapReduce来进行离线处理的，但是分钟级别和秒级别时使用MR来做计算就不太靠谱了，因为MapReduce在执行时延时性比较高，适合做离线批处理，MapReduce有MapT

原创 Spark Streaming实时流处理项目实战(一)课程介绍

1.1课程介绍1.课程流程2.可视化效果采用了两种实现方式：第一种：使用Sparing Boot整合Echarts实现；第二种：使用阿里云DataV数据可视化框架实现

原创 kafka不同消费者组消费消息