大数据平台
文章平均质量分 87
普通小程序员
这个作者很懒,什么都没留下…
展开
-
hadoop(window搭建)
0.自己编译安装步骤在这里,有英文版本链接:《英文传送门》。自己编译尝试后不成功,换为下面使用别人编译好的版本的方法。参考博客:《初学hadoop,windows下安装》1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!)假设JAVA_HOME路径为C:\Java\jdk1.8.0_732.下载hadoop。下载地址:Apache Hadoop如果在当前页中没找到2.8.3版本,可以到所有版本的下载列..转载 2021-10-28 09:40:27 · 447 阅读 · 1 评论 -
实时数据处理环境搭建flume+kafka+storm
1.环境依赖storm需要java和Python部署依赖环境 --- 要求Java 6+ 、Python 2.6.6+java,python安装配置完成2.zookeeper安装配置1. 解压 tar -zxvf2.创建目录 zk根目录创建 mkdir zkdatalog --日志 mkdir zkdata ---快照文件3....原创 2019-11-22 15:10:02 · 233 阅读 · 0 评论 -
flume原理与介绍-----认知
1.flume是hadoop生态圈的高可用,分布式,可配置的高性能日志收集系统2.优势: 1. Flume可以将应用产生的数据存储到任何集中存储器中,比如HDFS,HBase 2. 当收集数据的速度超过将写入数据的时候,也就是当收集信息遇到峰值时,这时候收集的信息非常大,甚至超过了系统的写入数据能力,这时候,Flume会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提...转载 2019-11-22 10:01:41 · 243 阅读 · 0 评论 -
storm流计算---学习
1.开源,分布式,实时大数据相较于hadoop的mapReduce的高延迟无法容忍的问题,但是其可以做大批量处理数据。2.storm衍生的Trident高级抽象框架而hadoop衍生的pig框架3.应用场景: 推送系统:加入购物车的商品,系统会实时的再推送你喜好的相关商品 网站统计:实时销量,流量统计 金融系统,预警系统4.关键特性:...转载 2019-11-21 23:20:44 · 227 阅读 · 0 评论 -
Ambari搭建大数据平台教程(HDP)
搭建测试环境本文是公司搭建测试环境大数据平台时总结的,按安装相应版本的官方文档的步骤翻译过来的。其中遇到了一些问题,相应的解决方案也都一一列举了。按照这个方式一定可以搭建成功。基本信息:系统:Ubuntu-14.04.1JDK版本:jdk-8u111SCALA版本:MySQL数据库:各个服务器的角色:172.28.44.120:nn0172.28.44.121...转载 2019-11-12 14:59:56 · 901 阅读 · 0 评论