大数据之路
文章平均质量分 78
paulgeorge9527
泡椒:代码+篮球=人生
展开
-
Caused by: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Pe
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]org.apache.flink.table.api.TableException: Could not execute CreateTable in path hive_catalog.hi原创 2021-08-10 14:46:32 · 2153 阅读 · 0 评论 -
storm安装及报错解决
集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群一、环境准备三台虚拟机关闭防火墙,配置hosts安装java,并配置环境变量二、搭建zookeeper集群2.1解压tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/2.2修改配置cd /home/hadoop/app原创 2016-10-27 15:30:08 · 508 阅读 · 0 评论 -
spark调优总结
1.10.用户访问session分析方案1、按条件筛选session先查出指定的任务,获取任务的查询参数进行session粒度聚合,从用户访问表(user_visit_action)查询指定日期范围内的行为数据将session粒度聚合数据 与用户信息进行join。得到RDD最后进行session数据过滤 ( filter算子。ValidUtil工具类)2、聚合统计:统计出符合条件的s...原创 2019-04-25 23:36:14 · 351 阅读 · 0 评论 -
Spark源码
Master和Worker Akka实现RPC通信原理1.首先启动Master (actorSystem.actorof),然后启动所有的Worker2.Worker启动后,在preStart方法中与Master建立连接,向Master发送注册,将Worker的信息(tcp协议,hostname 端口等)通过case class封装起来发送给Master3.Master接收到Woker的注册...原创 2019-04-25 23:37:16 · 296 阅读 · 0 评论 -
hadoop
1.1.Hadoop介绍Hadoop:是一个由Apache基金会所开发的分布式系统基础架构 。Hadoop适合应用于大数据存储和大数据分析的应用,适合于服务器几千台到几万台的集群运行,支持PB级的存储容量。Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。Hadoop核心:HDFS: Hadoop Distributed File System 分布式文...原创 2019-04-25 23:44:19 · 167 阅读 · 0 评论 -
Storm
1.5.2.storm介绍Storm用来实时处理数据,特点:低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口,便于开发。http://apache.fayea.com/应用场景日志分析从海量日志中分析出特定的数据,并将分析的结果存入外部存储器用来辅佐决策。管道系统将一个数据从一个系统传输到另外一个系统,比如将数据库同步到Hadoop消息转化器将接受到的消息...原创 2019-04-25 23:45:11 · 117 阅读 · 0 评论 -
Kafka
Kafka介绍在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。高吞吐量发布订阅消息系统KAFKA + STORM +REDISApache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incuba...原创 2019-04-25 23:45:46 · 135 阅读 · 0 评论 -
java链表实现
package Test2;import Test.Node;/**Created by Administrator on 2019/4/28.*/public class LinkList {class Node{private int data;private Node next;public Node(int data){this.data=data;}}pri...原创 2019-04-28 23:37:45 · 145 阅读 · 0 评论