![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Ebaugh
今日之上达,无非他日之下学也————南怀瑾
展开
-
ERROR [StdOutErrRedirect] [Azkaban] SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFa
这个报错原因为hive中lib下和azkaban-exec-server-3.82.0-8-g11595ad/lib/中的slf4j-log4j12-1.7.21.jar两个jar包出现冲突。将azkaban-exec-server-3.82.0-8-g11595ad/lib/slf4j-log4j12-1.7.21.jar删除就可以了。...原创 2020-01-22 11:55:44 · 937 阅读 · 1 评论 -
azkaban 报错:javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?
azkaban 报错:javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.securit...转载 2020-01-22 11:50:24 · 1137 阅读 · 0 评论 -
kafka深度解析
https://www.jianshu.com/p/540259d6a68ehttps://www.jianshu.com/p/540259d6a68ehttps://my.oschina.net/ielts0909/blog/117489原创 2019-11-29 10:57:26 · 86 阅读 · 0 评论 -
数据中台的理解
一、什么是数据中台数据中台的概念最是阿里提出来的是为了实现数据的分层和水平解耦,提供数据服务能力。看了那么多中台的概念,对中台也有些自己的理解。笔者认为中台主要是为了提供全域的数据服务。主要包括以下4部分:数据资产、数据治理、数据模型、数据服务。数据中台打通数据建模对全域数据进行沉淀形成数据资产,从而提供统一的数据服务功能。二、如何建立数据中台建设数据中台主要就...转载 2019-10-12 11:36:56 · 475 阅读 · 0 评论 -
数据中台学习笔记 --- 如何理解数据中台
中台怎么出现的?很多互联网公司都在搭建一层新的架构,叫“中台”,中间的中,平台的台。首先,简单介绍一下“中台”这个概念流行起来的背景。在国内,中台最早是由阿里巴巴提出来的。在2015年年中的时候,马云去参观了一家芬兰的游戏公司,叫做Supercell。这家公司名字你也许不熟悉,但是他们开发的游戏你可能玩过,比如《部落冲突》。这家公司一年光是利润就有15亿美金,不过员工人数非...转载 2019-10-12 11:14:35 · 719 阅读 · 0 评论 -
Spark与Hadoop比较
Spark是一个计算框架,而Hadoop中包含计算框架MR和分布式文件存储系统HDFS以及资源调度系统YARN。Hadoop还包括在其生态系统上的其他系统,如HBase、Hive等。1、spark与Hadoop的联系1)spark继承HadoopSpark 紧密集成 Hadoop 生态系统里的许多工具。它能读写 MapReduce 支持的所有数据格式,可以与 Hadoop 上的常用数...转载 2018-10-17 16:30:41 · 473 阅读 · 0 评论 -
java及大数据相关面试博客
hive面试:https://blog.csdn.net/aaaaajiboke/article/details/82717515java相关的面试java练习https://blog.csdn.net/aaaaajiboke/article/details/82927929大数据面试;https://blog.csdn.net/aaaaajiboke/article/deta...原创 2018-10-31 15:30:47 · 369 阅读 · 0 评论 -
大数据产品功能介绍
Hadoop实现了一个分布式文件系统,(Hadoop Distributed FileSystem)简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(stre...原创 2019-06-03 08:50:37 · 2176 阅读 · 0 评论 -
CDH集群部署
https://blog.csdn.net/jenrey/article/details/80802052原创 2019-08-08 09:53:30 · 355 阅读 · 0 评论 -
Kibana Nginx授权管理
1.安装nginx编译用的依赖包yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel2.下载nginx并解压安装包mkdir nginxcd nginxwget http://nginx.org/download/nginx-1.5.9.tar.gztar -zxvf nginx-1.5.9.tar.gz...原创 2019-08-07 14:04:03 · 281 阅读 · 0 评论 -
全量手机号各号段数量
号段数量 号段 号段运营归属10000 130 中国联通10000 131 中国联通9980 132 中国联通9880 133 中国电信980 134 中国中国电信89...原创 2019-09-10 09:50:33 · 1715 阅读 · 0 评论 -
大数据面试基础
https://www.cnblogs.com/cxzdy/category/776252.html原创 2019-09-26 14:02:30 · 130 阅读 · 0 评论 -
大数据框架对比
Hadoop、Spark等5种大数据框架对比,你的项目该用哪种? 本文将介绍并对比5种主流大数据框架,助你更深层次了解这些框架,从而在项目中更好地使用它们。 本文首发于InfoQ垂直号「大数据杂谈」,转载已获授权。 简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的...转载 2018-10-17 16:20:51 · 438 阅读 · 0 评论 -
Hadoop配置参数详情
Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参数功能及作用,本文所使用的Hadoop版本为2.6.4。etc/hadoop/core-site.xml参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host:port/ io.file.buffer.size 131...转载 2018-08-14 15:08:45 · 316 阅读 · 0 评论 -
Google大数据三大论文-中文版
http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable中文版_1.0.pdf http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System中文版_1.0.pdf http://blog.bizcloudsoft.com/wp-content...转载 2018-08-14 17:36:54 · 2141 阅读 · 0 评论 -
spark开发环境搭建(基于idea 和maven)
使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala那么使用idea 新建maven 管理的spark 项目有以下几步:scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你的”Hello World!” 导入spark依赖 编写sprak代码 打包在spark上...转载 2018-08-13 19:43:04 · 299 阅读 · 0 评论 -
centos7集群时间同步和时间修改
时间修改:date -s "2018-08-18 15:14:23"集群时间同步:机器:10.18.13.3 master 10.18.13.2 slave2 10.18.13.1 slave1root用户每台机器上执行: yum install -y ntp启动服务:安装完毕之后,启动服务#systemctl start ntpd.service设置开机自启动...原创 2018-08-21 15:54:40 · 2410 阅读 · 0 评论 -
linux6和7主机名的修改及防火墙的关闭
linux6系统修改主机名:用户必须为root或者具有root权限ifconfig或者ip addr查看ip1 [root@localhost ~]# vi /etc/sysconfig/network内容修改如下:NETWORKING=yesHOSTNAME=mastercentos7的主机名称修改:hostnamectl set-hostname 主机名2 [ro...原创 2018-08-21 16:01:22 · 405 阅读 · 0 评论 -
批量写数据到hbase导致内存溢出
内存不够,需修改hadoop及hbase参数mapred-site.xml<configuration>增加以下内容<property> <name>mapred.task.java.opts</name> <value>-Xmx4096m</value></property>&原创 2018-09-04 14:30:07 · 1224 阅读 · 0 评论 -
spark rdd宽窄依赖及执行过程
术语解释 窄依赖和宽依赖 RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。窄依赖父RDD和子RDD partition之间的数据关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。宽依赖父RDD与子RDD partit...转载 2018-09-14 14:51:22 · 494 阅读 · 0 评论 -
kettle连接hive相关问题
kettle 连接hive导数:先将hive/lib里面的关于hive的jar包全部导入到kettle/中hdp25目录中的Lib库里配置修改:plugin.properties属性值修改:# here see the config.properties file in that configuration's directory.active.hadoop.configuration=...原创 2018-10-11 20:33:56 · 849 阅读 · 0 评论 -
zk启动失败问题解决
[root@slave2 ~]# cd /home/data/appcom/zookeeper-3.4.10/bin/[root@slave2 bin]# ./zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /home/data/appcom/zookeeper-3.4.10/bin/../conf/zoo.cfg...原创 2018-10-11 20:35:44 · 2561 阅读 · 0 评论 -
kafka学习
kafka概念介绍: kafka是一个分布式发布-订阅消息系统,最初由LinkedIn公司开发,目前成为Apache的项目之一。能够提供普通的消息系统功能。是一个分布式的,可划分的,冗余备份的持久性日志服务,他提供了普通消息系统功能外还有以下特点。特点:1:分布式的、可复制的、可发布、订阅的消息系统。2:灵活性、拓展性、可恢复性、降低进程间的耦合度。3:数据按原创 2017-04-05 09:40:53 · 544 阅读 · 0 评论