自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 资源 (9)
  • 收藏
  • 关注

原创 大数据精华帖

大数据帖子

2023-03-06 09:22:55 133

转载 WIN10打开资源管理器显示该文件没有与之关联的程序来执行该操作.请安装应用,请在“默认应用设置”..关联 —— 解决方案

win+R,输入regedit,分别在HKEY_CLASSES_ROOT\piffileHKEY_CLASSES_ROOT\InternetShortcutHKEY_CLASSES_ROOT\lnkfile中新建→字符串值,命名为IsShortcut如果需要除去小箭头用下面的命令新建一个文本文件,粘贴后另存为.bat文件,然后以管理员身份打开reg add “HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explore

2021-11-12 13:45:28 3155

原创 windows下安装spark报错 Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘

windows下安装sparkFailed to get database default, returning NoSuchObjectExceptionjava.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':新的改变功能快捷键合理的创建标题,有助于目录的生成windows 安装完spark执行spark-shell 报错如下:失败截图解决方法:再

2020-07-30 21:15:50 1265 1

转载 Spark on Yarn面试篇07

1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合使用的是hadoop内置的数据类型,比如longwritable、text等将键值对集合输入mapper进行业务处理过程,将其转换成需要的key-value在输出之后会进行一个partition分区操作,默认使用的是hashpartitioner...

2019-05-23 09:27:01 251

转载 Spark Core面试篇05

Spark Core面试篇051、scala中private 与 private[this] 修饰符的区别?1)private ,类私有的字段,Scala 会自动生成私有的 getter/setter 方法,通过对象实例可以调用如下面的 other.job;2)private[this],对象私有的字段,Scala 不生成 getter/setter 方法,所以只能在对象内部访问被修饰的字段...

2019-05-23 09:22:37 415

转载 Elasticsearch入门(三):Elasticsearch 7.0.0 集群搭建

版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89373246在上一篇文章Elasticsearch入门(二):Elasticsearch 安装 Head 插件中,我讲了如何安装 Node.js以及安装 elasticsearch-head 插件。本文呢,我将继续讲一讲,如何搭建 Elasti...

2019-04-24 15:59:17 1594

转载 Elasticsearch入门(二):Elasticsearch 安装 Head 插件

版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89362105在上一篇文章Elasticsearch入门(一):CentOS 7.6 安装ES 7.0.0中,我们讲了如何在CentOS 7.6环境下安装 Elasticsearch 7.0。下面,我将讲一讲,如何安装ES必备插件之——elasticsea...

2019-04-24 15:56:58 1411

转载 Elasticsearch入门(一):CentOS 7.6 安装ES 7.0.0

版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89341014 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_h...

2019-04-24 15:50:56 1451 3

转载 Spark算子汇总和理解(详细)

Spark算子汇总和理解(详细) Spark之所以比Hadoop灵活和强大,其中一个原因是Spark内置了许多有用的算子,也就是方法。通过对这些方法的组合,编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用。所以熟悉spark算子是spark编程的必修课。这篇文章是本人对于spark算子的汇总和理解。欢迎批评指正 :)combineByKey(creat...

2019-04-11 10:59:07 1087

转载 spark知识精简版

spark    UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。    1、Spark Streaming:支持高吞吐量、支持容错的实时流数据处理  ...

2019-04-09 10:59:05 234

转载 zookeeper介绍与详细分析

1,什么是zookeeperZookeeper是Google的Chubby一个开源的实现,是hadoop的分布式协调工作 用于名称服务、分组服务、配置信息等等。,它是一个轻量级分布式架构和api实现分布式管理。2,为什么要用到 zookeeper1)大部分分布式应用需要一个主控、...

2019-04-09 10:21:56 174

hadoop.zip

window下安装hadoop所需 hadoop.dll-and-winutils.exe,已打包,直接替换到hadoop/bin目录下

2020-07-30

kibana-7.0.0-linux-x86_64.tar.gz

kibana 展示 elasticsearch 的数据,非常优美的 UI,使用了这个,从此运维人员也能用上高大上的图表,实时定制分析数据,与 elasticsearch logstash 是开源日志界的三剑客,简称为 ELK,欢迎下载

2019-04-24

logstash-7.0.0.tar.gz

Logstash是一个开源的日志收集管理工具。一个日志采集工具,负责实时的采集日子,与 elasticsearch kibana 是开源日志界的三剑客,简称为 ELK,欢迎下载

2019-04-24

kibana-4.5.0-linux-x64.tar.gz

kibana 展示 elasticsearch 的数据,非常优美的 UI,使用了这个,从此运维人员也能用上高大上的图表,实时定制分析数据,与 elasticsearch logstash 是开源日志界的三剑客,简称为 ELK,欢迎下载

2018-12-10

logstash-2.3.1.tar.gz

Logstash是一个开源的日志收集管理工具。一个日志采集工具,负责实时的采集日子,与 elasticsearch kibana 是开源日志界的三剑客,简称为 ELK,欢迎下载

2018-12-10

zookeeper-3.4.5-cdh5.5.2.jar

大数据分布式应用程序协调服务zookeeper-3.4.5-cdh5.5.2.jar包,欢迎下载,亲测使用

2018-11-09

hbase-0.94.6.jar

大数据hbase入门学习,安装。hbase-0.94.6.jar包,欢迎下载

2018-11-09

hive-jdbc-1.2.1-standalone.jar

hive-jdbc-1.2.1-standalone.jar hive-jdbc驱动jar包,欢迎下载

2018-10-12

spark-assembly-1.6.1-hadoop2.6.0.jar

spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,

2018-06-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除