自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 资源 (15)
  • 论坛 (2)
  • 问答 (1)
  • 收藏
  • 关注

原创 Spark DataFrame:value $ is not a member of StringContext df.select($"name", $"age" + 1).show()

错误信息Error:(29, 15) value $ is not a member of StringContext df.select($"name", $"age" + 1).show()解决方案··· //在创建SparkSession之后 import sparkSession.implicits._ ···...

2018-08-31 14:13:42 2477

原创 Can't connect to X11 window server using 'localhost:12.0' as the valu e of the DISPLAY variable.

错误描述at sun.awt.X11GraphicsEnvironment.initDisplay(Native Method) at sun.awt.X11GraphicsEnvironment.access$200(X11GraphicsEnvironment.java:65) at sun.awt.X11GraphicsEnvironment$1.run(...

2018-08-23 16:24:12 1292

原创 oozie on spark2:Failing Oozie Launcher, main() threw exception, null

问题详情iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, nulljava.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBu...

2018-08-22 09:12:22 566

原创 oozie on spark2:java.lang.IllegalArgumentException: Attempt to add jar multiple times to the distrib

错误信息详情2018-08-20 19:55:03,088 [uber-SubtaskRunner] ERROR org.apache.spark.SparkContext - Error initializing SparkContext.java.lang.IllegalArgumentException: Attempt to add (hdfs://hdh116:8020/us...

2018-08-22 09:07:12 1046

转载 oozie on spark2:基于Yarn运行Spark2时出现的错误说明(scala does not exist; make sure Spark is built.)

Oozie adds all of the jars in the Oozie Spark sharelib to the DistributedCache such that all jars will be present in the current working directory of the YARN container (as well as in the container cl...

2018-08-21 18:41:34 2409 1

原创 oozie on spark2:发布oozie任务时出现错误

错误信息variable [spark] cannot be resolved解决方案将变量名中不包含特殊字符

2018-08-21 09:38:25 422

原创 oozie on spark2:部署Oozie4.3.0出现部署错误

错误详情Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Filter at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java...

2018-08-21 09:36:52 146

原创 oozie on spark2:运行Oozie中自带的Yarn出现问题

运行Oozie中自带的Yarn出现问题:Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support.Run with --help for usage help or --verbose for debug outputIntercepting...

2018-08-21 09:35:41 889

原创 ZK-节点信息说明

节点存储内容说明null(节点中保存的数据信息)cZxid = 0x100000052(创建节点的事务ID)ctime = Fri Jun 22 17:50:30 CST 2018(节点创建时间)mZxid = 0x100000052(最后一次更新节点的事务ID)mtime = Fri Jun 22 17:50:30 CST 2018(节点更新时间)pZxid = 0x10000...

2018-08-11 14:20:14 976

原创 HBase-错误记录

1. windows远程开发HBase提示:java.net.UnknownHostException: unknown host: master解决方案:C:\WINDOWS\system32\drivers\etc\hosts中添加IP1 hostName1IP2 hostName2IP3 hostName32. 在将HBase添加协处理器时,出现错误ERR...

2018-08-11 14:18:20 3837 2

原创 HBase-基础命令总结

1. HBase获取多行数据get 表名,行键,{COLUMN=>"列族名:列名",VERSIONS=>版本数}2. HBase修改VERSIONSalter '表名',NAME=>'',VERSION=>数字版本3. HBase删除一个列族//表下线disable 表明//删除列族alter '表名',{NAME=>'列...

2018-08-11 14:15:58 139

原创 ES-基础知识总结

学习目标熟悉ES中index,shard,type,document,倒排索引等概念以及Client API。作用高度可扩展的开源全文搜索与分析引擎快速地、近实时的对大数据进行存储、搜索与分析用来支撑有负责的数据搜索需求的企业级应用一个分布式可扩展的实时搜索和分析引擎一切的设计都是为了提高搜索的性能(为了提高搜索能力,在插入或者更新方面可能比较慢)特点分布...

2018-08-11 14:14:03 1857

原创 ES-基础命令总结

1. 创建索引POST http://localhost:9200/movies创建成功提示:{ "acknowledged": true}2. 查看索引的状态//浏览器中执行http://ds0:9200/_cat/indices?v3. 添加索引信息(更新索引信息=》相同的索引,相同的类型,相同的ID)PUT http://ds0:...

2018-08-11 14:12:20 2764

原创 ES-倒排索引

来源来源于需要根据属性的值来查找响应的记录该种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址是由属性值来确定记录的位置倒排索引是实现单词到文档映射关系的最佳实现方式和最有效的索引结构包含内容单词词典 : 文档中的关键词组成的词典(用户可能通过这些个词典查询)倒排文件 : 倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息,每条...

2018-08-11 14:10:35 1098

jdk1.6rpm安装包(linux)

安装CM过程提示出 jdk x86_64 2000:1.6.0_31-fcs 没有安装源。

2018-09-09

protoc2.5版本,直接放在system32下即可

保证可以运行,将文件解压后,直接放置在C盘下的System32下即可运行,或者对环境变量进行配置。

2018-07-19

Navicat Premium 12 破解补丁

Navicat Premium 12 破解补丁,可以将其中的文件拷贝至 Navicat Premium安装文件夹即可!

2018-04-15

hadoop-2.7.0-winutils.zip

解决运行Spark、Hadoop程序出现:Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;问题

2018-04-11

Maven实战.pdf

Maven实战.pdf

2017-06-19

大话数据结构 .mobi

大话数据结构 .mobi

2017-06-19

IntelliJ IDEA使用教程

IntelliJ IDEA 使用教程 - v1.0.pdf

2017-06-19

Hadoop权威指南(中文版-带目录索引).pdf

Hadoop权威指南(中文版-带目录索引).pdf

2017-06-19

学习VI和VIM编辑器第7版中文

学习VI和VIM编辑器第7版中文

2017-06-19

Sqoop-sqlserver-hdfs.rar

其中包含Sqoop将SqlServer文件导入HDFS文件的所有jar包

2016-11-05

Java设计模式之策略模式

Java设计模式之策略模式的详细描述

2016-10-29

Hadoop的Codec(LZO代码库)

LZO代码库拥有GPL许可,因而可能没有包含在Apache的发型版本中

2016-10-28

zookeeper管理员指南(入门宝典)

大数据入门必备书籍

2016-09-13

zookeeper管理员指南

是入门Zookeeper管理员的必备资料

2016-09-13

hive编程指南 PDF 中文高清版

为Hive编程指南PDF中文高清版

2016-09-13

使用遗传算法解决八数码问题的Java实现

发表于 2017-05-21 最后回复 2018-04-29

falcon调用Hive脚本问题

发表于 2016-09-09 最后回复 2017-05-21

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除