自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(138)
  • 资源 (15)
  • 论坛 (2)
  • 问答 (1)

原创 oozie-远程debug参数说明

早期版本4.3.0以及之前版本1. oozie调试Spark应用程序在SparkOpts中添加:sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"2. oozie调试Mapper进行调度相应的Action...

2018-10-27 10:28:11 525

原创 hadoop生态系统的详细介绍

前提日常喜欢看一些微信分享的好文,总结下来,可以作为过滤器吧(节约更多人的时间!),在这里引用的是别人的文章!对原文的作者表示感谢!确实写的很好!hadoop生态系统的详细介绍简介Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。今天我们来详细介绍下hadoop的生态系统。Hadoop生态系

2017-05-16 23:31:02 12388

原创 Java中violate关键字详解(2)?真正了解violate

一、Java内存模型想要理解volatile为什么能确保可见性,就要先理解Java中的内存模型是什么样的。Java内存模型规定了所有的变量都存储在主内存中。每条线程中还有自己的工作内存,线程的工作内存中保存了被该线程所使用到的变量(这些变量是从主内存中拷贝而来)。线程对变量的所有操作(读取,赋值)都必须在工作内存中进行。不同线程之间也无法直接访问对方工作内存中的变量,线程间变量值的传递均需要通过主内

2017-04-11 09:03:30 12770 8

原创 Falcon(一)——数据集管理和数据处理平台

目的:使终端用户在面向Hadoop集群进行数据集处理和数据集管理更加容易。原因在Hadoop环境中,在各种数据集和处理关系之间建立关系在集群中进行数据集管理例如数据集声明周期、数据集复制等抓取数据集或者处理过程的血统信息。允许本地数据和其他任何地方的集群进行数据整合。与metastore和catalog进行整合,例如:Hive和HcatalogEasy to onboard new wo

2017-02-26 23:08:27 5143 2

原创 Cloudera Manager 安装提示: jdk x86_64 2000:1.6.0_31-fcs 没有安装源

手动安装对应版本的jdk1.6即可! 下载jdk1.6地址: 下载地址

2018-09-09 00:39:37 253

原创 Cloudera Manager 安装提示: 卡在正在获取安装锁..

解决方案rm -rf /tmp/scm_prepare_node.*rm -rf /tmp/.scm_prepare_node.lock

2018-09-09 00:31:14 1301

原创 Clouder-Manager安装 JDBC driver cannot be found. Unable to find the JDBC database jar on host : slave1

解决方案 1. 将 mysql-connector-java-5.1.30-bin.jar放置在/usr/share/java 2. 务必将包重命名mysql-connector-java.jar

2018-09-04 23:44:41 1239

原创 Linux:解决虚拟机可以ping通,但是不能SSH远程登录的问题

问题分析首先,Linux可以互相ping通,说明Linux的网络配置没有问题,那么就专注解决SSH的问题。可能原因Linux防火墙没有关闭,导致SSH连接失败(关闭防火墙)LinuxSSH服务没有启动,查看是否启动SSH服务SSH服务启动后,仍然连接不上,需要确认是否是SSH服务得端口问题,核对连接端口( /etc/ssh/sshd_config)...

2018-09-04 12:02:02 9917

原创 Hadoop Yarn RM启动失败提示:transport error 202: bind failed:地址已占用

问题原因集群开启了远程Debug,当这个端口被占用时,出现此问题导致RM启动失败主要启动参数transport=dt_socket,server=y,suspend=n,address=*

2018-09-04 11:54:37 549

原创 CDH 版本下载库

CDH 版本下载库https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_57.html

2018-09-03 15:43:21 1794

原创 Spark DataFrame:value $ is not a member of StringContext df.select($"name", $"age" + 1).show()

错误信息Error:(29, 15) value $ is not a member of StringContext df.select($"name", $"age" + 1).show()解决方案··· //在创建SparkSession之后 import sparkSession.implicits._ ···...

2018-08-31 14:13:42 2363

原创 Can't connect to X11 window server using 'localhost:12.0' as the valu e of the DISPLAY variable.

错误描述at sun.awt.X11GraphicsEnvironment.initDisplay(Native Method) at sun.awt.X11GraphicsEnvironment.access$200(X11GraphicsEnvironment.java:65) at sun.awt.X11GraphicsEnvironment$1.run(...

2018-08-23 16:24:12 1231

原创 oozie on spark2:Failing Oozie Launcher, main() threw exception, null

问题详情iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, nulljava.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBu...

2018-08-22 09:12:22 548

原创 oozie on spark2:java.lang.IllegalArgumentException: Attempt to add jar multiple times to the distrib

错误信息详情2018-08-20 19:55:03,088 [uber-SubtaskRunner] ERROR org.apache.spark.SparkContext - Error initializing SparkContext.java.lang.IllegalArgumentException: Attempt to add (hdfs://hdh116:8020/us...

2018-08-22 09:07:12 1005

转载 oozie on spark2:基于Yarn运行Spark2时出现的错误说明(scala does not exist; make sure Spark is built.)

Oozie adds all of the jars in the Oozie Spark sharelib to the DistributedCache such that all jars will be present in the current working directory of the YARN container (as well as in the container cl...

2018-08-21 18:41:34 2331 1

原创 oozie on spark2:发布oozie任务时出现错误

错误信息variable [spark] cannot be resolved解决方案将变量名中不包含特殊字符

2018-08-21 09:38:25 411

原创 oozie on spark2:部署Oozie4.3.0出现部署错误

错误详情Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Filter at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java...

2018-08-21 09:36:52 143

原创 oozie on spark2:运行Oozie中自带的Yarn出现问题

运行Oozie中自带的Yarn出现问题:Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support.Run with --help for usage help or --verbose for debug outputIntercepting...

2018-08-21 09:35:41 856

原创 ZK-节点信息说明

节点存储内容说明null(节点中保存的数据信息)cZxid = 0x100000052(创建节点的事务ID)ctime = Fri Jun 22 17:50:30 CST 2018(节点创建时间)mZxid = 0x100000052(最后一次更新节点的事务ID)mtime = Fri Jun 22 17:50:30 CST 2018(节点更新时间)pZxid = 0x10000...

2018-08-11 14:20:14 948

原创 HBase-错误记录

1. windows远程开发HBase提示:java.net.UnknownHostException: unknown host: master解决方案:C:\WINDOWS\system32\drivers\etc\hosts中添加IP1 hostName1IP2 hostName2IP3 hostName32. 在将HBase添加协处理器时,出现错误ERR...

2018-08-11 14:18:20 3553 2

原创 HBase-基础命令总结

1. HBase获取多行数据get 表名,行键,{COLUMN=>"列族名:列名",VERSIONS=>版本数}2. HBase修改VERSIONSalter '表名',NAME=>'',VERSION=>数字版本3. HBase删除一个列族//表下线disable 表明//删除列族alter '表名',{NAME=>'列...

2018-08-11 14:15:58 132

原创 ES-基础知识总结

学习目标熟悉ES中index,shard,type,document,倒排索引等概念以及Client API。作用高度可扩展的开源全文搜索与分析引擎快速地、近实时的对大数据进行存储、搜索与分析用来支撑有负责的数据搜索需求的企业级应用一个分布式可扩展的实时搜索和分析引擎一切的设计都是为了提高搜索的性能(为了提高搜索能力,在插入或者更新方面可能比较慢)特点分布...

2018-08-11 14:14:03 1608

原创 ES-基础命令总结

1. 创建索引POST http://localhost:9200/movies创建成功提示:{ "acknowledged": true}2. 查看索引的状态//浏览器中执行http://ds0:9200/_cat/indices?v3. 添加索引信息(更新索引信息=》相同的索引,相同的类型,相同的ID)PUT http://ds0:...

2018-08-11 14:12:20 2535

原创 ES-倒排索引

来源来源于需要根据属性的值来查找响应的记录该种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址是由属性值来确定记录的位置倒排索引是实现单词到文档映射关系的最佳实现方式和最有效的索引结构包含内容单词词典 : 文档中的关键词组成的词典(用户可能通过这些个词典查询)倒排文件 : 倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息,每条...

2018-08-11 14:10:35 1061

原创 Chart.js实现tooltip一直显示的问题记录

效果这是实现后的效果:版本在实现这个现实的过程中,Chart.Js的版本也比较重要,这里使用的版本是2.1.0,请务必确认版本,在更高的版本可能会有更好的方案。过程需要在创建的chart前加入: Chart.pluginService.register({ beforeRender: function (chart) { ...

2018-04-29 14:10:42 4295

原创 Spark:问题记录

把在做毕设的过程中将遇见的问题整理发出来,供大家一起学习!1问题详情:Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:C:/Users/dx/Desktop/HrtDisDetection/spark-warehouse at java.net.URI.check...

2018-04-11 19:40:42 467

原创 SpringBoot中启动HTTPS

如果你使用Spring Boot,并且想在内嵌tomcat中添加HTTPS,需要如下步骤: 1. 要有一个证书,买的或者自己生成的 2. 在Spring Boot中启动HTTPS这里作为演示,采用keytool生成,输入下面的命令,根据提示输入信息,获取SSL证书keytool -genkey -alias tomcat -storetype PKCS12 -keyalg RSA -key

2017-12-21 19:01:20 338

原创 MyBatis中order by排序无效的问题

在使用MyBatis解析xml进行排序的时候,遇见排序无效的问题!#将传入的数据都当成一个字符串,会对自动传入的数据加一个双引号。如:order by #{user_id},如果传入的值是111,那么解析成sql时的值为order by “111”, 如果传入的值是id,则解析成的sql为order by “id”。$将传入的数据直接显示生成在sql中。如:order by ${user_id}

2017-12-21 19:00:24 3838

原创 HTTPS介入码云保存账号密码的方式

https 方式每次都要输入密码,按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受 https 带来的极速:设置记住密码(默认15分钟):git config --global credential.helper cache如果想自己设置时间,可以这样做:git config credential.helper 'cache --timeout=3600'这样就设置一个小时之后失效

2017-12-21 18:57:10 240

原创 IDEA搭建MyBatis项目之异常:java.io.IOException: Could not find resource mapping/******.xml

错误原因IDEA的Maven是不会编译src的java目录的xml文件,所以在Mybatis的配置文件中找不到xml文件!解决方案将下列代码添加到Maven文件中:<build> <resources> <resource> <directory>src/main/java</directory> <includes>

2017-12-21 18:57:07 1128

原创 HTTPS介入码云保存账号密码的方式

https 方式每次都要输入密码,按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受 https 带来的极速:设置记住密码(默认15分钟):git config --global credential.helper cache如果想自己设置时间,可以这样做:git config credential.helper 'cache --timeout=3600'这样就设置一个小时之后失效

2017-12-21 18:56:52 211

原创 HTTPS介入码云保存账号密码的方式

https 方式每次都要输入密码,按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受 https 带来的极速:设置记住密码(默认15分钟):git config --global credential.helper cache如果想自己设置时间,可以这样做:git config credential.helper 'cache --timeout=3600'这样就设置一个小时之后失效

2017-12-21 18:55:34 643

原创 Spring Boot忽略https证书:No subject alternative names present

在启动时候调用:disableSslVerification();具体实现如下:private static void disableSslVerification() { try { // Create a trust manager that does not validate certificate chains T

2017-12-21 18:52:28 4664

原创 git总结

git rebase冲突解决方案在rebase过程中,也许会出现冲突,在这种情况下,git会停止rebase并会让你去解决冲突;在解决完冲突后,用“git -add”命令去更新这些内容的索引,然后,无需执行git-commit:git add .git rebase continuegit rebase原理git checkout devgit rebase -i master这些命令会

2017-12-21 18:51:30 100

原创 关于NavicatPremium导入CSV文件了乱码

在做数据对接导入的时候使用的数据是CSV格式的文件,一开始用Excel打开时发现格式就不对,后来发现只要用Excel打开,就会破坏里面的格式。然后想先用NaviCat导入CSV再转成Excel格式为文件以后再对数据调整后导入表中发现导入以后都是乱码。 查资料发现必须要使用这个编码格式才可以:10008(MAC-Simplified Chinese GB 2312)

2017-12-21 18:50:31 1461

转载 Guns V3.0简介

Guns V3.0介绍Guns基于Spring Boot,致力于做更简洁的后台管理系统,完美整合springmvc + shiro + mybatis-plus + beetl!Guns项目代码简洁,注释丰富,上手容易,同时Guns包含许多基础模块(用户管理,角色管理,部门管理,字典管理等10个模块),可以直接作为一个后台管理系统的脚手架!Guns v3.0新增REST API服务,提供对接服务端接

2017-10-24 20:34:05 17052 2

原创 图解集合:ConcurrentHashMap

ConcurrentHashMap为什么高效?与Hashtable不同的是,ConcurrentHashMap使用的是分段锁技术,将ConcurrentHashMap容器的数据分段存储,每一段数据分配一个Segment,当线程占用一个Segment时,其他线程可以访问其他段的数据.概念Segment : 可重入锁,继承ReentrantLockHashEntry : 主要存储键值对,可以叫节点

2017-09-12 09:49:36 1999 1

原创 设计模式之单例模式(线程安全)

单例模式可以说单例模式是所有设计模式中最简单的一种。单例模式就是说系统中对于某类的只能有一个对象,不可能出来第二个。单例模式也是23中设计模式中在面试时少数几个会要求写代码的模式之一。主要考察的是多线程下面单例模式的线程安全性问题。多线程安全单例模式实例一(不使用同步锁)/** * Created by dx on 2017/8/24. */public class Singleton {

2017-08-24 16:33:16 189

原创 多种排序总结

8种排序之间的关系选择排序原理(1)基本思想在要排序的一组数中,选出最小的一个数与第一个位置的数交换; 然后在剩下的数当中再找最小的与第二个位置的数交换,如此循环到倒数第二个数和最后一个数比较为止。(2)实例实现public class Sort { public static void main(String[] args) { int [] value = {12,34

2017-08-24 14:55:30 207

原创 017年校招全国统一模拟笔试(第三场)编程题集合

变换次数牛牛想对一个数做若干次变换,直到这个数只剩下一位数字。 变换的规则是:将这个数变成 所有位数上的数字的乘积。比如285经过一次变换后转化成2*8*5=80. 问题是,要做多少次变换,使得这个数变成个位数。 输入描述:输入一个整数。小于等于2,000,000,000。输出描述:输出一个整数,表示变换次数。输入例子1:285输出例子1:2结果您的代码已保存答案正确:恭喜!您提交的程序通过了

2017-08-22 21:44:56 257

jdk1.6rpm安装包(linux)

安装CM过程提示出 jdk x86_64 2000:1.6.0_31-fcs 没有安装源。

2018-09-09

protoc2.5版本,直接放在system32下即可

保证可以运行,将文件解压后,直接放置在C盘下的System32下即可运行,或者对环境变量进行配置。

2018-07-19

Navicat Premium 12 破解补丁

Navicat Premium 12 破解补丁,可以将其中的文件拷贝至 Navicat Premium安装文件夹即可!

2018-04-15

hadoop-2.7.0-winutils.zip

解决运行Spark、Hadoop程序出现:Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;问题

2018-04-11

Maven实战.pdf

Maven实战.pdf

2017-06-19

大话数据结构 .mobi

大话数据结构 .mobi

2017-06-19

IntelliJ IDEA使用教程

IntelliJ IDEA 使用教程 - v1.0.pdf

2017-06-19

Hadoop权威指南(中文版-带目录索引).pdf

Hadoop权威指南(中文版-带目录索引).pdf

2017-06-19

学习VI和VIM编辑器第7版中文

学习VI和VIM编辑器第7版中文

2017-06-19

Sqoop-sqlserver-hdfs.rar

其中包含Sqoop将SqlServer文件导入HDFS文件的所有jar包

2016-11-05

Java设计模式之策略模式

Java设计模式之策略模式的详细描述

2016-10-29

Hadoop的Codec(LZO代码库)

LZO代码库拥有GPL许可,因而可能没有包含在Apache的发型版本中

2016-10-28

zookeeper管理员指南(入门宝典)

大数据入门必备书籍

2016-09-13

zookeeper管理员指南

是入门Zookeeper管理员的必备资料

2016-09-13

hive编程指南 PDF 中文高清版

为Hive编程指南PDF中文高清版

2016-09-13

使用遗传算法解决八数码问题的Java实现

发表于 2017-05-21 最后回复 2018-04-29

falcon调用Hive脚本问题

发表于 2016-09-09 最后回复 2017-05-21

提示
确定要删除当前文章?
取消 删除