自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(83)
  • 资源 (5)
  • 收藏
  • 关注

原创 使用Vagrant up安装box下载太慢解决办法

想下载一个ubuntu1804的box通过命令vagrant up后很慢很慢……很……慢于是想着能不能曲线救国,结果我找到了方法 ,参考:这里1.首先在运行vagrant up的界面里找到它给的下载链接,仔细找2.用IDM下载下来我下下来后名字很奇怪,于是自己改后缀名为.box,放到想放的地方,3.然后运行vagrant box add myubuntu18 E://VMbox//ubuntu1804.box4.看到success就成功了(忘了截图),这时候查看box list5

2020-10-10 12:57:51 244

原创 InvocationTargetException...: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

今天尝试Alluxio整合spark 运行时结果报错,如下Caused by: java.lang.reflect.InvocationTargetException: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at

2020-08-29 11:42:06 41

原创 新建springboot web子项目时自动创建到父src目录下且无src文件夹

之前重装了idea,以前一些配置没了,导致经常出些奇怪问题遇到的问题,父项目是maven项目,创建springboot子项目时自动会创建到父项目的src目录下,且子项目无src文件夹,如图:解决办法:在设置里面找到maven的runner设置,在右侧VM options添加archetypeCatalog=internal然后删掉原来有问题的子项目,然后重新创建即可...

2020-07-13 17:30:39 375

原创 解决Hbase shell里面退格删除键不好使的问题

声明:本文是针对的mobaxterm软件其他软件比如xshell、SecureCRT可看看这一篇文章:点击查看直接上办法Edit session找到 Terminal settings去掉backspace sends ^H 的√

2020-06-11 18:07:43 162

原创 IDEA遇到Internal error. Please refer to http://jb. gg/ide/critical-startup-errors的解决办法

今天打算把原本的2018的idea升个级,安一个2020 的idea试试各种新插件,但遇到了很多问题,比如安装后打不开,好不容易打开了然后报错Internal error. Please refer to http://jb. gg/ide/critical-startup-errors。。。Caused by: java. lang. ClasslotFoundException: com...

2020-06-11 09:30:04 11274 3

原创 已解决:spark报错SecurityException:class javax.servlet.FilterRegistration冲突

今天写代码时报错java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package翻译一下:java.lang.SecurityException:类“ javax.servlet.FilterRegistration”的签名者信息与同一包中其他类的

2020-06-10 20:53:40 122

原创 亲测解决 UnsatisfiedDependencyException/NoSuchBeanDefinitionException错误

今天做springboot单元测试,运行起来结果报错启动失败,错误代码如下:java.lang.IllegalStateException: Failed to load ApplicationContext..........Caused by: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name “remoteShellExecutor”.......Ca

2020-06-02 15:14:45 826

原创 亲测解决:Ubuntu18.04安装Melodic Ros遇到的困难及sudo rosdep init error

Ubuntu版本:18.04对应的Ros版本:Melodic参考:https://blog.csdn.net/haiyinshushe/article/details/84256137https://blog.csdn.net/zhangrelay/article/details/80241758https://blog.csdn.net/u013468614/article/details/102917569https://zhuanlan.zhihu.com/p/77483614按照官网给

2020-05-21 09:51:18 469

原创 在IDEA用java运行DataX

怎么在idea用java运行DataX?搞了好几天各方参考终于弄出来了1.从GitHub下载datax源码2.等待依赖的下载,完成后会有一部分依赖没下载完回报红,可以先不管,然后在pom文件中去掉不需要的reader和writer的 module3.在下面的Terminal中输入命令mvn -U clean package assembly:assembly -Dmaven.test.skip=true等待打包完成会在项目下生成target\datax\datax目录,这就是你的da

2020-05-11 15:47:16 931

原创 GItHub频繁验证邮箱?Please verify your email address????

GitHub为了防止垃圾信息,对国内的某些邮箱,比如QQ邮箱,就会经常Please verify your email address。解决方法是注册一个国外邮箱,比如换一个微软邮箱或谷歌邮箱。在GitHub邮箱设置 中增加新邮箱地址,然后删除掉原来注册的国内邮箱。最后记得重新设置Git新邮箱地址,在你的Gitbash运行git config --global user.email "你的...

2020-04-28 16:13:12 4771

原创 Phoenix与hbase的表映射

文章目录phoenix映射HBase视图映射表映射总结:phoenix映射HBase默认情况下,直接在hbase中创建的表,通过phoenix是查看不到的。如果要在phoenix中操作由hbase创建的表,则需要在phoenix中进行表的映射。映射方式有两种:视图映射和表映射为了测试,我们先在Hbase中创建表testtest有两个列簇name、company.视图映射Pho...

2020-04-27 11:02:15 413

原创 phoenix初探,与hbase结合

文章目录Phoenix是什么 ?特点作用安装与部署基本命令操作Phoenix是什么 ?官方说:“We put the SQL back to NoSQL”也就是说,Phoenix是对NoSQL提供SQL支持的工具。当然对Hbase肯定也支持,它可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。特点容易集成:如对Spark,Hive,Pig,...

2020-04-27 09:54:41 117

原创 谷歌Chrome80,去TM的“请停用以开发者模式运行的扩展程序”

每次打开谷歌浏览器都会提示烦人的“请停用以开发者模式运行的扩展程序”绝望吗?我有办法,且简单的要命声明:我的谷歌浏览器是80版本了,所以可能不一定适合你的,先看看自己的版本,在设置的关于Chrome里面先下载这个补丁补丁地址然后解压,放到谷歌浏览器的安装位置完事...

2020-04-16 11:49:45 459

原创 苹果iPhone通过USB连接电脑共享网络只能访问一小部分网页的问题

2020-04-15 11:23:47 258

原创 Springboot自动生成**Mysql**表时,多生成hibernate_sequence

问题描述:用springboot自动生成Mysql表时,多生成了一张hibernate_sequence表,看着很不爽,注意我用的是MySQL,其他数据库不一样分析这个表的作用是用来记录其他表的主键。不删也没关系若删除该表,将报错could not read a hi value - you need to populate the table: hibernate_sequence,服...

2019-11-06 11:06:38 249

原创 初学springboot遇到的错误: ‘entityManagerFactoryBuilder’,javax/persistence/criteria/CriteriaDelete

今天跟着网上的教程学习springboot遇到了一些错误,在此做一些记录,方便以后有同样的问题的朋友能找到办法,但是可能不全对,仅供参考,遇到的部分关键错误如下org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'entityManagerFactory' ...

2019-11-06 10:53:18 625

原创 真理

人一旦堕落,哪怕是短暂的几年,上帝就会以最快的速度,收走你的天赋和力量。

2019-10-24 23:26:31 65

原创 spark面试:RDD总结

这几天面试被问到了好几次RDD,感觉都没令面试官满意,下面做了一些简单总结,欢迎大家指出问题:可以从几个方面来回答,概念、源码层、容错性、缓存、分区等概念RDD,全称是弹性分布式数据集(Resilient Distributed Dataset),是spark底层的抽象概念,弹性主要体现在 :其数据默认是放在内存中,只有放不下了才会放到磁盘,并且每个task执行失败可以进行重新计算;分布...

2019-09-28 18:11:12 246 1

转载 kafka消费者两种分区分配策略

转自 https://blog.csdn.net/u012745028/article/details/85319774 kafka消费者如何分配分区以及分配分区策略和源码解释我们知道kafka的主题中数据数据是按照分区的概念来的,一个主题可能分配了多个分区,每个分区配置了复制系数,为了可用性,在多个broker中进行复制,一个分区在多个broker中选举出一个...

2019-04-18 18:16:37 3319

原创 解决Spark2.0之后,报错No implicits found for parameter evidence$6: Encoder

  当我们在使用spark1.6的时候,当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作,不会报错。但是升级之后会包一个错误,如下:  报错:No implicits found for parameter evidence$6: Encoder[Unit]      主要的错误原因为:   ******error: Unable to ...

2019-03-25 18:22:18 6991 5

原创 hadoop集群两个standby的解决办法

首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了如果都正常,配置ha 需要zookeeper,先要看看是不是zookeeper没有配置好的问题如果都正常,在hadoop安装目录执行sbin/hadoop-daemon.sh startzkfc,这句是启动zookeeper选举制度,然后执行bin/hdfs haadmin -transitionToActive...

2019-03-24 19:53:48 730

原创 解决idea登录码云托管connect报错问题

今天第一次尝试装码云插件遇到了一个问题Can’t login: Connect to 127.0.0.1:1080 (/127.0.0.1] failed: Connection refused: connect特别气人,在网上搜索好多都说是代理问题,但是我找不到那个gradle.properties最后打开了idea的设置发现:然后关掉了代理**就解决了问题!!!!!!!!*...

2019-03-07 11:12:23 1068

转载 JVM最强解析

原文: https://blog.csdn.net/xin93/article/details/80717936 1. 上帝视角【树看JVM】【图看JVM】2. 分而治之 2.1 堆区    构成:堆区由新生代和老年代组成,新生代中包含伊甸区(Eden)、幸存者区(survivor from 、survivor to)和老年代。    GC:当...

2019-02-28 20:54:22 93

转载 动态规划最强解析

原文: https://blog.csdn.net/u013309870/article/details/75193592前言最近在牛客网上做了几套公司的真题,发现有关动态规划(Dynamic Programming)算法的题目很多。相对于我来说,算法里面遇到的问题里面感觉最难的也就是动态规划(Dynamic Programming)算法了,于是花了好长时间,查找了相关的文献和资料准备彻底的...

2019-02-28 11:26:05 158

转载 (千万不要点)后端面经

作者:_XiaoTeng_链接:https://www.nowcoder.com/discuss/29890?type=2&order=0&pos=2&page=7来源:牛客网2017年5月份一个很偶然的机会,加了叶神的微信,还收到了祝福。一激动就承诺说写篇最详细的面经分享给大家,...

2019-02-25 22:11:18 588

转载 后端面经

一、计算机网络基础部分TCP报头格式UDP报头格式TCP/UDP区别(不仅是宏观上的,最好能根据各自的机制讲解清楚)HTTP状态码(最好结合使用场景,比如在缓存命中时使用哪个)HTTP协议(一些报头字段的作用,如cace-control、keep-alive)OSI协议、TCP/IP协议以及每层对应的协议。SESSION机制、cookie机制TCP三次握手、四次挥手(这个问题真...

2019-02-25 20:47:42 208

转载 十大经典排序算法最强总结(含JAVA代码实现)

十大经典排序算法最强总结(含JAVA代码实现) 最近几天在研究排序算法,看了很多博客,发现网上有的文章中对排序算法解释的并不是很透彻,而且有很多代码都是错误的,例如有的文章中在“桶排序”算法中对每个桶进行排序直接使用了Collection.sort()函数,这样虽然能达到效果,但对于算法研究来讲是不可以的。所以我根据这几天看的文章,整理了一个较为完整的排...

2019-02-22 15:24:50 288

转载 来一碗计算机网络基础知识

转自:https://blog.csdn.net/vip97yigang/article/details/78306837概述OSI分层(7层)物理层、数据链路层、网络层、运输层、会话层、表示层、应用层TCP/IP分层(4层)网络接口层、网络层、运输层、应用层五层协议(5层)物理层、数据链路层、网络层、运输层、应用层五层结构的概述应用层:通过应用进程间的交互来完成...

2019-02-18 19:48:28 110

转载 Java数据结构、算法面试题

转自https://blog.csdn.net/zyx520ytt/article/details/724662551.题目:输入一个正整数数组,把数组里所有数字拼接起来排成一个数,打印能拼接出的所有数字中最小的一个。例如输入数组{3,32,321},则打印出这三个数字能排成的最小数字为321323。代码:import java.util.ArrayList;import java.ut...

2019-02-17 20:45:56 2835

转载 计算机网络面试题

  找工作告一段落,期间经历了很多事情,也思考了许多问题,最后也收获了一些沉甸甸的东西 —— 成长和一些来自阿里、百度、京东(sp)、华为等厂子的Offer。好在一切又回到正轨,接下来要好好总结一番才不枉这段经历,遂将此过程中笔者的一些笔试/面试心得、干货发表出来,与众共享之。在此特别要感谢CSDN以及广大朋友的支持,我将坚持记录并分享自己所学、所想、所悟,央请大家不吝赐教,提出您宝贵的意见和建...

2019-02-17 20:01:52 615

原创 (秒懂)图解scala的foldleft和foldright

foldLeft:比如List(1,7,2,9).foldLeft(0)(_-_)其中0是初始值一般情况下对于foldLeft可以这么解决:0-1-7-2-9 = -19还可以画一个图(别吐槽):本栗子的操作就是_-_,也就是各元素相减,所以我们从底端开始就得到(((0-1)-7)-2)-9= -19foldRight骚微变一下初值List(1,7,2,9).foldRight...

2019-02-13 17:05:46 1661

转载 Math.round最简单理解,有栗子

做Java的面试题时遇到了以下这题,百度了一下Math.round()的修约规则,有的说是四舍五入,有的说是四舍六入,发现和我学分析化学时用的数字修约规则(四舍六入五成双)很像,所以验证一下; 原题:Math.round(11.5) 等于多少?Math.round(-11.5)等于多少? 作者给的解题方法如下: 答:Math.round(11....

2019-02-13 16:12:56 58

转载 RPC服务和HTTP服务

很长时间以来都没有怎么好好搞清楚RPC(即Remote Procedure Call,远程过程调用)和HTTP调用的区别,不都是写一个服务然后在客户端调用么?这里请允许我迷之一笑~Naive!本文简单地介绍一下两种形式的C/S架构,先说一下他们最本质的区别,就是RPC主要是基于TCP/IP协议的,而HTTP服务主要是基于HTTP协议的,我...

2019-01-09 15:23:37 57

原创 oozie运行时遇到的常见两种错误Main class exit code [1]及JA006:failed on connection exception

今天我在用oozie执行一个sqoop脚本时遇到了两个错误job和workflow都写好了,脚本是这样的:1.JA006:Call From hadoop01/192.168.137.77 to 0.0.0.0:10020 failed onconnection exception: java.net.ConnectException: Connection refused解决办法:...

2019-01-08 15:48:08 3661

原创 oozie 运行测试时遇到configuration is not specified解决办法

今天犯了一个很傻的错,在测试运行oozie的一个例子时,发现报错java.io.IOException: configuration is not specifiedat org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:794)at org.apache.oozie.cli.OozieCLI.jobCommand(Oo...

2019-01-02 09:54:09 1996

转载 Linux中VMware虚拟机增加磁盘空间的扩容操作

文章转自 https://www.cnblogs.com/matengfei123/p/7986259.html希望也对你有用 Linux中VMware虚拟机增加磁盘空间的扩容操作 VMwareware虚拟机安装的Red Hat Enterprise Linux系统剩余空间不足,造成软件无法正常安装。如果重新装一遍系统就需要重新配置好开发环境和软件的安装...

2019-01-01 12:29:36 90

转载 JAVA Calendar详解

(在文章的最后,将会介绍Date类,如果有兴趣,可以直接翻到最后去阅读)究竟什么是一个 Calendar 呢?中文的翻译就是日历,那我们立刻可以想到我们生活中有阳(公)历、阴(农)历之分。它们的区别在哪呢?比如有:月份的定义 - 阳`(公)历 一年12 个月,每个月的天数各不同;阴(农)历,每个月固定28天每周的第一天 - 阳(公)历星期日是第一天;阴(农)历,星期一是第一天实际上,在历...

2018-12-21 21:12:41 3349

转载 使用ToolRunner运行Hadoop程序基本原理分析

    为了简化命令行方式运行作业,Hadoop自带了一些辅助类。GenericOptionsParser是一个类,用来解释常用的Hadoop命令行选项,并根据需要,为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser,更方便的方式是:实现Tool接口,通过ToolRunner来运行应用程序,ToolRunner内部调用Gen...

2018-12-20 17:42:00 102

转载 flume详解

转自 http://www.cnblogs.com/zhangyinhua/p/7803486.html#_label0 Flume原理解析 阅读目录(Content)一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构  3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4....

2018-12-18 15:13:36 65

转载 java中静态相关问题

转自 http://www.cnblogs.com/chuijingjing/p/9452893.html Java 静态对象 static 什么是静态变量大家都知道,我们可以基于一个类创建多个该类的对象,每个对象都拥有自己的成员,互相独立。然而在某些时候,我们更希望该类所有的对象共享同一个成员。此时就是 static 大显身手的时候了!!Java 中被 static ...

2018-12-18 14:20:59 764

OneNote插件.rar

OneNote的好用插件,包括代码高亮,Gem for onenote ,以及Onetastic

2019-08-23

Google关闭停用开发者提示补丁.zip

每次启动谷歌浏览器都会有一个烦人的“请停用以开发者模式运行的扩展程序”提示,这个提示有多烦人,接触过的人都知道,启动的时候它不立即提示,等过了几秒钟等你打开某个网页开始执行某些操作时它突然弹出来干扰你的操作,真是苦不堪言!所以总想着如何把它给去掉,本人的谷歌是80+版本的,不保证都管用

2020-04-16

Spark大数据商业实战三部曲_内核解密_商业案例_性能调优完整版

由于文件太大做了云盘,完整的1.2G的Spark大数据商业实战三部曲_内核解密_商业案例_性能调优PDF,有目录版完整版,快来下载哦

2019-01-05

Spark大数据商业实战三部曲_内核解密_商业案例_性能调优

1.2个G的Spark大数据商业实战三部曲_内核解密_商业案例_性能调优PDF文档,找了好久 快来抢呀过几天就下架了,链接失效联系我

2019-01-05

谷歌插件——彩云小译

彩云小译,谷歌秒翻译,而且还把原来的英文保存,特别好

2018-08-05

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除