自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 JavaDStream转化为JavaPairRDD并对数据进行排序

package com.xxx.busi; import com.xxx.common.DBUtils; import com.xxx.common.JavaSparkSessionSingleton; import com.xxx.common.OffsetUtil; import org.a...

2020-05-07 17:46:20 144 0

原创 使用idea调试spark信息时,设置不打印INFO信息

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties,如下图所示: 2、然后在将文件中的log4j.rootCategory=INFO, ...

2020-05-07 17:42:10 154 0

原创 IDEA中出现:Warning:java: 源值1.5已过时, 将在未来所有发行版中删除

1、要解决这个警告需要设置3个地方,首先打开File->Project Structure中的Project,将SDK和language level都设置一致,如下图所示: 2、修改File->Project Structure中的Modules,选择Sources将langua...

2020-05-01 21:23:54 130 0

原创 kafka出现WARN - org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.handleCompletedMetadataR

1、当kafka接收数据时会出现如下警告: 2020-04-27 12:27:39,258 (kafka-coordinator-heartbeat-thread | flume) [WARN - org.apache.kafka.clients.NetworkClient$DefaultMe...

2020-04-27 16:26:53 466 0

原创 flume接收kafka消息过多导致的GC错误的解决办法

当flume接收kafka消息过多会导致如下错误: Exception in thread "PollableSourceRunner-KafkaSource-s1" java.lang.OutOfMemoryError: GC overhead limit exceede...

2020-04-22 22:01:43 193 0

原创 centos编译protobuf,并通过java使用序列化与反序列化

1、首先通过git来下载源码包,如下图所示:git clone https://github.com/protocolbuffers/protobuf.git 2、下载完成后如下图所示: 3、然后cd到protobuf目录执行:git submodule update --init -...

2020-04-20 23:26:52 205 0

原创 XCode13.3.1创建类时,默认带前缀

1、首先选择项目名称,然后在Class Prefix中输入前缀名称,如下图所示: 2、然后新建一个文件选择Cocoa Touch Class,选择Next,如下图所示: 3、此时就会默认出现一个前缀,如下图所示: 4、输入类名,如下图所示: 5、此时就会生成对应的文件以及类...

2020-04-01 20:06:21 37 0

原创 git上传代码到仓库

1、首先在git上创建一个仓库,如下图所示: 2、然后找到clone地址,如下图所示: 3、通过git clone克隆仓库,如下图所示: 4、克隆之后将代码文件拷贝到该目录,如下图所示: 5、拷贝之后再终端使用git add .命令添加到本地仓库中,如下图所示: ...

2020-03-16 13:52:48 52 0

原创 Xcode11将函数折叠、展开

1、打开XCode->Perferences...,如下图所示: 2、在打开的对话框中选择Text Editing将Code folding ribbon打上对勾即可。 3、此时代码就可以收缩了,如下图所示: ...

2020-03-16 10:24:10 136 0

转载 淘宝技术架构变迁

一、个人网站   2003 年 4 月 7 日,马云,在杭州,成立了一个神秘的组织。他叫来十位员工,要他们签了一份协议,这份协议要求他们立刻离开阿里巴巴,去做一个神秘的项目。这个项目要求绝对保密,老马戏称“连说梦话被老婆听到都不行,谁要是透漏出去,我将追杀到天涯海角”。这份协议是英文版的,匆忙之...

2020-03-01 18:14:23 909 0

原创 通过mac电脑将macos系统的dmg镜像转换为iso文件,供VMware安装mac系统

1、首先下载mac系统,可以在mac系统的app store商店上下载,下载连接为: 链接:https://pan.baidu.com/s/1BGQ-lM1rt77NEzo9jlItlg 提取码:mvg8 该系统是macOS Catalina 10.15.2版本的 2、将下载好的dmg文件拷...

2020-02-29 23:40:00 1394 2

转载 phpstorm调试环境XDebug搭建

Xdebug安装对应版本与配置 Xdebug安装地址https://xdebug.org/download.php,进入下载页面后点击custom installation instructions,可以找到适合的Xdebug版本。 如果你点击了custom installation ...

2020-02-19 19:07:11 92 0

转载 brew安装程序过慢,替换阿里巴巴的镜像

1. 替换 / 还原 brew.git 仓库地址 替换成阿里巴巴的 brew.git 仓库地址: cd "$(brew --repo)" git remote set-url origin https://mirrors.aliyun.com/homebrew/br...

2020-02-17 17:51:59 190 0

原创 PHP报错:call to undefined function curl_init() window

1、首先在php.ini文件中将extension=php_curl.dll注释去掉,如下图所示: 2、配置ext目录,需要绝对路径,extension_dir = "D:/InstallFile/php-5.6.9-Win32-VC11-x64/ext",如下图所示: ...

2020-02-16 21:50:23 112 0

原创 spark-streaming与flume整合

一、以push方式接收flume发送过来的数据(也就是flume客户端主动向spark streaming发送数据) 1、首先配置pom.xml文件,文件内容如下: <?xml version="1.0" encoding="UTF-8"?>...

2020-02-06 14:55:52 34 0

原创 spring-boot+spark+spark-submit提交时出现compatible version of com.google.gson.GsonBuilder或javax.validatio

出现如下错误时 20/01/30 01:40:14 ERROR [localhost].[/]: Failed to destroy the filter named [Tomcat WebSocket (JSR356) Filter] of type [org.apache.tomcat.w...

2020-01-30 01:53:27 186 0

原创 spark-sql中的java版本使用sum等内置函数方法

一定要引入import static org.apache.spark.sql.functions.*;,也就是在import加上static关键字才能被引入,如下图所示: 如下图函数scala和java版本的区别:

2020-01-28 15:56:42 291 0

原创 php5开启gd库,在开启后仍然没有开启的问题解决方法

1、将extension=php_gd2.dll前边的分号去掉。 2、修改ext目录,必须要绝对路径才行,如下图所示:

2020-01-07 15:59:31 191 0

原创 jdbc对mysql数据库通过批量(executeBatch)执行存储过程来插入数据(可以实现如果数据存在则更新,不存在则插入的功能)

1、首先在mysql中创建表,sql语句如下: DROP TABLE IF EXISTS `student`; CREATE TABLE `student` ( `name` varchar(255) COLLATE utf8_bin DEFAULT NULL, `age` int(1...

2020-01-03 15:39:52 115 0

原创 启动hive可以正常启动,但是创建表,显示表都出现错误FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveExceptio

1、当创建表示出现错误信息如下: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/src/apache-hive-2.3.6-bin/lib/log...

2020-01-02 14:33:56 385 0

原创 Spark SQL自定义函数UDF、UDAF聚合函数以及开窗函数的使用

一、UDF的使用 1、Spark SQL自定义函数就是可以通过scala写一个类,然后在SparkSession上注册一个函数并对应这个类,然后在SQL语句中就可以使用该函数了,首先定义UDF函数,那么创建一个SqlUdf类,并且继承UDF1或UDF2等等,UDF后边的数字表示了当调用函数时会传...

2020-01-02 14:18:53 239 0

原创 Spark-SQL读取mysql数据

1、首先创建表student,字段有name、age,然后插入数据,如下图所示: 2、代码如下: import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object SparkReadMys...

2020-01-01 15:34:54 392 0

原创 在pom.xml添加scala-library包,使maven工程项目支持scala支持,不用在ide中进行配置添加scala库。

1、在pom.xml添加如下内容: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...

2020-01-01 13:48:19 694 0

原创 scala中使用"""字符串,并在字符串中使用变量

如下代码所示: object AppScalaTest { def main(args:Array[String]):Unit={ val age=20 val str=s"""{"ssss":1,"arr&quo...

2020-01-01 13:41:33 374 0

原创 通过yarn提交任务出现Failed while trying to construct the redirect url to the log server. Log Server url may

1、在通过yarn-client模式提交任务时,打开http://master:8088/网页出现如下错误: Failed while trying to construct the redirect url to the log server. Log Server url may not ...

2019-12-31 23:13:18 815 0

原创 spark提交任务参数设置问题

1、当--executor-cores设置超过cpu的个数,比如你一共有4个,而你设置了5个,则会出现如下问题,意思是没有可用的资源,由于一共有4个cpu而你设置5个,导致一直请求第5个资源而得不到,因此就会提示如下信息: 19/12/31 18:58:40 INFO scheduler.Ta...

2019-12-31 22:10:48 126 0

原创 scala中可变容器与不可变容器

1、在scala中可变容器是放置在scala.collection.mutable包中的,而不可变容器是放在scala.collection.immutable包中的(也就是scala默认的) 2、如果都是使用val进行声明的情况下:scala.collection.mutable是可以向变量中...

2019-12-31 15:16:37 117 0

原创 draw.io-12.3.2-windows-no-installer程序下载

由于最近需要画流程图,但是用迅捷流程图是收费的,因此找了draw.io-12.3.2-windows-no-installer(不需要安装,直接运行即可)来用,界面与迅捷流程图一样,下载地址为:https://github.com/jgraph/drawio-desktop/releases,但是...

2019-12-31 12:03:07 737 4

原创 scala中break和continue以及list的SortBy的使用方法

1、首先上代码: import scala.util.control.Breaks object AppDemo { def main(args:Array[String]):Unit={ var list=List[Int](2,1,4,3,5,6,8,7,9,10) l...

2019-12-31 11:24:21 75 1

原创 python3安装pandas库出现Could not import the lzma module.

1、错误如下: >>> import pandas /usr/local/python3/lib/python3.7/site-packages/pandas/compat/__init__.py:85: UserWarning: Could not import the l...

2019-12-23 19:08:59 7371 1

原创 CentOS7下安装nginx

一、介绍 Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2004年发布至今,凭借开源的力量,已经接近成熟与完善。 Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。支持FastCGI、SSL、Virtual Host、U...

2019-12-11 00:25:07 35 0

原创 vim退出时不清除屏幕内容

1、编辑/etc/profile,然后在文件中添加:export TERM=linux,如下图所示: 2、然后执行source /etc/profile即可

2019-12-10 20:15:43 264 0

原创 在使用spark2自定义累加器时提示:Exception in thread "main" org.apache.spark.SparkException: Task not serializable

在使用spark自定义累加器时提示如下错误: Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.Closur...

2019-12-10 01:11:39 49 0

原创 idea自动生成serialVersionUID、setter、getter方法

1、当新建好类后,并实现一个Serializable接口需要生成serialVersionUID、setter、getter,那么只需要在代码文件中按alt+insert,如下图所示: 2、选择SerialVersionUID后就会自动生成serialVersionUID,如下图所示: ...

2019-12-06 21:47:01 98 0

原创 centos 7 storm集群搭建

1、搭建zookeeper,请看:https://blog.csdn.net/sunxiaoju/article/details/103039866 2、从https://archive.apache.org/dist/storm/apache-storm-1.2.3/地址下载storm,如下图...

2019-12-04 19:53:37 30 0

原创 spark通过scala创建 new KafkaProducer[String,String](props)提示Cannot resolve overloaded constructor `Kafk`

1、spark通过scala创建 new KafkaProducer[String,String](props)提示Cannot resolve overloaded constructorKafkaProducer[String,String],如下图所示: 2、出现此错误时使用的类型不对...

2019-11-21 00:38:50 503 0

原创 当通过python3执行kafka时出现return '<SimpleProducer batch=%s>' % self.async的解决办法

1、出错信息如下: Traceback (most recent call last): File "consumer_kafka.py", line 1, in <module> from kafka import KafkaConsumer File ...

2019-11-18 17:15:52 546 0

原创 kafka2.2.1+zookeeper3.5.5搭建集群

1、首先配置zookeeper,具体方法请看:https://blog.csdn.net/sunxiaoju/article/details/103039866 2、然后从https://archive.apache.org/dist/kafka/2.2.1/位置下载kakfka,如下图所示: ...

2019-11-18 12:09:37 131 0

原创 CentOS7编译安装thrift工具

1、在https://archive.apache.org/dist/thrift/位置选择相应的版本下载,如下图所示: 2、然后选择thrift-0.13.0.tar.gz下载,如下图所示: 3、通过wget https://archive.apache.org/dist/thrif...

2019-11-14 00:15:54 383 1

原创 在启动hbase shell时提示[ERROR] Terminal initialization failed; falling back to unsupported

1、在启动hbase shell时报错,错误与如下: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/src/hbase-2.0.6/lib/slf4...

2019-11-13 13:14:56 219 0

提示
确定要删除当前文章?
取消 删除