自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(182)
  • 资源 (2)
  • 收藏
  • 关注

原创 FROM keyword not found where expected

报错信息:FROM keyword not found where expected原因:select字段后少逗号

2021-07-28 15:05:56 5

原创 关于SparkSQL中concat函数的使用与一些坑

事情是这样的,在使用sparkSQL执行SQL脚本时,遇到如下的情况:nvl(concat( case WHEN zs.scxs <> 0 THEN concat( '故障发生时:距离上次巡视的时间间隔(平均):' , zs.scxs , '天,') end , case when zs.jscxs <> 0 then concat( '近三次平均巡视时间间隔(平均):' ,zs.jscxs , '天') end),

2021-07-22 17:48:51 14 1

原创 ora-28000:the account is locked

问题描述:用户被锁。解决方法:1、使用system或sys账户登录。2、使用命令解锁用户。命令为:alter user us_sys account unlock;3、重置用户密码。命令为:alter user us_sys identified by sys;4、退出,使用刚刚锁定的用户重新连接。...

2021-06-29 14:00:03 7

原创 使用Dockerfile制作nginx镜像

原有的nginx镜像是直接docker pull拉取的,好像是1.19.0的版本。甲方公司在安全扫描的时候说有安全漏洞,需要升级nginx的镜像的版本,因此选择从0开始制作最新版的nginx镜像(1.21.0版本)。制作镜像的方法有两种,这里我们选择Dockerfile方式:Dockerfile是使用源代码构建docker的镜像,编辑一个Dockerfile,而后根据此文件制作;docker可以自动通过读取Dockerfile中的指令,自动构建镜像。Dockerfile是一个文本文档包含所有用户的命令,

2021-06-01 17:30:23 60

原创 服务器MySQL远程执行SQL脚本

我们有服务器1和服务器2,通过服务器1连接服务器2的MySQL,并执行脚本:mysql -h 192.168.1.1 -P 3306 -u root -p 1234 < /export/servers/truncateTables.sql

2021-05-31 17:35:16 44

原创 spark on yarn报错: Futures timed out after 100000 milliseconds

问题描述:21/05/31 16:34:25 ERROR ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) at scala.concurrent.impl.P

2021-05-31 16:41:45 62

原创 SQL:Incorrect string value解决方法

问题描述:java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xBB' for column 'nickName' at row 1 at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1094) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4226) a

2021-05-27 09:11:52 49 1

原创 Yarn:Failed redirect for container_XXXX_XXXX_XX_000001

问题描述:Hadoop集群正常启动状态,MR程序或者Spark程序执行成功,查看历史日志记录出现以下问题:Failed redirect for container_1400260444475_3309_01_000001Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown container. Container ei

2021-05-25 14:41:29 41

原创 spark on yarn:due to AM Container for appattempt_xx_xx exited with exitCode:-1000

新部署的hadoop和spark集群,使用spark on yarn模式执行一个简单的spark程序包,spark程序的代码逻辑是读取oracle数据库,读取后对数据做简单处理,然后保存。比较匪夷所思的是,spark代码逻辑执行成功,经过处理的数据成功保存到数据库,但是yarn页面显示spark程序报错。报错信息如下:按这篇文章(https://www.e-learn.cn/content/wangluowenzhang/874518)的解决方法,无法解决。网上找了很多都没有找到解决方。由于是新部

2021-04-28 18:24:31 107

原创 Docker部署Kafka

一.镜像拉取docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka二.定义docker-compose.ymlversion: '3'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka depends_on: [ z

2021-04-19 11:17:18 39

原创 Java获取系统属性和环境变量

系统属性//获得用户的目录String userHome = System.getProperty("user.home");System.getProperty()接收参数以及含义如下:Java.version Java 运行时环境版本java.vendor Java 运行时环境供应商java.vendor.url Java 供应商的 URLjava.home Java 安装目录java.vm.specification.version Java 虚拟机规范版本java.vm.spe

2021-04-19 11:10:04 28

原创 以foldLeft函数为例理解Scala函数式编程风格

Scala 本质上是一门混合型编程语言,我们既可以使用命令式风格也可以使用函数式风格。下面是一段命令式风格的 Java 代码,计算出最大值:public static void main(String[] args) { ArrayList<Integer> integers = new ArrayList<>(); integers.add(1); integers.add(2); integers.add(3); System.out

2021-04-02 16:57:39 100

原创 Neo4j 自定义函数

neo4j提供了丰富而强大的函数,可通过CALL dbms.procedures()查询在一些复杂的应用场景中,neo4j自带的各种函数不能满足需求的时候,我们可以通过自定义函数去扩展和提升Neo4j的一些常用命令功能。自定义函数的结果输出类型具体包括以下类型:• java.lang.Boolean or boolean• java.lang.Double or double• java.lang.Long or long• java.lang.Number• java.lang.Obje

2021-03-16 17:04:44 81

原创 使用jenkins将程序自动化部署到远程服务器

jenkins部署及配置:https://blog.csdn.net/weixin_44455388/article/details/114540746本文是在基于以上文章,已经部署jenkins并完成代码自动化部署的基础上,思考程序不可能总是部署在jenkins所在服务器,探索将程序部署到远程服务器。(1)首先需要手动添加需要的插件:Publish Over SSH用于连接远程服务器Deploy to container插件用于把打包的应用发布到远程服务器插件安装完成后要进行重启。(2)

2021-03-12 16:24:14 73

原创 自动化部署工具jenkins部署及使用

需提前部署jdk、maven、git等。部署:(1)下载jenkins.war包:http://mirrors.jenkins.io/war-stable/latest/jenkins.war(2)执行war包,运行jenkins:在安装包根路径下,运行命令 java -jar jenkins.war --httpPort=28080(可修改)(3)打开浏览器进入链接 http://localhost:28080,填写初始密码,激活系统(4)进入插件安装选择,建议选择推荐安装的插件,保证

2021-03-08 17:59:08 621

原创 Docker构建镜像的两种方式

从 docker 镜像仓库中下载的镜像不能满足我们的需求时,可以通过以下两种方式对镜像进行更改。从已有镜像更新镜像从零开始构建镜像从已有镜像更新镜像:更新镜像之前,我们需要使用镜像来创建一个容器。进入容器:docker run -t -i db2b37ec6181 /bin/bash在运行的容器内使用 apt-get update 命令进行更新。在完成操作之后,输入 exit 命令来退出这个容器。此时 ID 为 0aab061e6f5a的容器,是按我们的需求更改的容器。我们可以通过

2021-03-05 17:31:04 560

原创 JDBCUtil与QueryRunner结果集处理方式

JDBCUtil工具类package com.zhbr.api.springboot_huawei_api.util;import com.mchange.v2.c3p0.ComboPooledDataSource;import org.apache.commons.dbutils.QueryRunner;import java.beans.PropertyVetoException;import java.io.File;import java.io.FileInputStream;imp

2021-03-02 14:47:51 150

原创 OkHttpClient 设置超时时间

OkHttpClient client = new OkHttpClient.Builder() .connectTimeout(10, TimeUnit.SECONDS) .writeTimeout(10, TimeUnit.SECONDS) .readTimeout(30, TimeUnit.SECONDS) .build();

2021-02-07 18:37:40 724 1

原创 使用Spark读取已开启Kerberos认证的HBase并注册临时表

1、首先获取相应的krb5.conf与keytab文件2、代码示例:package com.zhbr.hbase.testimport java.io.IOExceptionimport com.google.protobuf.ServiceExceptionimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apa...

2020-12-22 12:48:12 1923 2

原创 Java代码insert语句插入clob和blob类型数据

CLOB使用CHAR来保存数据。public void insertClob() throws Exception{ String sql="insert into article (JYNRDJ)values(?)"; String dataStr = "aaa"; SerialClob clob=new SerialClob(dataStr); QueryRunner runner=new QueryRunner(JDBCUtils.getDataSource(

2020-12-21 19:21:43 1030

原创 Spark操作Hive(开启Kerberos认证)代码提交华为云DAYU的MRS Spark组件--方法流程及注意事项

背景:最近在测试华为云DAYU MRS Spark操作Hive的流程,因kerberos认证的问题一直测试失败。代码示例:val sparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.filter(!_.equals('$'))) .enableHiveSupport() .getOrCreate()val sc: SparkContext = sparkSessio

2020-12-14 09:02:26 1110

原创 Docker容器日志查看与清理

问题:docker容器日志随着时间变得越来越大。本来分的200G磁盘空间迅速不太够用。日志查找:docker安装目录一般在/var/lib/docker下:执行以下命令,可查看各文件夹空间占用情况:du -h -x --max-depth=1我们可以看到containers目录占用了181G的空间:进入到containers容器目录,我们可以看到956e42开头的这个目录占用了180G空间:进入到该目录,我们找到了罪魁祸首json.log文件:日志清理1、最简单的方式当然就是删

2020-11-27 17:42:32 1060

原创 Docker所在磁盘空间满了,进行目录迁移

问题:docker安装的默认路径:/var/lib/docker但是待容器日志的慢慢增长,发现磁盘空间不太够用。迁移docker目录:1、先停止docker服务systemctl stop docker或者service docker stop2、拷贝原docker容器目录文件到新挂载磁盘目录cp -a /var/lib/docker /data/docker3、修改配置文件vim /usr/lib/systemd/system/docker.service docker启

2020-11-27 16:51:10 777

原创 Java代码访问华为中台MRS服务Hive数仓踩坑之旅

背景:某大型国企总部要抽取地方公司的数据,总部和地方都是用的华为的数据中台。需要我们自己开发一个API接口,总部通过调用API接口抽取地方中台的数据。存在的问题:开发环境:首先是开发环境的问题,因为总部和地方部署华为中台都是私有云,我没有私有云的环境,因为我是自己申请的公有云环境开发的。另外需要注意华为MRS的hive为高可用,连接一律是需要通过zookeeper。(1)网络问题:申请华为公有云的MRS后一定要配置集群所在服务器ECS绑定公网IP。(2)安全组问题:修改绑定MRS的安

2020-11-27 11:28:31 1074 1

原创 su root和su - root的区别

问题:在安装Oracle的过程遇到使用su oracle切换Oracle用户,但相关命令无法使用。只有使用su - oracle才可以。原理探究:感兴趣的可以测试以下有什么不同:1)使用su root:hnlinux@runoob.com:~$ whoami //显示当前用户hnlinuxhnlinux@runoob.com:~$ pwd //显示当前目录/home/hnlinuxhnlinux@runoob.com:~$ su root //切换到root用户密码: root@run

2020-11-20 18:20:48 1870

原创 Kafka性能优化及性能测试

目的:充分发挥kafka在低时延,高吞吐等不同场景下的优势。参数配置:1)提升吞吐量2)保证低时延3)保证高持久4)相关参数设置说明1、内存缓冲的大小:buffer.memoryKafka的客户端发送数据到服务器,一般都是要经过缓冲的,也就是说,你通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里,然后把很多消息收集成一个一个的Batch,再发送到Broker上去的。所以这个“buffer.memory”的本质就是用来约束KafkaProducer能够使用

2020-11-20 15:32:56 925

原创 VNC远程连接CentOS7(桌面版)安装Oracle11g

操作系统配置在Root用户下执行以下步骤:1)修改用户的 SHELL 的限制(资源限制),修改 /etc/security/limits.conf 文件:$ vi /etc/security/limits.conf按i键进入编辑模式,将下列内容加入该文件:oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536编辑完成后按Esc键,输入“:wq”存盘退出2)

2020-11-19 15:32:20 893

原创 VNC连接centos7安装oracle弹不出图形界面的解决方法

使用vnc连接Linux服务器,准备安装数据库,没有报错信息,但一直弹不出安装页面:首先,设置DISPLAY变量:su - rootDISPLAY=:0.0export DISPLAYxhostxhost +su - oracleDISPLAY=:0.0export DISPLAY如果还是不行,则尝试输入xclock命令,打开时钟图形界面,报错如下,没有这个命令xclock安装xclock包,命令如下:yum -y install xorg-x11-apps

2020-11-19 14:29:24 1155

原创 Maven打包报错:error:java.lang.StackOverflowError

问题描述:在maven项目打包的时候报错,java.lang.StackOverflowError解决方法:在setting->maven->runner->VM Options中添加 -Xss4096k 如下图所示

2020-11-17 17:06:54 814

原创 linux打包、压缩与解压(.tar /.gz / .tar.gz / .zip)

01-.tar格式解包:[root@cdh03 f1-platform]$ tar xvf FileName.tar打包:[root@cdh03 f1-platform]$ tar cvf FileName.tar DirName(注:tar是打包,不是压缩!) 02-.gz格式解压1:[root@cdh03 f1-platform]$ gunzip FileName.gz解压2:[root@cdh03 f1-platform]$ gzip -d FileName.gz压 缩:[root@cd

2020-11-17 09:30:04 725

原创 关于Scala中String*参数的传递

今天在写代码过程中想使用sparkSQL将dataFrame数据写入到hive数据,同时指定分区字段:data.write.mode(SaveMode.Append).partitionBy("year","month").saveAsTable("xxx")源码中partitionBy需要的是String类型的可变参数:def partitionBy(colNames: String*): DataFrameWriter[T] = { this.partitioningColumns =

2020-11-13 12:24:07 871

原创 内网环境离线安装docker

docker下载地址:https://download.docker.com/linux/static/stable/x86_64/下载docker-19.03.5.tgz安装包解压安装包tar -xvf docker-19.03.9.tgz将解压出来的docker文件内容移动到 /usr/bin/ 目录下cp docker/* /usr/bin/将docker注册为servicevim /etc/systemd/system/docker.service[Unit]Descr

2020-11-05 17:18:05 768

原创 ClickHouse入门

简介:ClickHouse是一个开源列式数据库,由俄罗斯排名第一的搜索引擎公司Yandex开发,主要用于线上分析处理(OLAP)。该系统允许分析实时更新的数据,以高性能著称。ClickHouse的技术特点:1.真正的面向列的DBMS在一个真正的面向列的DBMS中,没有任何“垃圾”存储在值中。例如,必须支持定长数值,以避免在数值旁边存储长度“数字”。例如,十亿个UInt8类型的值实际上应该消耗大约1 GB的未压缩磁盘空间,否则这将强烈影响CPU的使用。由于解压缩的速度(CPU使用率)主要取决于未压缩的

2020-10-30 15:16:43 1263

原创 influxDB入门

简介:influxdb是目前比较流行的时间序列数据库。由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。以下几大特点:1、schemaless(无结构),可以是任意数量的列;2、min, max, sum, count, mean, median 一系列函数,方便统计;3、Native HTTP API, 内置http支持,使用http读写;4、Powerful Query Language 类似sql;5、Built

2020-10-29 17:19:19 712

原创 java程序打印日志(保存到日志文件)

使用log4j.jar。log4j 是apache 提供的记录日志的。<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version></dependency>除了这个包外,还需要另一个jar包:.commons-logging.jar<depende

2020-10-28 17:23:44 1335 2

原创 Java程序当前线程睡眠

try { //睡眠100ms Thread.currentThread().sleep(100);} catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace();}

2020-10-28 16:51:10 947

原创 Linux系统下Java程序读取配置文件

最近在对一个开源项目进行二次的开发,项目目录:自己开发的jar包放到目录jars中,配置文件需要放到etc目录下,方便修改。我们知道的ClassLoader 方式只能读取类路径下的配置文件,当项目打成 jar 包放到服务器后就找不到文件了,打成jar包后必须以流的方式读取文件。// 使用InPutStream流读取properties文BufferedReader bufferedReader = new BufferedReader(new FileReader("../etc/emqx_to

2020-10-28 16:46:45 1434

原创 R语言常用函数整理

R语言基础函数整理R语言常用函数整理本篇是基础篇,即R语言自带的函数。一、数据管理vector:向量numeric:数值型向量logical:逻辑型向量character;字符型向量list:列表data.frame:数据框c:连接为向量或列表length:求长度subset:求子集seq,from:to,sequence:等差序列rep:重复NA:缺失值NULL:空对象sort,order,unique,rev:排序unlist:展平列表attr,attributes

2020-10-21 08:45:43 963

原创 华为云DAYU使用Spark组件开发的学习使用心得

自己学习的心得,如有错误欢迎指正…简单认识首先华为DAYU平台中有两套Spark组件,一个是DLI Spark另一个是MRS Spark。DLI是数据湖探索服务,是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MR

2020-10-19 11:50:38 1306 2

原创 docker 容器中不支持中文的解决方法

首先进入docker内部:[root@cdh03 ~]# docker exec -it 56a60d0e2867 /bin/bash查看字符集:[root@56a60d0e2867 f1]# localelocale: Cannot set LC_CTYPE to default locale: No such file or directorylocale: Cannot set LC_MESSAGES to default locale: No such file or directory

2020-10-15 10:33:39 1304 7

apache-hive-2.3.5-bin.tar.gz

对hive源码中的LineageLogger类进行了修改,增加了对血缘数据的相关处理,可直接在日志中得到表级和字段级血缘数据

2020-06-23

tg-jdbc-driver-1.2.jar

TigerGraph 是一款“实时原生并行图数据库”,既可以部署在云端也可以部署在本地,支持垂直扩展和水平扩展,可以对集群中的图数据自动分区,遵循 ACID 标准,并且提供了内置的数据压缩功能。它使用了一种消息传递架构,这种架构具备了可随数据增长而伸缩的并行性。 可使用此jar包,用jdbc的方式访问TigerGraph图数据库,执行一些查询的操作

2020-01-19

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除