- 博客(69)
- 收藏
- 关注
原创 Error: Cannot find module @rollup/rollup-win32-x64-msvc. npm has a bug related to optional dependenc
解决方法,删除package-lock.json 以及 node_modules,然后,重新npm install ,npm run dev 即可正常启动了。然后,在pack.json中添加,
2024-07-16 09:46:47
408
原创 idea无法通过vpn 连接到数据库或者kafka
项目中 VM这一栏加上-Djava.net.preferIPv4Stack=true 就可以了。
2023-09-13 10:03:10
1131
原创 Invalid UTF-8 start byte 0xbf at 发送post请求错误
好久没写后端代码,这次接手了一个数据质量平台的后端代码,在本地开发调试时,发送post请求,数据到后端,服务是本地idea中启动的,报错如下:Invalid UTF-8 start byte 0xbf at [Source: (org.glassfish.jersey.message.internal.ReaderInterceptorExecutor$UnCloseableInputStream); line: 1, column: 11] (through reference chain: co
2022-05-07 14:50:01
4467
原创 spark读取json文件报错Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenc
Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenced columns only include the internal corrupt record column(named _corrupt_record by default). For examp
2021-08-15 09:42:00
1202
原创 spark读取文件异常 AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed
spark读取json文件异常:Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenced columns only include the internal corrupt record column(named _corrupt_record b..
2021-08-12 11:15:53
800
原创 flink on yarn模式The main method caused an error: Could not deploy Yarn job cluster
Flink提交任务到yarn集群报错,The main method caused an error: Could not deploy Yarn job cluster本人的原因是:flink版本不一致造成的,本地开发环境使用了flink1.8.0,提交到yarn集群,是通过flink1.10.2安装包下的/bin/flink脚本提交的任务。。...
2021-07-06 14:02:27
2743
原创 MissingResourceException: Can‘t find bundle for base name config_dev, locale zh_CN 解决方式
异常如下:Exception in thread "main" java.util.MissingResourceException: Can't find bundle for base name config_dev, locale zh_CN at java.util.ResourceBundle.throwMissingResourceException(ResourceBundle.java:1573) at java.util.ResourceBundle.getBundleImpl(
2021-07-06 13:44:38
615
原创 Timeout of 60000ms expired before the position for partition could be determined踩坑flink消费kafka2.3.0
flink消费kafka2.3.0,时报错,分区分配的不对Kafka Client Timeout of 60000ms expired before the position for partition could be determined在网上找了一波,没找到原因,后面,误打误撞,发现,是因为,kafka的配置文件,server.properties,使用了主机名作为配置,在server.properties中添加host.name=192.168.0.30 (当前所在服务器的i.
2021-07-04 19:02:46
8810
5
原创 zk启动报错,zkServer.sh: 79: [[: not found -p: not found java i Error: JAVA_HOME is not set and java coul
安装zookeeper后,启动报错:zkServer.sh: 79: /opt/zk/apache-zookeeper-3.6.2-bin/bin/zkEnv.sh: [[: not found-p: not foundjava is /opt/jdk/jdk1.8.0_291/bin/javaError: JAVA_HOME is not set and java could not be found in PATH.我的原因是,conf目录下,需要zoo.cfg文件,一开始,没有
2021-05-11 16:23:46
267
原创 坑爹的一次bug,ClassNotFoundException:yarn.server.resourcemanager.CapacityScheduler,(xml配置异常,隐蔽的错误)
cuowei在配置yarn-site.xml时,发生了很隐蔽的bug,由于在配置的标签中使用了换行,导致读取的类出现class not found exception,xml的value标签之间不要换行或者有空格Caused by: java.lang.ClassNotFoundException:org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler at java.n...
2020-12-29 16:26:57
754
1
原创 Phoenix查询报错,字段找不到。Error: ERROR 504 (42703): Undefined column. columnName=(state=42703,code=504)
Phoenix查询报错,字段找不到,根本原因,单引号和双引号的问题,对于常量字符串,使用单引号,对于表名,字段名的小写使用双引号!!Error: ERROR 504 (42703): Undefined column. columnName=studen000.18 (state=42703,code=504)org.apache.phoenix.schema.ColumnNotFoundException: ERROR 504 (42703): Undefined c..
2020-09-17 10:28:33
2459
1
原创 phoenix安装后启动报错File “./sqlline.py“, line 120, in <module> (output, error) = childProc.communicate
phoenix安装后,进入bin目录下,执行命令./sqlline.py hadoop001,hadoop002,hadoop003:2181启动很久后,ctrl + c 退出,发现报错如下:Traceback (most recent call last): File "./sqlline.py", line 120, in <module> (output, error) = childProc.communicate() File "/usr/lib64/p...
2020-08-02 16:47:28
954
原创 anoconda创建虚拟环境报错 CondaHTTPError: HTTP 000 CONNECTION FAILED for url An HTTP error occurred when try
在使用anocoda创建虚拟环境时,报错,网上有个各再说法,包括:降低conda版本,更换镜像源,等楼主也尝试了,然并卵,报错似乎是url无法访问,但是,在浏览器上,可以访问清华的镜像。报错如下:Collecting package metadata (current_repodata.json): failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.e...
2020-06-03 15:28:07
2084
7
原创 Nginx反向代理与负载均衡配置,具体配置文件及具有演示,详细,简单(window下)
实现nginx反向代理与负载均衡演示案例,具体实现步骤如下:步骤一:服务器准备准备2个tomcat,一个nginx,步骤二:域名映射修改(修改hosts文件)win7修改hosts文件位置:C:\Windows\System32\drivers\etc步骤三:修改2个tomcat下的的(webapps\ROOT)ROOT下的index.jsp页面,以便,观...
2019-11-27 14:10:47
206
原创 BeanCreationException: Error creating bean with name 'fastJsonpResponseBodyAdvice'
spring boot项目启动报错:org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'fastJsonpResponseBodyAdvice'Caused by: org.springframework.beans.BeanInstantiationExcep...
2019-06-27 18:33:50
1228
原创 spring boot启动报配置文件类找不到,狗血的bug,java.lang.IllegalArgumentException: Could not find class
原因:配置文件yml中,类后面中,多打了一个空格。。。。。
2019-06-21 15:05:55
4207
原创 使用Java的lambda编程flink报错,Caused by: org.apache.flink.api.common.functions.InvalidTypesException:
楼主在使用Java的lambda表达式,进行flink编程时报错,如下:Caused by: org.apache.flink.api.common.functions.InvalidTypesException: The generic type parameters of 'Collector' are missingException in thread "main" org.apa...
2019-06-13 16:47:59
5757
1
原创 VirtualBox给CentOS虚拟机挂载磁盘扩大空间
VirtualBox给CentOS虚拟机挂载磁盘扩大空间楼主,发现虚拟机使用存储空间不够用的情况,需要改虚拟机挂载磁盘,扩容,在网上找了一波资料,于是整合记录操详细作如下:概要步骤如下:1、设置创建虚拟磁盘2、对磁盘进行分区及格式化操作3、创建新盘符或者已有盘符,指向新挂载的磁盘分区第一步,在关机状态下,具体...
2019-05-28 11:23:39
1737
1
原创 Elasticsearch -NoNodeAvailableException[None of the configured nodes are available:--异常
楼主在使用Elasticsearch ,java测试是,报错如下:NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{6XeVerfGReC8-hsUOe0iHQ}{hadoop001}{10.20.134.10:9300}]在网上搜了一下,原因总结如下:配置文件...
2019-05-27 15:41:50
987
原创 elasticsearch-5.4.3启动报错,bootstrap checks failed : system call filters failed to install;
楼主,在安装启动es是报错,启动失败,楼主使用的centos6.5,es版本是5.4.3,但在网上搜了一下,不影响使用,[2019-05-25T15:48:37,995][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException...
2019-05-25 16:32:58
2702
1
原创 测试es报错:ClassNotFoundException: org.elasticsearch.action.bulk.byscroll.AbstractBulkByScrollRequest
在做java,操作elasticsearch时,报错如下:Caused by: java.lang.ClassNotFoundException: org.elasticsearch.action.bulk.byscroll.AbstractBulkByScrollRequest at java.net.URLClassLoader.findClass(URLClassLoader.j...
2019-05-25 16:26:23
2314
原创 org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka brokerList
楼主在使用flume采集数据,sink到kafka中是,启动flume后报错,楼主在网上搜了一圈,说的原因是对的,就是flume1.8版本之后,要对应kafka0.9版本以上,另外配置文件的配置项也不同,楼主这里不再说明,更改完成后,依然,报错:WARN kafka.KafkaSink: The Property 'topic' is not set. Using the default t...
2019-04-20 13:44:11
597
原创 kafka启动报错: kafka.common.InconsistentBrokerIdException
kafka启动报错:FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker....
2019-04-16 08:59:37
2795
3
原创 使用winutils.exe,在windows开发环境下,调试下调试hadoop、spark程序
在使用idea开发,spark程序时,需要在开发环境模拟hadoop环境,不然,每次都要打jar去集群环境执行调试程序,严重影响开发效率。winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,下面说下具体使用;下载地址:https://download.csdn.net/d...
2019-03-23 17:15:45
13468
原创 Hive导入数据到分区中,报错及解决方法,Failed with exception MetaException(message:For direct MetaStore DB connections
使用hive导入数据到分区中报错如下:Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)org.apache.hadoop.hive.ql.metadata.HiveException: M...
2019-03-11 11:30:22
5285
1
原创 java项目中日志分文件输出,log4j日志分离输出,
在开发项目时,日志往往需分离输出,比如,info,日志在一个文件中,erro信息在一个文件中,有的信息需要单独打到一个日志文件中,方便查询,比如,对外的接口,接受到的收据,报文,需要存下日志配置文件如下:log4j.rootLogger= ERROR, file, A1log4j.category.org.springframework = warnlog4j.appender.f...
2019-02-27 16:03:24
1965
原创 hbase学习笔记--shell操作
hbase 的shell操作:查看表(有哪些表) , list 命令1、创建表: 1、只指定列簇: #其中t1是表名,f1,f2,f3是列簇的名称:create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}2、指定列簇和保留版本信息 # 创建了一个名为myHbase的表,表里面有1个列簇,名...
2019-02-25 14:47:55
220
原创 Restful规范--关于post请求,相关知识(结合SpringMVC)
今天在做接口测试是,突然懵逼了一下,关于请求参数使用postman ,测试接口,对方开发说使用json格式传输数据,我突然懵逼了。因为,我后台本来就是接受到字符串,然后,解析这个json字符串的,于是,打开postman测试工具,发现发送数据的几个选项,有form-data ,raw等,4个选项。如果,使用的是from-data这个选项,那么,其实是模拟表单提交的,后台的contr...
2019-02-22 15:13:14
4136
原创 shell脚本--ftp上传和sftp上传
使用shell脚本,上传文件到指定ftp服务器或者sftp服务器,代码如下:注意:第二个EOF,必须是顶格写,在一行的最开始位置,之前不可有空格,否则会报错核心代码如下:EOF 中,cd命令是操作远程机子上的,(ftp或者sftp)lcd是操作,本地机子上的命令:ftp服务器:#开发SFTP_HOST=10.19.105.122SFTP_PORT=21SFTP_US...
2019-02-22 10:49:07
6899
原创 hbase建表的异常bug:.RemoteException(java.io.IOException): ult/t1/5ad4f8bdcf65b535aa310647fc1cc860/.region
ERROR: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): ult/t1/5ad4f8bdcf65b535aa310647fc1cc860/.regioninfo could only be replicated to 0 nodes inst...
2019-02-21 18:52:25
427
原创 踩坑--启动Hbse报错: Name or service not knownstname hadoop001
今天在启动Hbase 服务时,报错 ,Name or service not knownstname hadoop001,但是,在配置文件中已经,配置了Region Server,后面,想到可能是文件,格式有问题,是dos 不是unix 的因为,楼主使用了window环境编辑了该文件:vi regionservers;使用命令:set ff? 查看文件格式:set...
2019-02-17 14:22:50
1504
3
原创 Hive学习笔记,hive自定义函数的使用
本文参考自互联网,并进行结合后整理如下:Hive自定义函数,用于处理一些比较复杂的数据处理,比如有如下数据:27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/faq.gif HTTP/1.1"-200-1127110.52.250.126-[29/April/2016:17:38:20 +08...
2019-02-16 17:26:37
1378
原创 hive学习笔记--脚本化运行hive查询任务
使用shell脚本,运行hive命令:vi t_order_etl.sh (shell脚本)#!/bin/bashhive -e "select * from db_order.t_order"hive -e "select * from default.t_user"hql="create table default.t_bash as select * from db_ord...
2019-02-16 11:03:44
652
原创 Hive学习笔记,表的创建,删除 与数据的导入导出
Hive建表:0 新建库:create database db_order;1、创建一般表:create table t_order(id string,create_time string,amount float,uid string)row format delimitedfields terminated by ',';2、创建带有特殊数据结构的表(字段有集...
2019-02-16 10:46:41
463
原创 hive学习笔记,hive内置函数的使用
Hive常用内置函数:1、类型转换函数,2、数学运算函数,3、字符串操作函数,4、时间操作函数5、表生成函数,6,、集合操作函数数 ,7、条件控制函数 ,8、json解析函数 ,9、分析函数(分组排序)其中: 1、类型转换函数 包含:字符串转日期,字符串转int类型等操作 cast("2017-08-03" as date) ;cast("5" as int) ;...
2019-02-16 09:02:54
463
原创 Hive学习记录,使用 beeline 连接报错:No known driver to handle "jdbc:hive2//hadoop001:10000"
使用 beeline 连接 hiveServer2,报错No known driver to handle "jdbc:hive2//hadoop001:10000"楼主找了好多资料,并没有发现解决的方法,===》评论区给出的原因(补充一下,感谢!!):==》抛出上面异常是因为"hive2//"中间少了个冒号而已。应该是"hive2://"但是,使用另一种连接方式...
2019-02-14 14:11:53
8370
7
原创 linux的常用文件操作cut ,awk,sed
cut命令;cut [选项] 文件名 默认分割符是制表符选项: -f 列号: 提取第几列 -d 分隔符: 按照指定分隔符分割列eg:#cut -f 2 aa.txt 提取第二列 默认是使用制表符切割 (可以使用,隔开,指定提取多个列)eg:#cut -d ":" -f 1,3 /etc/passwd 以:分割,提取第1和第3列...
2019-01-24 13:38:29
513
原创 linux定时任务--Crontab定时任务使用
定时器--Crontab执行定时任务:执行命令:crontab -e 将定下的执行时间和命令,写入,保存退出即可。!!!!这里,注意!!!!注意 :> 和 >> 的区别,> 会直接覆盖原文件到的内容,>> 是在原文件内容上进行追加内容一共5个星号,: crontab文件格式minute hour day-of-month ...
2019-01-24 09:54:10
211
原创 使用maven将git下载的项目打包到本地仓库,安装项目到本地仓库
当我们从githup 上下载应用的项目后,需要引入其他工程中进行使用,此时,就需要将该项目打成jar包,安装到本地仓库中去,或者自己新建的jar工程,需要在其他工程引用,也需要将jar包,安装到本地仓库。如下演示;从github上下载项目代码,https://github.com/LeeKemp/UserAgentParser到开发环境Idea中,先执行如下操作,使得代码变为开发可编辑...
2019-01-15 13:27:59
2863
2
原创 springboot集成swagger
java的Web项目集成swigger后,可以方便的进行接口的测试,和传入参数,返回参数的审查。OpenAPI规范(OpenAPI Specification 简称OAS)是Linux基金会的一个项目,试图通过定义一种用来描述API格式或API定义的语言,来规范RESTful服务开发过程,目前版本是V3.0,并且已经发布并开源在github上。(https://github.com/OAI...
2019-01-15 10:17:51
455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人