遇到的问题与解决方案
关注
分享
扫一扫
文章平均质量分 77
青山孤客
网易高级服务端开发工程师，软件设计师，信息系统项目管理师，杭州市E类人才。杭州电子科技大学工学硕士，曾访学圣彼得堡国立信息技术机械与光学大学（ITMO），在国际计算机软件和应用会议（COMPSAC）发表1篇学术论文，目前已申请国家发明专利4项，2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
解决部署Hudi时遇到的 Error extracting protoc for version 3.21.5: Unsupported platform: protoc-xxx.exe 问题
下载以后直接解压即可，但是我们进入 bin目录下打开protoc的时候会显示无法验证开发者。可以看出是版本冲突的问题，解决方案就需要重新安装符合的protoc。，下面会提示是否允许protoc，我们选择允许既可以。选择允许后会直接打开这个界面，可以看到我们安装成功了。下载对应的文件，这里我选择符合操作系统的。静静等待十几分钟，可以发现打包成功了。原创 2023-03-24 15:59:19 · 1574 阅读 · 2 评论 -
使用Maven构建Hudi时报错Could not create local repository at /Library/apache-maven-3.8.6/repository 解决
但是同样执行以后，然后会报一样的错误。说明跟idea中配置没关系，突然反应过来，在idea的终端打包还是使用的系统本身环境。而/Library/apache-maven-3.8.6中文件权限不足，因此会产生此问题。第一反应是使用了系统默认的maven，而不是使用自己搭建的maven仓库。可以直接在idea中的右侧maven中对项目进行打包，这样使用的就是我们配置的环境，当然也可以修改系统环境，mac只需在。中修改maven仓库的位置。让文件生效，别忘了在。原创 2023-03-24 15:02:41 · 853 阅读 · 0 评论 -
解决Windows下使用cmd执行Python文件报错 ModuleNotFoundError: No module named ‘XXXX‘
在IDEA中可以正常执行的Python文件，想把它配置成每天固定时间执行的定时任务。我写了一个脚本在每天9点时执行Python文件，但是我在cmd中测试执行时遇到以下报错。原创 2022-12-30 19:40:28 · 3337 阅读 · 2 评论 -
Python中将两个DataFrame拼接时遇到：InvalidIndexError: Reindexing only valid with uniquely valued Index objects
今天接到爬取手机型号的需求，在完成初版以后执行时，发现遇到了 Reindexing 仅对唯一值的索引对象有效。原创 2022-10-27 21:34:52 · 1729 阅读 · 0 评论 -
macOS中安装zsh，并配置些重要插件
当前是macOS必备的包管理工具，可以使用 Homebrew 安装需要的应用，将软件包安装到独立目录。原创 2022-07-04 13:15:53 · 4759 阅读 · 0 评论 -
Google Colab中解决No module named ‘hdbscan‘问题
把程序放在colab上执行时报错，不能加载hdbscan：1、首先需要更新 pip 和 numpy!pip install --upgrade pip!pip install numpy==1.16.02、重新启动此时需要重新启动。 转到菜单栏“代码执行程序 > 重新启动代码执行程序”，重启后就可以恢复了。3、安装Cython与 hdbscan!pip install Cython!pip install hdbscan然后我们就可以导入hdbcan了。...原创 2022-01-27 10:40:29 · 1739 阅读 · 0 评论 -
EndNode中更换文献类型并在word中导入
首先下载好EndNote，具体的安装流程可以参考这个网址：EndNote安装我们打开安装好后的EndNote：在endnote官网中下载我们所需的文献格式，这里拿GBT类型做样例：GBT下载下载好以后可以看到 Chinese Std GBT7714 (numeric).ens 文件：打开它可以看到这个界面：我们选择 File -> Save As，在Style name里面输入另存为的名字：点击保存后回到EndNote页面，打开Style Manager：把我们刚刚下载的文原创 2022-01-21 11:00:56 · 826 阅读 · 0 评论 -
将MySQL中数据转为层级Json格式
目前需要将mysql中的论文数据转为json格式，但是其中合作作者一列中多个人民通过封号隔开，最后转化样式如下：原创 2021-06-17 16:12:50 · 1842 阅读 · 1 评论 -
解决加载json-lib包报错Cannot resolve net.sf.json-lib:json-lib:2.4
在加载 json-lib 时，按照maven仓库中的内容复制到pom.xml中，然后reload报错：Cannot resolve net.sf.json-lib:json-lib:2.4原创 2021-06-16 20:13:09 · 2015 阅读 · 0 评论 -
使用Excel处理姓名数据，转为拼音并且姓与名首字母大写
今天拿到实验的数据，要进行一些数据处理。将中文名改成拼音并需要将姓氏首字母和名字首字母大写，中间加空格。类似如下：用到的工具：用到了汉子转拼音的Visual Basic 模块 实现首字母大写的PROPER() 函数 快速合并单元格并保留数值的CONCATENATE() 函数A、打开Visual Basic编辑状态，新增模块Alt+F11进入Visual Basic编辑状态，然后 插入 -> 模块，在里面复制文件中的代码：链接: https://pan.baidu.com/s/原创 2021-05-20 22:31:53 · 11770 阅读 · 2 评论 -
MySQL查询某段日期内某段时间内的数据
背景：要求学校内各同学每天起床的平均时间，所以我们需要筛选出某学期内早上五点~早上十点之间的全部数据。之前如果是使用SQL Server，则可以使用CONVERT函数，具体代码如下：select * from v_come_out_record t where t.co_time between '2020-6-27' and '2020-11-27' and convert(varchar(5),t.co_time,114) between '05:00' and '10:00'但是我也原创 2020-12-17 11:15:56 · 3435 阅读 · 1 评论 -
将本地文件上传到GitLab中，遇到The authenticity of host ‘gitlab.*.org (192.168.*.*)‘ can‘t be established.问题解决
今天需要将之前整理好的API文档上传到公司的GitLab中，可能好久没有用过了，所以一些步骤忘了，其中遇到了 The authenticity of host 'gitlab.***.org (192.168.***.***)' can't be established. 这个问题，这里记录一下解决的步骤。1、首先打开git的控制台在准备clone的文件夹下，右键再点击Git Bash Here2、打开后去我们的GitLab中找到要上传文件的具体路径找到具体路径后，复制其中的Clone.原创 2020-08-18 11:08:23 · 7691 阅读 · 0 评论 -
StreamSets中配置外部库，解决上传jar包时报REST_1003 - Failed to create directory错误
遇到的问题今天在添加Oracle Database 的JDBC驱动程序包ojdbc.jar时，这里如果直接进行上传jar包则会报错，REST_1003 - Failed to create directory: lib：解决步骤：说明需要配置streamsets外部库，具体步骤如下A、B、C、D。A、进入到STREAMSETS_DATACOLLECTOR安装的路径一般路径为：/opt/cloudera/parcels/STREAMSETS_DATACOLLECTORB、.原创 2020-08-14 16:43:08 · 1430 阅读 · 0 评论 -
StreamSets中测试Pipeline时，报 .....metadata for topic ‘topicName‘ from broker ‘localhost:9092‘ 问题解决
今天在绘制Oracle数据库中数据导出到HBASE的管道时，验证测试时失败，一直弹出报错：2020-08-13 03:46:40,626 test_Oracle/testOracle20094215-4e64-431d-8ffd-7ba20f11706e WARN [Consumer clientId=consumer-15, groupId=sdcTopicMetadataClient] Connection to node -1 could not be established. ...原创 2020-08-13 18:35:38 · 852 阅读 · 0 评论 -
CDH中安装StreamSets 以及遇到的坑与解决
今天总结一下安装的StreamSets的全过程，并且中间遇到的问题与解决办法。一、下载StreamSets相关文件首先看Cloudera Manager server是否可以访问Internet获取这个Parcel，如果不行则需要手动安装文件。可以看到我本地这里就不能通过远程提供自己下载：手动安装StreamSets Parcel和校验文件，如果使用多个集群时，就需要对每个集群执行以下步骤。1、从下面这个链接下载适用于Cloudera Manager Server操作系统的相关文件h原创 2020-08-03 20:00:36 · 2106 阅读 · 1 评论 -
CDH激活分发parcel时因为意外错误卡住不能修改问题解决方案
问题背景：今天因为业务需求需要在CDH集群上安装StreamSets，结果因为权限的原因，之前我把这个parcel文件的权限变更为cloudera-scm，结果后面遇到这个问题了，问了之前部署CDH的人才知道他那时候用的权限是Root用户，所以现在卡在这里，也没有地方可以直接暂停：然后我点进去看详细的信息：可以看到cluster2-1这个结点因为权限的问题，导致不能激活。解决方案：Cloudera并没有在控制台开发Cancel或者回滚的入口，此时服务状态就是卡住页面无法操作。通过原创 2020-07-30 18:20:04 · 2981 阅读 · 2 评论 -
启动OGG时启动失败，报错 (status = 257-ORA-00257: archiver error. Connect internal only, until freed.).
今天修改了一些配置，重新启动OGG时直接闪退，然后查看ggserr的报错日志，发现报了下面这个错：.......2020-07-16 15:44:59 INFO OGG-03035 Oracle GoldenGate Capture for Oracle, EXTKAFKA.prm: Operating system character set identified as GBK. Locale: zh_Hans_CN, LC_ALL:.2020-07-16 15:44:59 INFO...原创 2020-07-16 17:10:21 · 1401 阅读 · 0 评论 -
启动idea后，打开项目不久后闪退
之前一段时间回归eclipse怀抱，后面项目需求要使用Kotlin。原来想eclipse中下kotlin的插件，但是后面报错说版本不匹配：没办法，只能试试在idea中打开了。结果license过期了？？可能太久没用了，然后找了一个可行的license：QR0WJ4GSK3-eyJsaWNlbnNlSWQiOiJRUjBXSjRHU0szIiwibGljZW5zZWVOYW1lIjoi5o+Q5Y+W5Zyw5Z2AIG1lZGVtaW5nLmNvbSIsImFzc2lnbmVlTmFtZS原创 2020-06-22 15:02:22 · 2318 阅读 · 0 评论 -
使用Oracle GoldenGate 创建复刻表时报错 ERROR: No viable tables matched specification .
今天测试Oracle GoldenGate时参考了网上别人写的博客，但是在创建复刻表时就报了ERROR: No viable tables matched specification . 这个错误。报错提示说没有符合规格的可行表格，但是这个表我确实创建好了：后面看了创建表的语句：CREATE TABLE "OGG"."student" ( "sid" NUMBER(8,0), "sname" VARCHAR2(14), "sex" VARCHAR2(13), "cla.原创 2020-06-01 17:37:27 · 1551 阅读 · 0 评论 -
如何启动一个 kafka connector （步骤详解+问题解决）
这里前提条件是已经部署安装了一个kafka连接器。我之前写过一篇关于 kafka-connect-oracle 连接器例子部署的博客：连接器部署 最后编译执行得到了一个jar包，放在指定路径，然后这篇博客总结一下如何启动一个kafka连接器。（这个方法不仅只适用此连连接器）1、启动Zookeeper与Kafka这里需要用到kafka中的topic，所以现在kafka中创建student的主题：kafka常用指令kafka-topics --zookeeper 192.168.129.2...原创 2020-05-21 16:56:58 · 6876 阅读 · 3 评论 -
使用kafka报错log4j:ERROR Could not read configuration file from URL[ ....../connect-log4j.properties]
今天在使用kafka的时候，进行以下指令测试时报了个错误：./lib/kafka/bin/connect-distributed.sh ./etc/kafka/conf.dist/connect-distributed-Oracle.properties ./etc/kafka/conf.dist/OracleSourceConnector.properties[root@cluster2-4 KAFKA-4.1.0-1.4.1.0.p0.4]# ./lib/kafka/bin/connect-原创 2020-05-14 19:32:12 · 4164 阅读 · 1 评论 -
使用hue中的sqoop导入数据被killed
今天在HUE中的Oozie执行Sqoop，因为数据都要现在这里汇总与处理。这里给一个样例：sqoop import --connect "jdbc:mysql://192.168.102.18:3306/school?useUnicode=true&characterEncoding=utf-8" --username root --password P@ssw0rd4321 --...原创 2020-04-20 10:27:58 · 1031 阅读 · 0 评论 -
使用sqoop将Oracle中数据按照日期、小时批量导入报错与解决
这里对使用sqoop将Oracle中的数据按照日期、小时批量导入数据报错与解决做一个总结。之前mysql导入数据过，那时候对于 --query 后的sql语句因为涉及到日期与时间，如果是单引号的话则会跟外面的单引号冲突，导致错误，所以mysql中解决办法就是里面涉及日期与时间的字段改成双引号即可。然后再弄Oracle时候，我也试着改成双引号，并且因为sqoop导入时候用到了where判断，...原创 2020-04-17 11:05:24 · 1050 阅读 · 0 评论 -
使用sqoop将mysql与Oracle中的数据按照日期与时间段分区存入hdfs中
今天遇到一个需求，这里简单介绍一下。原先把很多的信息都汇总到一个trace的表中，其中包括人脸识别后的对比数据、某学校卡口的进入车辆数据、访客记录、门禁刷卡记录与一卡通消费记录等，然后在HUE中新建一个WorkFlow，每天的凌晨进行增量导入与数据处理。后面甲方那边感觉汇总的很好，结果要求按照小时更新。这个对于之前结构变化就有点大了，原先sqoop都是overwrite数据表，然后在hive里面处...原创 2020-04-15 16:36:38 · 1041 阅读 · 0 评论 -
使用spring开发遇到 ... nested exception is java.lang.NullPointerException] with root cause
今天使用spring框架开发一个项目时遇到了一点小问题，同样的一个功能，取出数据库中查询到的总条数，但是在两个BizImpl中代码相似，一个通过但是另一个却报错。严重: Servlet.service() for servlet [DispatcherServlet] in context with path [/wcx] threw exception [Request proc...原创 2018-03-31 14:32:47 · 33196 阅读 · 2 评论 -
读写文件中遇到'gbk' codec can't decode byte 0xa6 in position 36: illegal multibyte sequence
在测试学习文件读写时候来测试一下按行读取文本内容，代码如下：#context manager 上下文管理器 withwith open('a.txt','r') as f: result = f.readline() #一行一行的读 print( result )遇到了这个错误：UnicodeDecodeError ...原创 2018-03-31 09:40:01 · 9946 阅读 · 0 评论 -
在XML中写SQL语句时出错，The content of elements must consist of well-formed character data or markup.
在写一个项目时，正在学习spring架构，所以要用到XML。我在XML中配置好了数据源，其中相关步骤可以看我的博客《使用XML在Eclipse中配置Oracle数据库》。 言归正言，今天写到项目中的分页查询时，XML中出现了错误，大家应该都知道分页查询必须要用到 大于号、小于号。一开始我还以为是我数据库语句写错了所以报错，然后我在Oracle中执行以后发现没问题...原创 2018-03-18 15:47:46 · 6196 阅读 · 0 评论 -
Parameter Maps collection does not contain value for com.wcx.mapper.*.Map
今天在写一个项目，我使用spring来实现用户登录操作，应该调用的是ManagerMapper.xml中 id为managerLogin的SQL语句，我也在Biz层中输出了传递到后台的值与调用相关XML中的地址（红体字是我测试输出的数据），它是应该去找ManagerMapper.xml但是一直报错是TemplateMapper.map。网上也找了好多答案，一直没有解决，目光一直放在ManagerM...原创 2018-03-25 11:33:42 · 1602 阅读 · 0 评论 -
前台取不到json传回来的对象数组中的值解决办法
今天在写竞赛的一个项目，使用spring框架来实现问卷的分页查询。也写成功了，结果如下： 但是虽然效果实现了，但是并不完美，可以看到问卷发布人只有发布人的id，还有模板分类的问卷模板id，看不到相关的具体文字描述，所以我们要修改前台的代码，并且在数据显示之前，把数据从别的表中查到存在前台界面的一个变量中。如下：（wcxuname_data在上面定义成全局变量了）...原创 2018-04-01 16:49:22 · 3690 阅读 · 0 评论 -
Python3遇到TypeError:cannot use a string pattern on a bytes-like object错误
今天写一个爬取股票网站的爬虫，遇到了 TypeError:cannot use a string pattern on a bytes-like object错误，这个问题查询了一下，说使用 html=html.decode('utf-8')#python3 就可以了，然后我想着对网页地址使用decode，但是这个问题一直都在，然后我将数据输出以后，发现了个问题：...原创 2018-07-10 16:25:40 · 10344 阅读 · 0 评论 -
安装centOS后不能使用yum指令解决办法
最近跟进了一个项目组，还没开始要我们自己了解一下docker与Kubernetes（K8s）。为了更方便使用docker，研一的学长推荐我安装centOS。PS：原先用Ubuntu，看他们都是centOS，还是统一一下吧。 学长给我发了iso镜像文件，在VMware中新建虚拟机，选择指定的iso镜像文件路径，然后一直下一步下一步到新建好。直接打开虚拟机，使用yu...原创 2018-10-20 16:51:43 · 4084 阅读 · 0 评论 -
centOS7安装docker遇到 [Errno 14] curl#35 - "TCP connection reset by peer问题解决
docker已经从昨天下午开始到现在装了两天了，真的一直在爬坑，遇到了各种问题，网上各种解决办法，有些配置文件改的我中间还重装了系统一次。今天终于解决了，中间遇到了[Errno 14] curl#35 - "TCP connection reset by peer这个问题，也解决了，写这一篇博客纪念一下装好docker，也给遇到这个问题的童鞋一个方案，亲测可以用。 遇...原创 2018-10-24 14:33:31 · 22758 阅读 · 2 评论 -
Linux安装Git服务器时使用make prefix=/usr/local all遇到make: *** 没有规则可以创建目标“all”。 停止。
今天在项目组的服务器中重新搭建Git，前面的下载压缩包、安装依赖与解压都很顺利，后来执行 make prefix=/usr/local all语句时报错： make: *** 没有规则可以创建目标“all”。 停止。我也用了网上的一些方法，比如安装openssl*再重新尝试。（命令：yum install openssl*），但是还是不行，报一样的错误。后面了解了一下make指令，...原创 2018-11-07 20:15:51 · 11424 阅读 · 5 评论 -
linux中安装Gitlab服务器后登录报错502解决办法（图文结合）
前几天安装好了本地的Gitlab服务器，都没什么问题，可以直接打开。但是今天一通过http//192.168.1.164:9090来访问直接报了502错误。如下图：502错误就是网关错误：服务器正在作为一个网关或代理来完成客户访问所需网址的请求。 为了完成该请求，此服务器访问一个上游服务器， 但收到无效响应。这通常并不意味着上游服务器已关闭（对网关 / 代理无响应），...原创 2018-11-18 22:32:27 · 11573 阅读 · 9 评论 -
IDEA下载Activiti源码后按Ctrl键加左击不能打开类（报Cannot find declaration to go to）
今天我将Activiti的源码下载下来，然后在IDEA中打开，这些源码都下载成功，但是按Ctrl键加鼠标左键并不能打开这个类，出现Cannot find declaration to go to 。情况如下图：我在网上也找了很多的原因和解决的办法，但是并没有用，打开以后还是会说找不到申明。最后发现一篇文章，说因为我导入时候没有用import，而是使用了open打开，所以我close...原创 2018-12-10 13:46:11 · 1259 阅读 · 0 评论 -
IDEA中导入Maven项目以后添加依赖却不能使用，报Cannot resolve symbol XXX
今天我外部导入了一个maven项目，后面要添加新的依赖。我在项目的pom.xml中写上了相关依赖，如下： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-...原创 2019-01-08 18:44:01 · 6590 阅读 · 2 评论 -
spring-boot项目启动中遇到Invalid property 'rememberme[key]' of bean class
今天在工作流平台搭建继承spring-boot时遇到了以下问题：Caused by: org.springframework.beans.NotReadablePropertyException: Invalid property 'rememberme[key]' of bean class [org.springframework.boot.autoconfigure.security....原创 2019-01-15 17:58:13 · 2590 阅读 · 5 评论 -
centOS6安装mysql5.7修改密码报 ERROR 1819 (HY000): Your password does not satisfy the current policy ...
今天在服务器中安装mysql时需要修改密码，但是修改简单密码时一直报ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 错误，如下图，接下来讲讲为什么出现这个问题并且怎么解决：为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于err...原创 2019-03-15 14:47:39 · 678 阅读 · 0 评论 -
Eclipse的preferences中没有maven解决办法并配置maven（总结）
一、首先下载并安装maven这里就不主要阐述了，下载、安装与配置本地仓库路径的步骤可以看这里：https://blog.csdn.net/JJBOOM425/article/details/102808157要是有不想去官网下载maven的同学可以使用下面这个百度云：链接: apache-maven-3.6.2-bin.zip提取码: t4fy我分享了现在最新的maven...原创 2019-10-29 21:18:11 · 5779 阅读 · 0 评论 -
将hive中的表使用sqoop导出到mysql数据库中（报错与问题解决）
今天在hue上将数据统计了一下，然后需要导出到mysql中给别人进行展示。由于是第一次在这里导出数据，所以出了一些问题，这里总结一下解决思路与解决办法。一、首先先在mysql中创建导出的表这里要确认字段属性与hive中的一致。CREATE TABLE `unperceived` ( `humanid` varchar(50) NOT NULL, `credentialsnum...原创 2019-11-22 17:08:57 · 2664 阅读 · 0 评论