- 博客(45)
- 收藏
- 关注
RSS订阅原创 蚂蚁金服SOFAArk框架解决spring boot多模块包冲突
目录背景SOFAArk应用SOFAArk解决包冲突打包Ark Plugin打包 Ark 包其他配置jvm类加载双亲委派机制背景在菊花云上进行开发，使用它们的Hbase服务过程中，由于其版本国语古老，所使用的依赖包也是非常早期的版本，导致和目前整体程序开发框架有较大的冲突，一个个排除冲突包工作量大，效率低。灵鸡一动，考虑到国内大厂复杂的业务场景，铁定有类似的情况并且开发了相应的开源解决方案，所以搜了一下，找到了蚂蚁金服开发的SOFAArk。SOFAArk官网地址：https://www.sofasta
2020-07-20 17:26:10
2074
原创 kafka日志被系统清理导致异常停止
kafka日志被系统清理导致异常停止,kafka报错如下：ERROR Failed to clean up log for __consumer_offsets-2 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-2/00000000000000000000.l
2020-06-24 11:03:36
2924
1
原创 win环境使用anaconda安装tensorflow2.0.0
安装anaconda使用的是：Anaconda3-5.3.1-Windows-x86_64.exe镜像下载地址： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/正常安装加环境变量就可，默认使用的是python37安装完成后cmd，查看conda版本：conda --version安装tensorflow1、 首先创建对应的环境，同样使用python3.7.0conda create -n tensorflow python=3.
2020-05-20 15:56:42
519
原创 kafka rebalance与数据重复消费问题
问题和现象：某个程序在消费kafka数据时，总是重复消费相关数据，仿佛在数据消费完毕之后，没有提交相应的偏移量。然而在程序中设置了自动提交：enable.auto.commit为true检查日志，发现日志提示：2020-03-26 17:20:21.414 WARN 28800 --- [ntainer#2-0-C-1] o.a.k.c.c.internals.ConsumerCoordi...
2020-04-02 17:48:17
2437
原创 Java forkjoin多线程笔记
先来看一段forkjoin的代码： public void func(){ for(int i=0;i<240;i+=24){ ForkJoinTask<Boolean> task = forkJoinPool.submit(new IteraPoint(i)); Boolean re...
2020-03-30 16:05:24
263
原创 spring-boot 引用jdbcTemplate bean could not be found
项目结构如下：father: module A module Bmodule A中引入jdbcTemplate 进行数据库操作；module B依赖于module A。B打成jar包运行，报错： required a bean of type 'org.springframework.jdbc.core.JdbcTemplate' that could not be found....
2020-03-23 16:57:47
3592
1
原创 JedisClusterMaxAttemptsException: No more cluster attempts left.
jediscluster入数据报错：Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is redis.clients.jedis.exceptions.JedisCluster...
2020-03-02 11:47:13
5623
原创 Redis集群redis.conf文件修改
#Redis集群redis.conf文件修改bind 10.10.20.* 127.0.0.1port 6380protected-mode nodaemonize yespidfile /var/run/redis_6380.pidlogfile "/var/log/redis/redis2.log"dbfilename dump_6380.rdbappendonly yesa...
2020-01-10 11:39:22
782
原创 redis使用RDB持久化，实例重启不自动加入集群问题
集群环境调试阶段，需要修改各种配置，其中遇到最麻烦的就是redis，经常出现实例kill掉之后，重启，redis-cli -c -h ip -p port连接，cluster nodes显示只有它自己一个实例作为master存在，没有其他节点。也就是说启动的时候没有读取cluster-config-file（nodes.conf）文件中的集群配置，多少节点，slot分配等等。启动之后日志也停留在最...
2020-01-09 16:18:32
981
原创 Java8 map,reduce,flatMap与Java异步执行中的问题
首先说一下我伪代码的结构：Map<Integer,List<A>> val;//function方法在另一个类中，并且用@Async注解标识，表示异步执行function(Map<Integer,List<A>> val);//call 1function(Map<Integer,List<A>> val);/...
2019-11-20 15:08:34
853
原创 byte与int转换
定义一个int数1527转化为二进制是：101 11110111总共是11bit，在你java里面执行：int num=1527;byte b=(byte) num;打印b得到的数字是：-9涉及int转byte溢出的问题，int32 是有32bit，byte只有8bit，java转的时候虽然不报错，但只会截取int最后8bit进行转换，如上面的11110111，第一位为富豪位，...
2019-11-04 11:56:30
497
1
转载 Linux下profile和bashrc四种的区别
Linux下profile和bashrc四种的区别转载：https://www.cnblogs.com/zhaojingyu/p/9008877.html/etc/profile、/etc/bashrc、/.bash_profile、/.bashrc很容易混淆，他们之间有什么区别？它们的作用到底是什么？/etc/profile: 用来设置系统环境参数，比如$PATH. 这里面的环境变量是对系...
2019-09-17 11:48:07
151
原创 OOZIE使用问题
问题一Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_15...
2019-04-12 15:08:49
981
转载 java中遍历实体类，获取属性名和属性值
原文地址：https://www.cnblogs.com/zy2009/p/6725843.html方式一(实体类)：//java中遍历实体类，获取属性名和属性值 public static void testReflect(Object model) throws Exception{ for (Field field : model.getClass...
2019-03-12 11:56:30
2844
原创 spring boot使用@Value注解获取properties空值问题
参考链接：https://bbs.csdn.net/topics/390936459第一次写spring boot程序，多少带有springframework那种思维方式。在使用@value注解获取properties文件中的属性值时，遇到了空值情况，最终原因是参考链接中32楼的答复：具体而言：@Component@PropertySource("classpath:applicatio...
2019-03-02 14:17:40
5508
1
原创 ntp时间同步问题
ntpdate同步在使用ntp同步内网中某台服务器的时间ntpdate 10.1.x.x出现以下错误：the NTP socket is in use, exiting这是因为ntp服务处于开启状态，如果关掉ntp服务：systemctl stop ntpd则会出现另一个错误，如下；通过百度，会看到各种复制、不经验证、乱七八糟的东西，结果不言而喻全是失败。no server s...
2019-01-09 15:22:45
2283
转载 kafka彻底删除topic和其数据
前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。转载文章，加一些批注，原文出处不详step1：如果需要被删除topic 此时正在被程序 produce和c...
2018-12-21 15:17:33
332
原创 kafka broker启动报错，删除broker存储数据后可行
一次kafka重启过程中，broker启动失败，报错：3:50:49.243 PM ERROR LogManager There was an error in one of the threads during logs loading: java.lang.NumberFormatException: For input string: "00000000000000000000_txt"...
2018-12-18 14:23:46
1101
原创 windows kafka设置advertised.listeners
在进行centos kafka集群与windows交互的过程中，发现centos上的kafka的consumer 或者 producer无法连接到windows的broker，报错如下：[2018-12-17 10:41:50,324] ERROR Error when sending message to topic test with key: null, value: 5 bytes wi...
2018-12-18 13:51:01
3414
原创 idea 错误: 找不到或无法加载主类
idea 错误: 找不到或无法加载主类今天创建一个工程，结构如下：myproject----src-------- main后来因为要与git上的项目同步，外面有封装了一个文件：allproject--myproject----src-------- main再次用idea打开，执行其中一个测试文件的main函数的时候，出现这个错误。具体解决如下：参考文章：https...
2018-11-23 19:56:06
763
原创 DataNode增加数据目录进行扩容以及UUID不一致问题
DataNode增加数据目录进行扩容以及UUID不一致问题DataNode扩容DataNode增加数据目录进行扩容以及UUID不一致问题增加DataNode数据目录进行扩容重启UUID不一致问题增加DataNode数据目录进行扩容HDFS在使用过程中，随着使用时间的不断增长，存储的数据越来越多，可能会出现磁盘容量不够的情况，这时候可以进行扩容，增加DataNode的数据目录。笔者使用的是CD...
2018-11-15 20:52:39
2165
原创 beeline连接HIVE默认登入使用anonymous用户权限不够
##beeline连接HIVE默认登入使用anonymous用户权限不够在用beeline连接hive查询表数据时，出现错误权限不够ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=anonymous, ...
2018-10-12 18:16:27
4764
原创 IDEA RUN WEB项目控制台没有日志输出
IDEA RUN WEB项目控制台没有日志输出，无论怎么点击页面，后台一点运行日志没有。以为是tomcat的问题，或者IDEA配置问题，结果怎么改配置都无法解决。当查看run的启动信息是，发现一个错误：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".原来是少东西了，但是我的pom.xml里面明明配置了这个依赖。这...
2018-09-25 16:44:11
16872
2
原创 zabbix安装笔记
zabbix安装笔记MySQL相关配置安装zabbix创建zabbix用户zabbix压缩包下载，解压安装导入数据库数据zabbix_server配置其他系统配置，启动、软连接等zabbix_agent配置zabbix_server启动错误另个坑：zabbix的web配置MySQL相关配置首先说明的是我的MySQL与zabbix server不在同一台机器上，这在后面zabbix安装好后进行配...
2018-09-20 17:02:05
595
原创 zabbix使用tomcat进行web配置
centos离线安装php以及相关问题汇总离线安装的两种方式php的压缩包tar.gz和rpm包重点过程初始依赖安装环境依赖检查和安装php安装错误整理网络上其他错误整理,安装成功及环境变量配置rpm方式安装参考离线安装的两种方式此次安装是为安装zabbix做准备。安装在测试环境上进行，有外网访问；正式环境是离线环境，没有外网访问。所以需要先将相关的软件包下载下来，这里有两种情况：通过yu...
2018-09-18 12:43:14
2262
原创 SQOOP从mysql导入数据到hive问题
需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下：sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8--username root --password 123456 --table test--target-dir /home/hdfs/data/t...
2018-09-11 12:02:15
2148
1
原创 shell获取mysql建表sql
脚本如下：#!/usr/bin/expect -f#科目一table_list_1=&quot;db1.table1,db1.table2&quot;#机动车table_list_2=&quot;db2.table1,db2.table2&quot;tables_1=${table_list_1//,/ }tables_2=${table_list_2//,/ }for ele in ${tables_1}do...
2018-09-10 15:29:27
856
原创 kafka在windows和centos下跨环境发送消息
参考文章： 文章一：https://blog.csdn.net/rico_zhou/article/details/79866076 文章二：https://blog.csdn.net/u012050154/article/details/76270655 文章三：https://blog.csdn.net/yuebao1991/article/details/72771599windo...
2018-09-05 18:20:22
456
原创 jar包分类：IDEA导入jar包问题
问题今天再IDEA里通过project structure导入jar包时，无论如何都导入不进去，只是在**.iml文件中加入了路径<orderEntry type="module-library"> <library> <CLASSES /> <JAVADOC /> <SOUR...
2018-09-05 14:03:18
1352
转载 【转载】MVC的dao层、service层和controller层
转载地址：https://blog.csdn.net/qq_26411021/article/details/794933401、dao层dao层主要做数据持久层的工作，负责与数据库进行联络的一些任务都封装在此，dao层的设计首先是设计dao层的接口，然后在Spring的配置文件中定义此接口的实现类，然后就可以再模块中调用此接口来进行数据业务的处理，而不用关心此接口的具体实现类是哪个类，显...
2018-09-04 10:26:57
1429
转载 python解析xml文件
原文出处：http://www.runoob.com/python/python-xml.html常见的XML编程接口有DOM和SAX，这两种接口处理XML文件的方式不同，当然使用场合也不同。 python有三种方法解析XML，SAX，DOM，以及ElementTree:SAX (simple API for XML )python 标准库包含SAX解析器，SAX用事件驱动模型，通过...
2018-02-27 19:28:12
1817
原创 逻辑回归之python实践
逻辑回归之python实践数据集样例：4.6,3.2,1.4,0.2,Iris-setosa5.3,3.7,1.5,0.2,Iris-setosa5.0,3.3,1.4,0.2,Iris-setosa7.0,3.2,4.7,1.4,Iris-versicolor6.4,3.2,4.5,1.5,Iris-versicolor6.9,3.1,4.9,1.5,Iris-versic
2018-01-31 16:12:38
418
转载 Spark: Could not find CoarseGrainedScheduler
原文地址：http://www.cnblogs.com/xiaoma0529/p/7094591.html spark on yarn 2.0.1偶尔出现报错：2018-01-22 12:36:05,804 ERROR org.apache.spark.network.server.TransportRequestHandler: Error while invoking RpcHandl
2018-01-22 17:05:06
7518
1
转载 逻辑回归
Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。
2018-01-18 14:38:15
535
原创 Spark随机森林之多分类模型
Spark随机森林之多分类模型关于随机森林随机森林算法是机器学习、计算机视觉等领域内应用极为广泛的一个算法，它不仅可以用来做分类，也可用来做回归即预测，随机森林机由多个决策树构成，相比于单个决策树算法，它分类、预测效果更好，不容易出现过度拟合的情况。
2017-03-07 19:24:48
9564
原创 MySQL Access denied for user 'root'@'localhost'
#MySQL Access denied for user ‘root’@’localhost’
2017-02-10 18:45:19
552
转载 CentOS升级Python2.7.12
CentOS升级Python2.7.12Linux上自带的python是2.6版本，需要升级到2.7.12
2017-02-06 19:42:06
730
原创 SparkSQL schema创建DataFrame
通过case class创建DataFrame通过case class 把rdd转化为DF是我们常用的方法，当字段较多时，就不方便用case class来创建DataFrame。可以使用SparkSQL schema创建DF。
2016-12-27 10:22:38
4442
原创 数据降维和特征选择
数据降维和特征选择博主言：本文作为理论和概念整理，不做公式推导和详解计算过程，如需了解相关概念的计算公式和过程，在文后的参考链接中有详细的公式，计算过程和实例。
2016-11-26 11:50:37
12945
转载 （转）Spark性能优化指南——高级篇
关于博客转眼入Spark的坑已经有三个月，不断尝试，不断练习，翻阅网上海量的资料，终有所得。博客的原文来自美团点评技术团队的李雪蕤,文章对Spark程序的性能调优有一个系统、详细的讲解，希望对被Spark性能问题所困扰的各位有所帮助。
2016-10-22 15:49:22
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人