- 博客(19)
- 收藏
- 关注
原创 springboot集成kafka报错:java.lang.ClassNotFoundException:org.springframework.kafka.transaction.KafkaAwar
用于Apache Kafka 2.0.x Spring与Spring Boot 2.1.x不兼容。 您必须使用Spring-Kafka 2.2.x 仅依靠Spring Boot本身的依赖关系会更好
2020-12-30 16:27:37 437
原创 阿里云ESC安装Mysql报错:未找到匹配的参数: mysql-community-server 错误:没有任何匹配: mysql-community-server
解决方法参考链接: https://blog.csdn.net/yanchao963852741/article/details/105297519/
2020-12-11 15:19:17 1018 1
原创 阿里云搭建hadoop集群学习记录
背景按照阿里云搭建hadoop集群时,发现hadoopUI页面访问不到,在后台查看部署启动都没有问题,hdfs也可以上传文件以及获取文件。解决方法1 在/etc/hosts文件中定义内网ip与自己的域名对应。类似如下图:2 在hadoop的配置文件中,将所有涉及地址的,改成自定义的域名。3 配置完成后,需要在阿里云,设置自己定义的域名4 在安全组设置你需要对外开放的接口,可以提交。5 打开hadoopUI界面成功...
2020-12-11 14:36:16 183
原创 大数据安装前的环境优化
背景大数据组件安装前,linux系统的环境优化。具体操作1 系统盘raid1,存储盘raid0,hdfs三备份不用raid造成冗余,若对元数据信息安全系数特别高,namenode所在磁盘可做raid1双备份。2 关闭硬件节能模式(bios)。3 双网卡模式选择bound6(平衡负载)。4 储存盘多块,减少磁盘io。5 禁用swap6 时间同步7 关闭selinux8 关闭防火墙iptables9 将root可以启动的单一进程的最大可以打开的文件数设置为65535(ulimit-n 6
2020-12-09 14:15:19 105
原创 Flink重新编译
背景由于实际生产环境当中,我们一般都是使用基于CDH的大数据软件组件,因此我们Flink也会选择基于CDH的软件组件,但是由于CDH版本的软件并没有对应的Flink这个软件安装包,所以我们可以对开源的Flink进行重新编译,然后用于适配我们对应的CDH版本的hadoop准备工作安装maven3版本及以上:(参考:链接: https://blog.csdn.net/qq_38270106/article/details/97764483.查看是否安装成功安装jdk1.8:省略查看是否安装成功:
2020-12-08 22:20:05 249
原创 hive在新增内部表的数据报错:Invalid resource request, requested memory < 0, or requested memory > max configured
java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024 at org.apache.hadoop.yarn.server.resou
2020-08-27 11:04:37 1820 1
原创 三台虚拟机其中一台连不上网(failed to start lsb:bring up/down networking)
在学习大数据的过程中,发现mac搭建的三台虚拟机其中一台连不上网,是因为网卡一直不被激活的问题。检查所有配置没有问题后,查看报错信息,systemctl status network.service忘了截图,幸亏错误信息还有,哈哈哈failed to start lsb:bring up/down networking通过百度才知道,还可以进一步看错误信息(参考:https://blog.csdn.net/chenyiming2010/article/details/83713391)cat
2020-08-25 15:55:09 1337
原创 mac安装配置scala
1、下载最新版scala,http://www.scala-lang.org/2、在你希望的安装路径下解压tgz.3、配置环境变量Scala_Home、和PATH: (1)进入终端你的scala解压路径下的bin目录;例如jaycicledembp:~ jaycicle$ cd scala-2.11.7/bin (2)在bin目录下利用sudo进入vim编辑模式,修改配置文件profile:输入sudo vim /etc/profile (3)在文件末尾加入相应的环境变...
2020-07-10 17:46:42 327
原创 mac 查看本地使用和未使用端口
mac 查看本地使用和未使用端口打开mac关于本机点击窗口,选择网络使用工具选择端口扫描,输入本地地址,进行扫描,得到mac在使用的接口
2020-06-12 11:46:34 464
原创 阿里巴巴java开发规范泰山版
规范一下自己的代码层次 新增 查询 更改 删除Controller :create /query/change/removeservice:add/get/modify/cancelDao :insert/select/update/delete...
2019-12-27 10:48:24 451
原创 Mac Linux虚拟机无法上网的问题
编辑ifcfg-ens33 文件设置网络信息第一步修改BOOTPROTO 和 ONBOOT字段,如下图所示vi /etc/sysconfig/network-scripts/ifcfg-ens33第二步设置IP地址和子网掩码linux的IP地址的网段和子网掩码需要与本机一致,so 先查询本机,操作如下:cat /Library/Preferences/VMware Fusion/v...
2019-09-29 00:53:24 1198
原创 使用SUM() 遇到的坑
使用SUM() 遇到的坑遇到的问题select sum(out) ,sum(in),sum(out+in) from table结果: 3,4,6第一反应结果不应该是3,4,7嘛???解决办法:select sum(out) ,sum(in),sum(out)+sum(in) from table测试一下select sum(out) ,sum(in),sum(out+in)...
2019-09-28 11:47:33 428
原创 使用Bigdecimal遇到的那些坑
使用Bigdecimal遇到的那些坑为了方便计算有关金钱的字段,将类型设置成BigDecimal,但是在请求返回数据以Json形式返回时,发现的有失精度查网上有两种解决方法:第一种:数据类型直接设置成String类型,计算的时候转为BigDecimal,并设置它的小数点。 BigDecimal usermaoney = new BigDecimal(user.getSummoney())...
2019-01-18 10:48:03 3135
原创 linux的部署项目的一些命令
linux的部署项目的一些命令本地上传文件到服务器本地文件地址:Users/edz/demo/activity/target/activity-0.0.1-SNAPSHOT.jar服务器地址:root@10.24.21.85:/usr/local/tomcat/demo执行命令scp /Users/edz/demo/activity/target/activity-0.0.1-SNAPS...
2019-01-17 10:46:37 184
原创 Date与String的相互转换
Java时间转化类型SimpleDateFormate的几种形式 public static void main(String[] args) { SimpleDateFormat simpleDateFormat0 = new SimpleDateFormat("yyyy-MM-dd"); SimpleDateFormat simpleDateFormat1 ...
2018-12-29 11:59:07 365
原创 BigDecimal的加减乘除/比较大小
BigDecimal的加减乘除/比较大小BigDecimal的简介BigDecimal 由任意精度的整数非标度值 和32 位的整数标度 (scale) 组成。如果为零或正数,则标度是小数点后的位数。如果为负数,则将该数的非标度值乘以 10 的负scale 次幂。因此,BigDecimal表示的数值是(unscaledValue × 10-scale)。BigDecimal的加减乘除 pub...
2018-12-28 17:25:18 418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人