【项目实践】
项目中遇到的问题,记录
Mandy_i
科技让生活更美好,终身学习的践行者
展开
-
【项目实战】——历史数据归档
迁移目标 按季度(每个租户自定义季度日期且各不相同)划分,有明显的冷热数据区分,目标将冷数据分隔,减少单表过大,提供SQL等业务处理能力,期待预期按租户自定义时间迁移,且迁移过程实现自动化,无需人工干预。归档方案 按各租户自定义中季度日历进行迁移,热数据保留最近四个季度的数据,其他数据,以日历中设定的春暑秋寒四个季度为年,进行年维度的历史数据归档。执行方案定时任务,每日执行定时任务,判断各个租户当前所属季度,判断上一年的该季度数据是否已经完成迁移,无迁移记录,...原创 2020-09-20 23:03:12 · 2775 阅读 · 0 评论 -
【配置中心】——配置中心选型
什么是配置中心不使用配置中心 没有采用独立的配置中心,每次修改配置参数只能通过手动修改配置文件的方式,然后再重启重启重启,而且机器又是多台,这种方式无疑是非常低下的,而且极容易出错。何为配置中心? 由IT基础框架推出的统一配置管理产品。基于该配置中心产品,您可以在DevOps、微服务等场景下极大地减轻配置管理的工作量,增强配置管理的服务能力。功能...原创 2019-04-03 23:04:52 · 1671 阅读 · 0 评论 -
【小白做项目Java】——POI导入和导出 execl文件
前提 在项目遇到要求上传并且能解析Excel文件的功能。在这个功能利用Apache POI刚好能完美解决。何为POI Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。HSSF概况 HSSF是Horrible SpreadSheet Format的缩写,通过HSSF原创 2017-07-21 17:04:58 · 1473 阅读 · 59 评论 -
【物流系统】——C#Oracle批量导入(三)全表匹配
前提 介于Oracle.DataAccess.dll使用问题,小编又找了一种新的替代方式,还请技术主管帮忙封装了一下,以后遇到大数据导入的时候,就再也不害怕了,哈哈。 忍不住了直接上代码了哈哈。过程参数赋值到sql中 private void PrepareCommand(OracleCommand cmd, OracleConnection conn,原创 2017-03-09 17:02:38 · 3655 阅读 · 25 评论 -
【物流系统】——C#Oracle批量导入(二)OracleBulkCopy
前提 上一版的导入十分麻烦,2W的数据量和死机了似得。经过不断的探索,终于搞出了优化后的一版,优化之后用时不超过5秒。下面就是demo了,哈哈。 因为我在解析完xml之后把所有的数据都放到list中了,但是使用OracleBulkCopy,实现就是表和表之间的复制,就是把数据放到DataTable中,然后直接复制到数据库对应的表中。OracleBulkCopy使用所以利原创 2017-03-09 16:37:26 · 6530 阅读 · 12 评论 -
【物流系统】——C#中Oracle批量导入(一)
前提 导入数据量1W,因为在小编做这个xml导入之前系统中已经有execl导入了,小编也没多想,就按照前人的封装做了一版,数量不大的时候使用起来完全没有毛病。 封装在DbHelper中,执行多条SQL语句,实现数据库事务的方法。数据库用的Oracle /// /// 执行多条SQL语句,实现数据库事务。 ///原创 2017-03-09 15:12:21 · 1984 阅读 · 9 评论 -
【物流系统】——C#解析XML
前提 可能是组长看我太闲了,所以给我派了个活,解析xml,然后存入到数据库中。当我打开xml的时候瞬间不开心了,因为乱糟糟的,而且一下看不到文档的尽头,后来仔细看看,发现数据量1w,瞬间觉得这是个小挑战了。不管数据量的问题了,还是先把xml解析出来吧。保留了文件中的所有节点,删除了大部分数据,留下几条,方便测试。解析 解析过程,直接上代码了啊,代码中有注释,有需要的自行查看原创 2017-03-09 14:15:07 · 583 阅读 · 11 评论 -
【C#】StringBuilder和string对比
StringBuilder对小编来说是一个非常新的概念,所以小编先来认识一下这个全新的内容StringBuilder。StringBuilder类在C#中一般被用来拼接字符串,依托.NET Framework可以实现添加替换移除等灵活的动态字符串操作。在.NET Framework中使用StringBuilder类来串联字符串。代码使用 StringBuilder 类的 Append 方法来串联字原创 2016-07-17 20:36:58 · 1678 阅读 · 20 评论 -
【菜鸟学EF】——初识EF
前提 首先感谢组织给的机会,有幸参加到图书馆管理系统中,也是在这个过程学习到很多内容,其中这个系统采用MVC+EF+WCF,关于涉及到这三种都刚刚开始接触,希望将这些内容和大家分享一下。ORM 对象关系映射(英语:Object Relational Mapping,简称ORM,或O/RM,或O/R mapping),是一种程序技术,用于实现面向对象编程语言里不同类型系统的数据之间的转换。从原创 2016-06-05 19:20:30 · 1769 阅读 · 27 评论 -
【机房合作】——总结
【前提】 寒假的时候我,雷哥,晓洁我们三个开始机房收费系统的合作之旅,经历不到一个月的时间,完成了第一个合作的项目。在这个过程中无论是从项目开发的角度,还是从学习的角度,收获都是非常多的!【文档和UML图】 首先感谢小伙伴们的信任,让我来当这个组长。也不得不说自己当不是很称职啊。合作版的机房开发,采用的文档驱动,这个就属于软件开发中的瀑布开发。 瀑布模型式是最典型的预见性的方法,严格遵循原创 2016-04-10 11:33:26 · 877 阅读 · 31 评论 -
【项目学习】——C#自动生成错误日志
前提 系统中的错误日志是一个非常重要的部分,能很好的帮助开发人员了解系统的问题,及时改进系统,提高软件的使用效率。而且这一部分之前师傅也曾提到过,可是千言万语都抵不过一个“懒”字,这次更是项目必须用到了,才真正想到要去实现一下。 我这次做的这个功能是为了给用户看到,目的利用这个日志提示导入Excel模板中有多少内容存在问题,方便用户修改。为了用户方便,所有的错误信息提示,由原创 2016-08-21 20:56:07 · 2201 阅读 · 30 评论 -
【项目学习】——下载Excel模板
小编最近在跟项目,在项目中的历练也是学习到了很多,不知道大家是否曾注意到在很多项目中有模板下载的功能。自己做的ITOO的考评模板时,有很多导出导入的功能,一直算是一个功能的维护吧。只是简单看过,没有机会,感谢订餐系统,给了这次机会,也是自己发挥死不要脸精神,非要给人家做一个功能吧。 首先说要做模板的格式取决于什么?主要是在导入Excel的过程需要哪些内容,这些刚好成为制作模板的主要组成部原创 2016-08-21 20:17:21 · 988 阅读 · 23 评论 -
【考试系统运维】——管理至上
小编最近接手了一个考试系统的运维工作,与之前不同之处,这次小编是管理层的,可是近来的一些经历,真是让小编深知管理层的不容易,以及个人在管理上的不足之处啊。全局观 作为一个项目的负责人,必须先对这个项目有一个全局的把控,知道总体的任务量,以及大概需要分为哪几部分,以及工期时间,是否留有多余的时间。虽然可以按上述内容划分,但是这是一个完成的系统,任何的活动都不应该将整个系统分割开!工作调度 首先自己原创 2016-07-04 11:40:56 · 1419 阅读 · 29 评论 -
【考试系统运维】——认识运维
前提 其实小编之前也接手过一些系统的运维工作,例如永和豆浆收银系统的运维,可是直到这次接手考试系统的运维工作,出现问题才让小编去思考到底什么是运维?做系统的运维工作,我们到底该做什么?真是发现了问题才会真正的停下脚步去思考问题所在之处。什么是运维? 运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有原创 2016-07-03 17:08:52 · 2169 阅读 · 20 评论 -
观察者模式实现报表实时更新
前提 最近重构的项目涉及到很多报表的统计,重构之前报表的数据更新为每小时更新一次,这次重构过程希望可以做到实时更新,一方面可以减少测试成本,另一方面从根本上提供用户体验度。其实做实时查询,业界有很多成熟的方案,最近最常用的就是es,solr等搜索引擎,小编这次的项目数据量从零开始,短时间内容达不到那么高,其次能用技术方案解决就尽可能减少设备的投入,尽可能减少成本。需求现状...原创 2019-06-16 23:22:20 · 907 阅读 · 2 评论 -
【开发进阶】——MySQL配置主从同步,代码层实现读写分离
前提1、服务器环境 centos7 2、MySQL5.7 3、在两台机器完成MySQL的安装相关内容 4、框架ssm+数据连接池druid+p6spy配置主从同步主服务相关配置 1、在my.cnf中设置如下内容server-id=1log-bin=master-binlog-bin-index=master-bin.index2、创建用户,并授权crea...原创 2018-07-29 15:35:51 · 827 阅读 · 8 评论 -
【Springboot】——整合p6spy格式化SQL日志
项目现状介绍 项目使用Springboot+Mybatis作为基础框架,项目中日志框架采用logback+Slf4J,关于日志中SQL部分日志的打印采用的mybatis本身打印格式,sql语句正常输出,参数的位置使用占位符“?”替代。这样造成问题就是在处理项目中的sql问题,sql格式打印不规范,从sql日志查看,到sql日志运行判断都会花费一些重...原创 2018-11-11 23:11:26 · 6816 阅读 · 6 评论 -
【Java进阶】——初识数据库连接池
【简介】 数据库连接池:程序启动时建立足够的数据库连接,并将这些连接组成一个连接池,由程序动态地对池中的链接进行申请,使用,释放。 相比之前的程序连接,减少了数据库的打开关闭次数,从而减少了程序响应的时间。在需要数据库连接的时候直接在数据库连接池中拿取数据连接,进行操作,等使用完成之后将资源放回到数据连接池中,等待下个任务的使用。【原理】 早期:原创 2017-04-07 10:45:19 · 836 阅读 · 21 评论 -
【Java】——list中快速进行数据筛选
小编最近的项目中经常需要多个list拼接成一个,才能进行之后的操作,如何保证多个list拼接是一条数据呢?大家都知道list不能根据唯一标识进行筛选,那岂不成需要循环依次遍历,考虑系统处理的数据量,这个执行起来那是相当影响程序的执行效率了,不能这样将就啊,所以肯定能寻找到更好的方法! 记得看疯狂Java的时候集合和Map是放到同一章节的,而且Map最擅长就是检索,所以小编转换了一下原创 2017-09-17 21:32:30 · 26285 阅读 · 18 评论 -
【项目实践】——java异常A child container failed during start
前提 小编使用的是maven的tomcat7插件,结果在启动项目的一直提示Failed to execute goal org.apache.tomcat.maven:tomcat7-maven-plugin:2.2:run,Could not start Tomcat,于是各种问题各种查找,里里外外折腾了一个多星期,甚是心塞!环境配置 maven的tomcat7插件,jdk原创 2017-10-08 14:46:55 · 1061 阅读 · 7 评论 -
【项目实践】——工具Eclipse中maven项目控制台无法打印内容
前提 因为一些外部原因,小编的java环境被破坏了,重装了jdk和tomcat,以及maven等内容,结果再使用Eclipse开发的时候发现控制台没有任何内容打印,各种配置尝试无果啊!!!配置环境 jdk 1.8,tomcat7,maven3.5,Eclipse Luna Service Release 1 (4.4.1)解决方案 因为之前项目可以正常启动,所原创 2017-10-08 20:18:02 · 502 阅读 · 9 评论 -
HTTP Status 500 - The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either w
HTTP Status 500 - The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xml or the jar files deployed with this applicationtype Exception reportmessage The absolute原创 2017-12-27 08:24:10 · 1944 阅读 · 12 评论 -
struts2出现There is no Action mapped for namespace [/] and action name [Login] associated wi
最近参加了一个新项目,框架是SSH,一开始真是各种问题乱报!!经过几天的折腾时间,好在终于解决了!没有写action,利用权限控制页面跳转 /WEB-INF/pages/{1}/{2}.jsp 问题There is no Action mapped for namespace [/] and action name [log原创 2018-01-02 21:56:45 · 6079 阅读 · 4 评论 -
ERROR ContextLoader:307 - Context initialization failed
错误详情ERROR ContextLoader:307 - Context initialization failedorg.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: file [D:\06、itoobehind\bos19\ou原创 2018-01-03 08:18:38 · 9659 阅读 · 6 评论 -
【异常】The last packet successfully received from the server was 179 milliseconds ago.
问题 系统中功能批量插入,当数据量大了之后这个插入不进去了,报出异常如下Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failurejdbc.exceptions.jdbc4.CommunicationsExcept...原创 2018-03-11 15:46:14 · 42747 阅读 · 12 评论 -
【异常】 com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1354 > 1024)
问题Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1354 > 1024).You can change this value on the server by setting themax_allowed_packet' variable分析根据问题就...原创 2018-03-11 16:01:41 · 391 阅读 · 6 评论 -
【异常】——javax.mail发送邮件过程常见错误
前提 最近开发发送邮件功能,出现一些问题,特此记录一下。小编开发过程一直都是单元测试,可以发送成功,但是从swagger就是一直提示错误。问题一javax.mail.MessagingException: 500 Error: bad syntax其实翻译一下错误,语法不对。再加上小编出现错误的前提,功能肯定可以能用,所以怀疑对象为传输过程出现了问题。使用debug调试了一下,发现传输过程过...原创 2018-05-05 16:46:20 · 3004 阅读 · 8 评论 -
【Jenkins】——构建异常 Could not parse metadata xx/xx/maven-metadata-local.xml
今天中午小编收到项目Jenkins报错异常,异常具体情况如下[ERROR] Failed to execute goal org.apache.maven.plugins:maven-install-plugin:2.4:install (default-install) on project authorizationManagement-service:Failed to install ...原创 2018-06-27 15:52:41 · 16127 阅读 · 15 评论 -
Caused by: java.lang.NoClassDefFoundError: org/springframework/cloud/client/loadbalancer/LoadBalanc
项目版本 spring boot 2.0.0.M3 spring cloud 2.0.0.M2构建环境 gradle问题spring cloud feign 启动报错 Caused by: java.lang.NoClassDefFoundError: org/springframework/cloud/client/loadbalancer/LoadBalancedRetryF...原创 2018-07-14 10:13:55 · 15972 阅读 · 2 评论 -
com.netflix.client.ClientException: Load balancer does not have available server for client xxxx
版本spring boot: 2.0.1.RELEASEspring cloud: Finchley.M9错误通过zuul调用eureka注册的服务,错误内容如下Caused by: com.netflix.client.ClientException: Load balancer does not have available server for client xxxxx方案经过查询排查,两种...原创 2018-07-14 20:53:52 · 70328 阅读 · 13 评论 -
【BusinessSystem】——POI导入Excel校验时间格式
起因        最近小编做了一个导入的功能,在这个导入的excel表格中存在36列,对于excel中的每一个单元格都有独立的验证方式,一般的验证都在接受范围内容,其中在excel表单中对12列关于时间的内容,导入时间的格式分为两种,也就是为了校验这两种时间格式,真是好烦人!!!&原创 2018-10-23 21:02:02 · 3747 阅读 · 4 评论 -
【Java代码篇】——随机产生验证码以及错误OgnlValueStack:64
前提 在这个互联网的时代,验证码的身影已经出现在各个角落里,验证码在我们使用各类网站的时候也发挥这不可替代的作用,时时刻刻保证用户的权益。可能关于验证码设置最厉害的也就是12306吧。用户没有被堵塞到购票的大军中,而是阻拦到登录的验证图上,关于验证码陪我们走过的那些段子,我就是不说了,直接奔向主题,在Java类中实现验证码的生成。代码篇import java.aw原创 2017-02-17 10:08:42 · 991 阅读 · 15 评论