- 博客(25)
- 收藏
- 关注
RSS订阅
原创 python 获取微信公众号的文章（持续更新）
需求场景：关注很多的微信公众号，有时候看到很好的文章，过段时间再想查看下，发现找不到历史的文章记录了，也没有一个根据文章名称检索的地方。现在利用python爬虫爬取微信公众号的文章，数据存入到数据库中。可以定时读取微信公众号的最新文章，方便日后的读取和查询。实现思路：通过微信公众号登录获取想要的微信公众好的fakeid，token和cookie（token和cookie是每天更新的，这个目前还没有实现自动获取，后续更新会继续）。现将步骤和代码奉上步骤一：登录微信公众号获取token和cookie，f
2020-11-20 13:37:51
644584
8
原创 python3 for循环踩过的坑
最近在用python练习写点爬虫，想着把双色球的历史记录爬下来存入mysql中，爬取数据没有遇到什么问题，在处理数据存入数据库的时候遇到问题了，现把问题整理出来方便自己日后查询也能帮助有缘人士：一、从双色球历史网站爬取数据存成html文件；import urllib.requesturl = 'https://datachart.500.com/ssq/history/newinc/history.php?start=1&end=20109'request = urllib.requ
2020-11-04 10:48:23
651422
1
原创 Linux top命令详解
使用top命令，可以查看正在运行的进程和系统负载信息，包括cpu负载、内存使用、各个进程所占系统资源等，top可以以一定频率更新这些统计信息。默认输出top命令的默认输出如下：上半部分显示了整体系统负载情况top一行：从左到右依次为当前系统时间，系统运行的时间，系统在之前1min、5min和15min内cpu的平均负载值Tasks一行：该行给出进程整体的统计信息，包括统计周期内进程总数、运行状态进程数、休眠状态进程数、停止状态进程数和僵死状态进程数Cpu(s)一行：cpu整体统计
2020-10-30 11:25:39
654867
原创 Invalid bound statement (not found) 报错解决
今天在代码优化的时候，项目启动的时候一直报这个错误。刚开始以为是Mapper名字写的和xml对不上，经过仔细核对发现没有问题。最后经过多方面找，最终确定下来是idea新版本的问题。一般情况下xml文件放在static静态资源下面，现在人们的开发习惯喜欢和mapper放在一起，就会报这样的错误。解决方法如下:在build里面添加： <build> <resources> <resource> ...
2020-08-19 16:57:38
714494
1
原创 无法在web.xml或使用此应用程序部署的jar文件中解析绝对uri：[http://java.sun.com/jsp/jstl/core]
在把项目打成war包发布到linux的时候，遇到这个问题：解决方法：第一步：确认打完之后的包WEB-INF的lib下面有jstl-1.2.jar和standard-1.1.2.jar(当然版本可以和我的不一样)；如果是在idea中的maven项目则检查顺序：需要选择【File】-【Project Structure...】 选择【Artifacts】-【Output Layout】。看看Available Elements这一侧有没有jar包，如果有就说明没有导入成功，对jar包右键-Put
2020-05-25 17:35:57
785545
5
原创 防止表单重复提交(java实现)
一、场景由于用户误操作，多次点击表单提交按钮。 由于网速等原因造成页面卡顿，用户重复刷新提交页面。 黑客或恶意用户使用postman等工具重复恶意提交表单（攻击网站）。这些情况都会导致表单重复提交，造成数据重复，增加服务器负载，严重甚至会造成服务器宕机。因此有效防止表单重复提交有一定的必要性。二、使用AOP自定义切入实现实现原理：自定义防止重复提交标记（@AvoidRepeatableCommit）。对需要防止重复提交的Congtroller里的mapping方法加上该注解。新增A
2020-05-19 18:04:04
782802
原创 pdf文件转图片（java实现）
项目中pdf文件太大，在手机端打开缓慢。需要将pdf文件转换成图片。加载比较快，增加用户体验。话不多说，直接上干货。一、在pom引入依赖的jar <!-- https://mvnrepository.com/artifact/org.apache.pdfbox/fontbox --> <dependency> <groupId>org.apache.pdfbox</groupId>
2020-05-11 14:57:26
792124
3
原创 数据同步中间件之——canal
官方文档请参考： 1）gitlab：https://github.com/alibaba/canal 2）主要原理介绍：https://github.com/alibaba/canal/wiki/canal%E4%BB%8B%E7%BB%8D 2）运维操作文档：https://github.com/alibaba/canal/wiki/AdminGuide...
2020-05-06 14:39:02
794902
原创 Elasticsearch分页查询、排序、多条件查询（java API）
最近公司项目用到Elasticsearch，自己摸索了好几天才把这个弄明白，和大家分享一下：一、建立Elasticsearch连接package com.wlsj.yshj.config;import org.apache.http.HttpHost;import org.apache.http.client.config.RequestConfig.Builder;impor...
2019-12-26 10:44:39
807377
4
原创 java.lang.ClassLoader:org.apache.poi.openxml4j.exceptions.OLE2NotOfficeXmlFileException
在做数据写入word模板中的时候一直报这个错误：经过一天时间的定位发现是poi版本的问题原先版本： <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.14</version> <...
2021-09-09 10:36:37
3577
1
原创 JSONArray和List相互转化（java）
1.List转JSONArrayList<T> list = new ArrayList<T>();JSONArray array= JSONArray.parseArray(JSON.toJSONString(list))；2.JSONArray转ListJSONArray array = new JSONArray();List<UserProfileInterval> list = JSONObject.parseArray(array.toJSONS
2021-09-02 10:20:38
15886
原创 Navicat导出数据库结构
SELECTCOLUMN_NAME 列名,COLUMN_TYPE 数据类型,COLUMN_KEY 主键,COLUMN_COMMENT 注释FROMinformation_schema.`COLUMNS`WHERETABLE_SCHEMA='middleground'ANDtable_name='sys_user'
2021-06-28 09:51:57
269
原创 SpringBoot集成kafka配置使用（二）
对于kafka没有账户密码的配置文件spring: servlet: multipart: max-file-size: 10MB max-request-size: 10MB kafka: bootstrap-servers: 100.63.51.15:9092 producer: # 发生错误后，消息重发的次数。 retries: 0 #当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。
2021-05-24 09:33:45
665
原创 SpringBoot集成kafka配置使用（一）
目录1、pom文件的引入2、kafkaConfig3、消息的生产者（KafkaSender）4、消息的消费者（KafkaReceiver）5、yml配置文件项目中原版使用的是rocketmq，由于客户那边用的是kafka。先把中间件更换长kafka，步入正题：1、pom文件的引入 <!-- kafka --> <dependency> <groupId>org.spring
2021-05-07 15:49:14
530379
4
原创 java读取json文件把数据存入数据库中
//读取json文件 public static String readJsonFile(String fileName) { String jsonStr = ""; try { File jsonFile = new File(fileName); FileReader fileReader = new FileReader(jsonFile); Reader reader = ne...
2021-03-25 09:56:17
3978
4
原创 Mysql统计某一个字段中某个字符的数量（逗号，||，；等等）
实现原理：首先统计出这个字段的长度，然后把需要统计的字符替换成空的，两个长度想见再加1就是需要统计的数值了。例如：SELECT `乡(镇、街道)`,LENGTH(帮扶需求) - LENGTH(REPLACE(帮扶需求,',','')) + 1 LENGTH FROM 家庭基本信息 ;...
2020-12-08 10:58:55
5364
1
原创 误删idea 的.iml文件后的处理方法
在缺少.iml文件项目下运行mvn idea:module，完成后将自动生成.iml文件从博文https://blog.csdn.net/dmcpxy/article/details/52522968中了解到几个maven idea的命令。生成.ipr文件: mvn idea:project生成.iws文件: mvn idea:workspace生成.iml文件: mvn idea:module...
2020-10-27 09:19:31
4145
2
原创 JAVA 8 新特性
业务场景：从数据库查询出的数组（户主和户成员在前一起）根据一个户主证件号码分组之后，对户成员进行数据拼装，最后再把数据更新到目标表中。第一步：根据条件查询数组；List<UpdateMonitorVo> listIdCard = updateMonitorMapper.listIdCard();第二步：根据户主证件号码进行分组；Map<String, List<UpdateMonitorVo>> companyVehicles = listIdCa
2020-10-20 10:52:01
659607
2
原创 mysql类似to_char()to_date()函数mysql日期和字符相互转换方法date
mysql常用日期转换方法： date_format(date,'%Y-%m-%d') -------------->oracle中的to_char(); str_to_date(date,'%Y-%m-%d') -------------->oracle中的to_date(); %Y：代表4位的年份 %y：代表2为的年份 %m：代表月, 格式为(01……12) %c：代表月, 格式为(1……12) %d：代表月份中的天数,格式为(00……31) %e：代表
2020-10-19 09:33:55
658314
原创 Windows找不到文件“gpedit.msc”
在这个路径下面HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\ParametersAllowEncryptionOracle修改0为2如果没有路径则新建如下图所示
2020-05-15 13:31:10
7160
3
原创 ORCLAE创建UUID
-- 创建表时 设置字段 自动生成UUIDcreate table 表名(字段名 varchar2(256) default sys_guid(),name varchar2(256)) ;-- 修改已有表 设置字段 自动生成UUIDalter table 表名 modify 字段名 default sys_guid() ;update 表名 set 字段名 = sys_guid ...
2020-04-20 10:02:52
11382
原创 java.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpout
运行storm就报错：java.lang.NoClassDefFoundError: org/apache/storm/topology/IRichSpout找不到Spout，明明是引入了storm-core的pom信息检查发现，在引入pom信息中指定了scop域为provided，但代码中运行storm是本地模式，所以运行时找不到strom相关的jar<depend...
2020-03-09 15:10:44
11619
原创 java.lang.NumberFormatException: For input string: ""
1、异常报错原因分析：实体属性类型是Integer，就把example转为Long类型，而example默认为"",导致转换错误。解决办法：总结：写代码的时候要认真点。按照规范来写。...
2019-12-05 17:07:54
11700
原创 Java RestTemplate post 请求参数解决方法
困扰接近一周的问题，尝试了多种方法之后，最后还是用原始的方法解决问题。以下建立用 MultiValueMap 这个很重要，Map千万不要用。请求头中的数据类型也很关键在postman中可以测试通过，注意入参类型POSTGET如果是get请求，又想要把参数封装到map里面进行传递的话，Map需要使用HashMap，且url需要使用占位符，如下：...
2019-11-28 10:06:12
668324
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人