自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一勺菠萝丶的博客

做一个俗人,贪才好色,一世风流

  • 博客(289)
  • 收藏
  • 关注

原创 idea设置格式化竖线

idea 格式化竖线

2022-11-16 17:02:10 89

原创 java使用stream对日期排序

java使用stream对日期排序

2022-06-16 17:40:05 2356 1

原创 同步txt中的数据到mongo中

同步txt中的数据到mongo中

2022-06-02 10:38:39 83

原创 同步txt中的数据到mongo中

同步txt中的数据到mongo中

2022-06-01 14:58:30 45

原创 同步图片到mongo中

同步图片到mongo中

2022-06-01 14:57:27 39

原创 将文件中数据更新至es(先删除旧数据, 再添加新数据)

将文件中的数据更新到es

2022-06-01 14:55:59 234

原创 scrapy setting中设置mysql和redis配置文件

在使用scrapy的时候会涉及到在pipeline中连接数据库, 如果mysql的配置文件配置到pipeline中会有一定的耦合性, 因为尝试把配置文件提取到settings.py中settings.py中如下配置MYSQL_HOST = "192.168.0.82"MYSQL_USER = "developer"MYSQL_PASSWORD = "Diandong@developer2020"MYSQL_DBNAME = "data_crawl"MYSQL_PORT = 3306pipel

2022-05-31 13:48:29 127

原创 springboot @spring.active@启动报错

<profiles> <profile> <id>dev</id> <properties> <spring.active>dev</spring.active> </properties> <activation> <a

2022-05-31 11:48:47 496

原创 python 时间转换

方法一 date = '27 May, 2022' date = date.replace(',', '') date = datetime.datetime.strptime(date, '%d %b %Y') date = datetime.datetime.strftime(date, '%Y-%m-%d') print(date)2022-05-27

2022-05-30 16:55:19 41

原创 使用 Python/Scrapy 在 h1 中提取 p

在使用scarpy + xpath进行数据抓取的时候一直获取不到标题, 网站地址: https://www.cnpython.com/qa/244771 html结构如下显示标题是被h1中的p标签包含, 使用正常xpath进行获取title = resp.xpath('//[@class="py-4 border-b-2 border-gray-100"]/div/h1/p/text()').extract()获取到title为空, 但解析abstract却能获取到, 说明不是xpath的原因,

2022-05-30 11:26:35 124

原创 python scrapy_redis 解决断点续爬时request请求为空, 再次启动时爬取失败办法

如果在使用scrapy进行断点续爬的时候 正好request中没有要爬取的链接了, 这个时候如果直接启动爬虫项目则会续爬失败, 达不到断点续爬的目的, 为此经过测试得出解决办法注意点一需要在次启动程序时候, 当作新的一个请求, 从新往redis中设置start_url值, 但此时需要注意, 翻页的时候就得添加dont_filter=True, 因为如果不加scrapy会自动进行去重请求, 假如翻页的这几个链接已经被爬取过了, 当从头跑的时候, 经过去重集合去重, 会认为所有的页码都已经爬取过了, 然后爬

2022-05-12 17:42:59 474

原创 idea 驼峰转换设置

使用shift + alt + u

2022-04-22 10:27:53 1027

原创 成功解决 AttributeError: ‘TySpider‘ object has no attribute ‘make_requests_from_url‘

在使用分布式爬虫爬取网站的时候出现问题2022-04-19 14:21:28 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method RedisMixin.spider_idle of <TySpider 'ty' at 0x24493b06e50>>Traceback (most recent call last): File "g:\python38\lib\site-packa

2022-04-19 14:25:57 1435 5

原创 LRUMAP的使用(代替redis)

用到了两个文件package com.xinrong.adaptor.facade;import java.math.BigDecimal;import java.util.Map;@SuppressWarnings("rawtypes")public interface CacheFacade { public final static int PUT_IF_NOT_CARE = 0; public final static int PUT_IF_EQUAL = 1; public f

2022-03-21 09:57:13 565

原创 mongodb多数据源配置

引入spring-data 依赖, 注意引入版本, 不同版本对应的api方法不一样 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> <version>2.5.6</

2022-01-25 10:53:42 1685

原创 python 日志记录

# coding=gbkimport loggingfrom logging import handlerslog_all_path = "all.log"log_error_path = "error.log"class Logger(object): level_relations = { 'debug': logging.DEBUG, 'info': logging.INFO, 'warning': logging.WARNING

2021-12-31 11:00:36 84

原创 成功解决:OSError: Python library not found: libpython3.8.so, libpython3.8m.so

网上找了好半天 全是让人从新编译的, 而且文章还都一样, 什么玩意都是, 自己找到的解决办法记录下报错信息OSError: Python library not found: libpython3.7m.so.1.0, libpython3.7mu.so.1.0, libpython3.7.so.1.0This would mean your Python installation doesn't come with proper library files.This usually happens

2021-12-20 14:40:36 5673 5

原创 微信公众号模板消息推送,中文乱码

微信模板消息推送,在我本地写好代码测试完好,发布到正式版推送的消息中文乱码,这让我很忧伤的哈开始查找问题,json需要设置为Content-type: application/json; charset=utf-8; charset=utf-8;我都有配置的,没发现问题,我想,在我本地推送的消息不会发生乱码,发布到正式版本乱码,这样应该是正式版的tomcat中的配置出问题的,就百度了好的有关tomcat的相关配置,发现就是因为tomcat缺少了一些配置第一歩:在tomcat/bin/catalina.

2021-11-16 10:52:33 843

原创 Validation failed for argument [0] 参数校验失败的解决办法

问题概述关于这个问题,是在接口参数校验的时候遇到的,使用Spring Boot下spring-boot-starter-validation进行接口参数校验时出现 “ Validation failed for argument [0] in public … ”我的使用过程 <!-- 自定义验证注解 --> <dependency> <groupId>javax.validation</groupId>

2021-10-26 09:54:48 5361

原创 springboot单独使用feign简化http接口调用

前言与HttpClient和RestTemplate相比,使用springcloud的feign调用远程接口更为简便,可以通过配置的方式实现远程接口调用。但是有时我们并不想使用springcloud,而只是想在springboot中使用feign,我在网上搜了很多springboot单独集成feign的文章,但都不能用。在通过学习、开发后简单整理了一个教程。详细介绍如何在springboot中单独集成feign,以简便的方式调用远程接口。1. 引用maven <groupId>co

2021-10-15 17:16:50 981 1

原创 Java交换值swap(a, b) java

前几天在头条上看到一道经典面试题,引发了一些思考。也是写这篇文章的导火索。背景请看题:public class Main { public static void main(String[] args) { Integer a = 1; Integer b = 2; System.out.println("a=" + a + ",b=" + b); swap(a, b); System.out.pri

2021-06-30 09:32:01 1456 1

原创 用户管理

用户管理1、“用户管理”菜单1)登陆用户为系统管理员–可见2)登陆用户为仓库管理员(不区分内外用户)–所分配角色中勾选该权限可见,未勾选该权限不可见3)登陆用户为普通用户(不区分内外用户)–所分配角色中勾选该权限可见,未勾选该权限不可见2、“新建”按钮1)登陆用户为系统管理员–可见新建仓库管理员(内部):支持新建仓库管理员(外部):支持新建普通用户(内部):支持新建普通用户(外部):支持2)登陆用户为仓库管理员(内部用户)–所分配角色中勾选该权限可见,未勾选该权限不可见新建仓库管理员

2021-05-25 17:17:30 565

原创 mysql对String类型的数字值排序

正常SELECT current_box_num, total_box_num FROM jis_order WHERE delete_flag = 0 AND id IN ( 41362, 41361, 41360, 41359, 41358, 41357, 41356 ) ORDER BY total_box_num asc查询结果但如果total_box_num字段类型是String的话排序就会有问题, 需要在字段前加--SELECT current_box_num,

2021-05-20 09:16:57 1082

原创 解决:在并发情况下,数据的唯一性无法通过代码实现?

引申:在逻辑删除的前提下,无法创建唯一索引。解决方案:唯一索引包含delete_flag字段,并且只有delete_flag 为0才表示数据未删除。已删除的数据条目将delete_flag 置为null或者与主键相同(主键唯一)即:创建数据时delete_flag为0,删除时将delete_flag设置为null或者置为主键...

2021-05-13 09:43:46 271

原创 利用stream sorted进行降序排序

public static void main(String[] args) { List<RoleResponseVo> list = new ArrayList<>(); RoleResponseVo role1 = new RoleResponseVo(); role1.setId("1"); RoleResponseVo role2 = new RoleResponseVo(); role...

2021-04-22 14:19:46 3025

原创 Java递归构建树形数据结构实现多级树形菜单展示

public static TreeVo findChild(TreeVo pt, List<TreeVo> treeAllDistinct) { for (TreeVo ct : treeAllDistinct) { if (ct.getParentId().equals(pt.getId())) { if (pt.getChildren() == null) { pt.setC..

2021-04-09 09:03:07 177

原创 delete删除select查询出来的结果

UPDATE stock_in_record_detail SET delete_flag = 1 WHERE id IN ( SELECT * FROM ( SELECT d.id FROM stock_in_record_detail d LEFT JOIN stock_in_record r ON d.stock_in_record_id = r.id AND r.delete_flag = 0 LEFT JOIN transit_main

2021-02-02 16:34:54 3322 1

原创 SpringBoot @RequestParam和@RequestBody都存在时的请求方法

方法中既有@RequestParam又有@RequestBody的请示参数, 使用postmain该如果访问该接口postmain请求

2021-01-20 15:44:29 803

原创 有道云-markdown画流程图

TB - top bottom(自上而下)BT - bottom top(自下而上)RL - right left(从右到左)LR - left right(从左到右)

2020-12-03 16:02:34 1266

原创 利用grep-console插件使Intellij idea显示多颜色调试日志

由于Intellij idea不支持显示ascii颜色,grep-console插件能很好的解决这个问题,下面就以开发JavaEE项目中,结合Log4j配置多颜色日志输出功能安装grep-console插件https://plugins.jetbrains.com/plugin/7125-grep-console 下载最新的版本idea的设置安装插件 选择下载好的zip包,重启idea设置grep-console(下面有我自己用的颜色号)配置Log4j...

2020-11-26 15:50:50 560

原创 java8 .stream().filter() 代替嵌套for循环 lambda表达式

public class TestController { @Data static class Car { private String name; private String color; } public static void main(String[] args) { List<Car> listCar1 = constructCar1(); List<Car> listC

2020-09-04 09:47:20 3376

原创 Mybatis criteria 多个字段模糊匹配

需求:搜索框中可输入手机号,姓名,地址查询,后台需要对一个框中的多个字段做匹配查询。方法一:写sql<if test="condition!=null and condition!=''">AND CONCAT(r.name,a.name,a.phone,a.addr_detail) LIKE '%' #{condition} '%'</if>方法二:使用criteriaExample example = new Example(OutboundLibraryRec

2020-08-31 11:04:30 2260 1

原创 java 8 stream reduce参数介绍和详解

文章目录简介reduce详解总结简介Stream API提供了一些预定义的reduce操作,比如count(), max(), min(), sum()等。如果我们需要自己写reduce的逻辑,则可以使用reduce方法。本文将会详细分析一下reduce方法的使用,并给出具体的例子。reduce详解Stream类中有三种reduce,分别接受1个参数,2个参数,和3个参数,首先来看一个参数的情况:Optional<T> reduce(BinaryOperator<T> a

2020-08-13 14:04:18 1163

原创 有道云笔记 MarkDown中自定义图片大小

正常粘贴到MarkDown的图片大小不受自己控制, 有时候会因为图片很大导致整体很突兀, 于是想自字义图片大小, 在网上找了一下没有特别优的办法, 目前可以使用的方法如下(后续有好的方法会更新)效果图差别代码差别正常粘贴到有道云笔记中的图片地址是这样的![image](http://note.youdao.com/yws/res/9431/6E51EFF683CF411588B3DB490DAF51C4)自定义图片大小的话需要改成这样<img src="http://note.

2020-08-07 18:02:16 2096 4

原创 java list 分组求和 java8

public static void main(String[] args) { List<Car> listOld = new ArrayList<>(); Car car1 = new Car(); car1.setNum(1); car1.setName("A"); car1.setColor("红"); Car car2 = new Car(); car2.setNum(1); car2.setName("B"); car2.setColo

2020-07-11 09:47:49 5049

原创 logstash 采集到mysql的数据但无法同步到es的问题

问题描述logstash 终端显示采集到mysql的数据,但es中并没有插入数据问题原因我的json映射文件中id不是主键而是document_id, 但我logstash中的select语句中却查了idjson文件:mysql.conf中的select解决办法: 去掉id, 查询其它的, 问题解决(具体原因还不明, 以后知道了再更新)...

2020-04-11 10:08:06 1718 1

原创 微服务 logback 分服务日志记录

当java微服务开发时, 由于不同服务需要将日志区分记录, 默认配置logback绝对路径的时候会将所的有服务和日志存到一个文档里面, 区分不同服务的不同日志的时候会不太方便, 为此需要再logback-spring.xml中进行相对的配置用来区分解决办法: 每个微服务对应自己的文件路径, 这样就不会混淆不同服务的日志了我常用的logback-spring.xml配置<?xml ve...

2019-12-23 10:06:58 618 3

原创 SpringBoot和SpringMVC的区别?

SpringBoot不是SpringMVC的替代,SpringMVC是基于Spring的一个MVC框架,SpringBoot是一个简化Spring开发的工具,这两个东西没有直接的关联,唯一的关联可能就是当运用SpringBoot之后,SpringMVC的配置会发生一些改变,SpringBoot简化了配置和简化了依赖...

2019-12-19 11:57:24 150

原创 Spring @Scheduled定时任务的fixedRate,fixedDelay,cron的作用和不同

1.cron --@Scheduled(cron=“0/5 * * * *?”)当时间达到设置的时间会触发事件。上面那个例子会每5秒执行一次。2018/1/4 14:27:302018/1/4 14:27:352018/1/4 14:27:402018/1/4 14:27:452018/1/4 14:27:502.fixedRate --@Scheduled(fixedRate=...

2019-12-11 16:22:39 586

转载 mac下配置iterm2

https://www.cnblogs.com/xishuai/p/mac-iterm2.html

2019-12-11 10:20:42 85

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除