自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

奈斯菟咪踢呦

用心才是最好的

  • 博客(160)
  • 资源 (13)
  • 收藏
  • 关注

原创 mybatis-generator自动生成代码

目的:减少代码编写,自动生成model,dao和mapper在maven中添加pom依赖<dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-core</artifactId> <version>1.3.2</version></dependency>在buil

2020-07-23 16:55:32 27

原创 树的遍历(先序/中序/后序/层次)

import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import java.util.Queue;class TreeNode{ int val; TreeNode left; TreeNode right; TreeNode(int x){ val = x; }}public class Tree { public stati

2020-05-20 10:44:05 87

原创 高并发限流:8个步骤快速解决高并发问题!

一提到高并发、分布式、高可用这些词,很多人都会不自然的想到新闻里阿里双11每秒创建几十万笔的交易订单(2019双11订单创建峰值创纪录每秒54.4万笔)其实,高并发并不神秘,说白了就是想办法搞定两个指标:提升QPS、降低RT。并且同时保证数据的正确性、系统的可用性就OK了。网站并发量上来了?啥都不要管,先扩容,堆机器。机器多了自然需要集群技术、负载均衡了。(提升QPS)机器多了也扛不住了?...

2020-05-08 17:27:43 198

原创 python 词云制作

制作词云需要两个python核心类库准备工作1、jieba中文分词器安装:pip install jieba2、wordcloud:Python下的词云生成工具安装:下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud下载完成后在该包的目录下执行pip install wordcloud-1.6.0-cp36-cp36m-w...

2020-01-13 16:14:44 122

原创 python re模块匹配字符串方法

1. re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。import re line="this hdr-biz 123 model server 456"pattern=r"123"matchObj = re.match( pattern, line) 2. re.search 扫描整个字符串并返回第一个成功的匹配。...

2019-11-07 19:37:42 1484

原创 mysql时间字段的创建要点

一般建表时候,创建时间用datetime,更新时间用timestamp。这是非常重要的。我测试了一下,如果你的表中有两个timestamp字段,只要你更新任何非timestamp字段的值,则第一个timestamp列会更新成当前时间,而第二人timestamp列的值不变。————————————————————————-MySQL5日期类型DATETIME和TIMESTAMP 相关问题详解...

2019-10-12 17:30:28 94

原创 Synchronized加锁和释放锁的原理、可重入原理、保证可见性原理

一、加锁和释放锁的原理现象、时机、深入jvm看字节码现象:每一个类的实例对应一把锁,每个被Synchronized修饰的方法 都必须首先获得调用该方法的类的实例的锁 方能执行。否则线程阻塞,而这个方法独占了这把锁,直到该方法返回或者抛出异常才能释放。获取和释放锁的时机:内置锁,线程在进入同步代码块之前会自动获得这个锁,并且在退出这个同步代码块会自动释放。获得这个内置锁的唯一途径就是进入到这...

2019-10-09 09:50:05 180

原创 Synchronized性质(可重入性 和 不可中断)

一、可重入性1、什么是可重入性指的是同一线程的外层函数获得锁之后,内层函数可以直接再次获取该锁不可重入:举例:我在北京汽车摇号我:线程 摇到号:获得锁我摇到一次号只能获取一次上牌照的机会。这叫做不可重入性2、好处避免死锁、提升封装性如何避免死锁:假设两个方法都被synchronized修饰,方法1中调用方法2 由于方法2也被synchronized修饰,也需要获得这把锁。假...

2019-10-08 19:25:48 274

原创 多线程访问同步方法的7种情况(慕课视频整理)

一、两个线程同时访问一个对象的同步方法/** * 1、两个线程同时访问一个对象的同步方法 * peishunwu */public class SynchroizedObject implements Runnable { static SynchroizedObject instance = new SynchroizedObject(); public static...

2019-09-22 14:42:23 221

原创 Spring Boot应用容器化示例

一、创建SpringBoot应用用IDEA创建一个SpringBoot应用。创建时,选择Web依赖,以方便部署到Kubernetes之后查看效果。二、修改main函数修改启动类,使之成为一个Controller。package com.example.demo;import org.springframework.boot.SpringApplication;import org....

2019-09-10 14:01:16 114

原创 docker安装 k8s本地测试环境搭建

一、下载k8s-for-docker-desktopDocker For Windows Stable版本在Enable Kubernetes这个问题上是有Bug的,可使用Edge版。Edge版下载地址:https://docs.docker.com/docker-for-windows/edge-release-notes/#edge-releases-of-2019(1)(2)(3)...

2019-09-09 17:24:39 236

原创 正则表达式收集

1、匹配最后一次出现的字符匹配最后一次出现的//(?=((?!/).)*$2、匹配以某个字符开头和以某个字符结尾的字符串,不包含开头结尾匹配以 id: 开头 以 ,skip 结尾 的中间部分.*id:\"(.*)\",skip.*...

2019-09-04 10:00:18 71

原创 Dajango连接mysql问题

问题11、在使用 Django 连接 MySQL 数据库的时候,出现了错误django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: No module named ‘MySQLdb’解决办法:在 python2 中,使用 pip install mysql-python 进行安装连接MySQL的库,...

2019-08-19 15:06:38 88

原创 python第三方库安装

python第三方库安装1、使用pip进行在线安装;2、下载资源包,进行离线安装;3、下载包的模块进行离线安装;一、使用pip进行在线安装1、首先确定你的Python已经安装了pip;(Python3在安装的过程中自动为用户安装了pip,但是Python2中没有为用户安装,需要手动进行安装。)2、确保电脑是联网状态,输入命令直接安装即可;(命令:pip install + 要安装的模块...

2019-08-05 19:54:53 74

原创 JSON 转 POJO、POJO 转 JSON、List<T> 转 json、json 转 List<T>工具类

package com.zxd.controller;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import java.util.List;public class JsonChangeUtil { ...

2019-04-09 10:26:32 85

原创 java程序中拼接路径windows和linux兼容方式

前言在Windows中我们拼接路径时是使用反斜杠的,而在java程序中需要使用双反斜杠,因为第一个反斜杠会被当作转义字符但是上线到linux服务器却不存在此路径,查看日志打印出来的路径则是:G:\imgs\/1554776024214.png原来因为Linux中文件路径分隔符并不是反斜杠,而是正斜杠解决如何在程序中拼接路径以达到同时适配两种操作系统,File类提供了一个静态常量——s...

2019-04-09 10:22:32 8226 2

原创 ANSJ分词学习

前言ansj是一个基于n-Gram+CRF+HMM的中文分词的java实现.ansj分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上Ansj目前实现了.中文分词.词性识别. 中文姓名识别 . 用户自定义词典,关键字提取,自动摘要,关键字标记等功能可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.下载jar:访问 http://maven...

2019-04-04 11:30:42 179

转载 新闻推荐系统:基于内容的推荐算法——TFIDF、衰减机制(github java代码)

目录基于内容的推荐算法+TFIDF再推荐系统的具体实现技巧一、基于内容的推荐算法+TFIDF主流推荐算法大致可分为:基于内容(相似度)的推荐基于用户/物品相似度的协同过滤热点新闻推荐(你看到的那些头条新闻)基于模型的推荐(通过输入一些用户特征进入模型,产生推荐结果)混合推荐(以上十八般兵器一起耍!)(本文只详述基于内容的推荐,其它的推荐方法大家可以另行搜索。)概念基于内...

2019-04-02 11:18:05 934

转载 Kafka源码中的Producer Record定义

1.ProducerRecord 含义: 发送给Kafka Broker的key/value 值对2.内部数据结构:– Topic (名字)– PartitionID ( 可选)– Key[( 可选 )– Value3.生产者记录(简称PR)的发送逻辑:<1> 若指定Partition ID,则PR被发送至指定Partition<2> 若未指定Partiti...

2019-03-21 14:13:37 453

原创 Linux下安装Anaconda3详细教程

简介Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等环境linux 阿里云服务器下载1、进入官网选择要下载的版本和操作系统https://www.anaconda.com/distribution/安装...

2019-03-08 15:23:41 47309 5

转载 xpath中extract()使用

1、 title = response.xpath("//div[@class='entry-header']/h1/text()") 2、 title = response.xpath("//div[@class='entry-header']/h1/text()").extract() 3、 title = response.xpath("//div[@class='entr...

2019-03-05 10:51:19 840

原创 阿里云Anaconda3 安装报错 bunzip2: command not found

最近部署python爬虫,去阿里云服务器安装python环境的时候Anaconda3 安装报错 :一、问题Anaconda3-2018.12-Linux-x86_64.sh: line 353: bunzip2: command not foundtar: This does not look like a tar archivetar: Exiting with failure stat...

2019-01-26 11:20:59 320

原创 java 获取视频的时长、大小、格式等信息

1、最近有一个小的视频处理需求,根据传入视频的url获取视频的时长、大小、格式等信息。下面将记录一下:package Void;/*** @Author:psw* @Description:获取视频宽高大小时间工具类*/import it.sauronsoftware.jave.Encoder;import java.io.File;import java.io.FileInp...

2019-01-05 10:00:14 17751 14

原创 jedispool 连 redis 高并发

最近爬虫系统中我用redis进行抓取源的抓取量进行统计。犹豫配置的抓取的数据源好几千,都是定时任务,并发量相对大,所以连接redis高并发把系统卡死了。用了几个redis连接工具类都有问题;找到的原因是都程序没有自动释放连接资源,下面这个代经过上线测试,再也没有出现这个问题:package com.caishi.capricorn.crawler.core.utils;import org...

2018-12-10 18:33:01 2076

原创 Collections.sort用法

最近有一个需求就将一个对象集合根据里面的某一个字段排序。所以用到了Collections.sort在此记录一下: //需要对象排序的集合 List&lt;CrawlerSource&gt; pagelist = page.getList(); //排序 Collections.sort(pagelist, new...

2018-12-10 18:19:23 190

转载 linux后台永久执行jar程序

nohup java -jar xxx.jar &gt;/dev/null 2&gt;&amp;1 &amp;nohup : 会生成输出日志 文件名nohup.out&gt;/dev/null 2&gt;&amp;1: 加了这个之后,意思是将(标准输出、输出错误) 输出日志输出到一个空设备里面&amp; : 后台新启一...

2018-11-23 09:22:34 868

原创 spring boot ;Failed to configure a DataSource

最近新建的spring boot项目,添加了添加了mysql配置 ,后来项目不需要mysql,就把多余的mysql配置去了。此时启动项目报错:Failed to configure a DataSource,因为启动项目会自动识别mysql连接报错信息:Description: Failed to configure a DataSource: 'url' attribute is not...

2018-11-02 19:16:49 148

原创 java字符串转义,把&lt;&gt;转换成大于小于字符

java字符串转义,把“&lt;&gt;”转换成“&lt;&gt;”等字符最近项目遇到 把前端获取的文本信息保存到mongdb,发现&lt;&gt;字符被抓换成了&lt;&gt;但是我需要原始的。处理方法:使用的是commons-lang3-3.4 中的StringEscapeUtils类:package test;import java.io.IOException;impor...

2018-11-02 14:11:37 4461

原创 java项目使用redis / 连接池配置

springboot项目:pom.xml添加依赖&lt;dependency&gt; &lt;groupId&gt;redis.clients&lt;/groupId&gt; &lt;artifactId&gt;jedis&lt;/artifactId&gt; &lt;version&gt;2.9.0&lt;/version&gt; &amp

2018-11-01 15:25:19 1100

原创 springboot利用swagger2.0构建api文档

样例:pom.xml添加依赖

2018-11-01 15:12:03 2219

原创 java操作mongdb 各种情况的增删该查

精确查询;模糊查询;分页查询,每页多少:按某个字段排序(或升或降):查询数量:大于,小于,等于;且,或,某个字段不为空,某个字段不存在,查询在某个范围内,删除等等查询。根据条件查询单条数据public CrawlerSource getSource(Integer sourceId) { Query query=new Query(Criteria....

2018-11-01 14:47:50 80

原创 Java常用时间格式转换类

package com.jeesite.modules.util;import java.text.ParseException;import java.text.SimpleDateFormat;import java.time.LocalDate;import java.time.format.DateTimeFormatter;import java.util.Calendar;...

2018-10-23 17:47:44 856

原创 Java 获取两个日期中间的所有日期

需求:Java 获取两个日期中间的所有日期比如:给定一个 开始时间:2018-09-28 结束时间:2018-09-30返回一个集合:List 包含2018-09-28、2018-09-29、2018-09-30。代码实现:/** * 获取两个时间中的每一天 * @param startTime * @param endTime * @retu...

2018-09-28 17:15:55 1733 1

原创 java 通过map的key模糊匹配map的value集合

java 通过map的key模糊匹配map的value集合需求:/*map集合:key:c_2018-09-26_18729数量:14key:c_2018-09-27_18730数量:18key:c_2018-09-27_18731数量:7key:c_2018-09-27_18729数量:14*/需要将时间后面的数字(18729)相同的放到一组,将他们的value值加起来,下面代...

2018-09-28 17:11:09 11114 1

原创 hibernate validator参数检验:@NotNull 和 @NotEmpty 和@NotBlank 区别

使用hibernate validator出现上面的错误, 需要 注意@NotNull 和 @NotEmpty 和@NotBlank 区别@NotEmpty 用在集合类上面@NotBlank 用在String上面@NotNull 用在基本类型上...

2018-09-19 09:53:39 1144

原创 mongdb常用增删改查、统计、导出、备份

初学mongdb,以下内容不断更新一、查询1、根据source_id查询对应的数据源db.getCollection('source').find({&amp;quot;source_id&amp;quot;:1301052}).pretty()2、根据条件查询所需要的字段db.getCollection('source').find({&amp;quot;categories&amp;quot;:99},{source_id:

2018-08-20 13:51:51 94

原创 爬虫之----WebMagic爬虫框架及简单实例

之前利用webmagic做过爬虫,如今又遇到了 ,想做一个专题 。下面从框架基础开始!会不定时进行更新! 官方中文文档:http://webmagic.io/docs/zh/一、WebMagic总体架构 1、各个组件介绍WebMagic的四个组件   1.DownloaderDownloader负责从互联网上下载页面,以便后续处理。WebMagic默认使用了Apache Ht...

2018-07-31 11:27:20 935

转载 Fiddler工具使用介绍(一)

Fiddler基础知识Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改。代理就是在客户端和服务器之间设置一道关卡,客户端先将请求数据发送出去后,代理服务器会将数据包进行拦截,代理服务器再冒充客户端发送数据到服务器;同理,服务器将响应数据返回,代理服务器也会将数据拦截,再返回给客...

2018-07-30 14:23:12 178

原创 反爬策略

一、爬与反爬爬虫目的:1.获取数据。填充公司的数据库,可以用来做数据测试。也可以直接登录2.通过爬虫爬取大量的数据。用来制作搜索引擎3.通过爬虫爬取数据,做数据采集和数据分析的工作4.通过爬虫爬取数据,用于做训练模型,做人工智能机器人训练反爬虫目的:1.针对一些初级的爬虫,简单粗暴,不会考虑服务器压力,会导致服务器瘫痪2.针对失控的爬虫,爬虫的数量比较多,忘记关闭爬...

2018-07-30 11:08:36 361

原创 常用正则表达式

一、校验数字的表达式数字:^[0-9]*$n位的数字:^\d{n}$至少n位的数字:^\d{n,}$m-n位的数字:^\d{m,n}$零和非零开头的数字:^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]{1,2})?$带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})$正数、负数、和小数:^(\-|...

2018-07-30 10:05:57 83

Java 获取视频时长、格式、大小需要的jar

Java 获取视频时长、格式、大小需要的jar jave-1.0.2

2019-01-05

fiddler抓包工具

Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的

2018-07-30

idea 搭建springboot 集成mybatis+springmvc

idea 搭建springboot 集成mybatis+springmvc idea 搭建springboot 集成mybatis+springmvc

2018-07-04

java高并发买秒杀完整代码

Java 高并发 spring springMVC mybatis bootstrap js readis 存储过程 mysql

2018-06-12

java高并发秒杀系统

Java高并发秒杀系统,springmvc + maven + mysql + spring+mybatis

2018-06-08

spring-cloud 原创代码例子包含服务发现、服务注册、服务路由、熔断器、feign等

spring-cloud 原创代码例子包含服务发现、服务注册、服务路由、熔断器、feign等

2018-05-21

mybatis3 源码

mybatis3 源码

2018-05-18

Mysql-python

win10 64位 MySQLd安装 一次性成功

2018-05-11

eureka(微服务之——服务注册发现、服务消费者,服务提供者简单实例)

eureka(微服务之——服务注册发现、服务消费者,服务提供者简单实例)

2018-01-23

spring boot ribbon-consumer工程:使用Ribbon实现的消费者服务

spring boot ribbon-consumer工程:使用Ribbon实现的消费者服务

2018-01-16

spring boot 服务提供者工程

spring boot 服务提供者工程 spring.application.name=hello-service

2018-01-16

spring boot服务注册中心

spring boot服务注册中心 适合初学者的例子 eureka-server工程: 服务注册中心, 端口为1111。

2018-01-16

Spring+Mybatis+SpringMVC+MySql的搭建实例

最完整的Spring+Mybatis+SpringMVC+MySql的搭建实例

2018-01-15

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除