qq_39783774的博客

原创 ik分词

这个方法接收两个参数，field name和输入流reader，其中filed name是Lucene的属性列，是对文本内容进行过分词处理和创建索引之后，索引对应的一个名称，类似数据库的列名。二.调用Analyzer对象的tokenStream方法获取TokenStream对象，此对象包含了所有分词结果。使用智能分词 true: 对应 ik_smart , false 对应 ik_max_word。四.调用tokenStream对象的reset方法，重置指针，不调用会报错。查询时用 ik_smart。

原创 linux常问

【代码】linux常问。

原创 springboot整合redisson

在POM当中引入对应JAR<!-- redisson --><dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId></dependency>创建配置类RedissonConfigimport org.redisson.config.Config;@Configurationpublic cl

原创 !!!

1.java的特性封装封装具有一下优点：便于使用者正确、方便的使用系统，防止使用者错误修改系统属性；有助于建立各个系统之间的松耦合关系；提高软件的可重用性；降低了大型系统的风险，即便整个系统不成功，个别独立的子系统有可能还有价值。继承子类和父类之间的继承关系，子类可以获取到父类的属性和方法。多态java语言允许某个类型的引用变量引用子类的实例，而且可以对这个引用变量进行类型转换。抽象现实生活中的事物被抽象成对象，把具有相同属性和行为的对象被抽象成类，再从具有相同属性和

原创 SpringBoot 统一异常处理

1.之前处理工程异常，代码中最常见的就是try-catch-finally，有时一个try，多个catch，覆盖了核心业务逻辑，现在使用Spring能够较好的处理这种问题，核心如下，文章主要关注前两个：@ExceptionHandler：统一处理某一类异常，从而能够减少代码重复率和复杂度@ControllerAdvice：异常集中处理，更好的使业务逻辑与异常处理剥离开@ControllerAdvice@RestControllerpublic class CommonExceptionHan

原创 kafka数据迁移

kafka默认只保存7天的数据1.在新节点上搭建kafka服务机器一原本有节点broker.id分别为1,2在机器而上新增节点broker.id为3,42.启动kafka服务3.查看需要移动的topics查看所有主题kafka-topics.sh --list --zookeeper 59.110.153.152:2181将topic写入新文件topics-to-move.json中，格式如下{“topics”: [{“topic”: “fortest1”},{“topic”: “f

原创 logback.xml常用配置详解

1、根节点,包含下面三个属性：scan: 当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。scanPeriod: 设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。debug: 当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。例如： <configuration scan="true".

原创 。。。

1.面向对象面向对象注重的是某件事的参与者面向过程注重的是某件事的执行流程特性封装：暴露可以展示的接口，隐藏细节。外面无需关心内部实现，比如私有属性的改变应该提供get,set对外访问继承：继承父类的方法，子类共有的方法及属性直接调用父类的，不需要自己再定义，自己可以扩展自己的特有功能多态：基于对象所属类不同，外部调用相同方法，实际执行逻辑不同用到继承，重写，父类引用指向子类对象（无法调用子类特有功能）父类类型 变量名 = new 子类对象变量名.方法名（）2.JDK,JRE,JVM三者

原创 异步、定时、邮件任务

异步任务在方法上添加@Async注解；SpringBoot就会自己开一个线程池，进行调用！但是要让这个注解生效，我们还需要在主程序上添加一个注解@EnableAsync ，开启异步注解功能；@EnableAsync //开启异步注解功能@SpringBootApplicationpublic class SpringbootTaskApplication { public static void main(String[] args) { SpringApplication.r

原创 profile多环境切换

配置主配置文件时，可文件名可以是aoolication-{profile}.properies/yml,用来指定多个环境版本。Springboot不会直接启动这些配置文件，默认使用application.properies主配置文件。需要一个配置来选择使用的环境：spring.profiles.active={profile}eg: spring.profiles.active=dev同时配置yml和properties文件，并且没有激活其他环境，默认会使用properties配置文件配置文

原创 IDEA快捷键

ctrl+shift+alt：多行操作psvm：生成main()方法；fori：生成for循环；Ctrl+Alt+v：自动补齐返回值类型ctrl+o：覆写方法ctrl+i：实现接口中的方法ctrl+shift+u：大小写转换CTRL+SHIFT+Z：取消撤销Alt＋Insert：生成构造方法、getter、setterctrl+y：删除当前行Ctrl+Shift+J：将选中的行合并成一行ctrl+g：定位到某一行Ctrl+Shitft+向下箭头：将光标所在的代码块向下整体移动Ctr

原创 四种会话跟踪技术

会话在Web应用程序中，服务器端和客户端之间交互使用的是Http协议，但是Http协议是一个无状态的协议，这里无状态的含义是每一个服务器和客户端之间的连接和它之前的连接之间是没有任何关系的，这是协议本身规定的。可是，在web应用程序中，开发者希望同一个浏览器在连续的一段时间中对服务器的多次访问之间是相互关联的，而这连续的多次访问被称为是一个会话。web应用程序中客户端浏览器与服务器之间一系列的请求响应动作既然http协议规定相邻的两次请求之间是没有关联的，而web应用程序却希望多次请求之间有关联，这

原创 限流

限流tomcat限流的几种方式：计数器，滑动窗口，漏桶法，令牌桶为什么要限流短时间内流量一大，服务器就扛不住了，扛不住就挂了，挂了没法提供对外服务导致业务直接熔断。最直接的方法是从源头把流量限制下来，例如服务器只有支撑100QPS的处理能力，就只能每秒处理100个请求，保持服务器的稳定。业务用户量不断攀升各种促销活动网络爬虫恶意刷单漏桶算法Nginx的限流模块就是基于漏桶算法的，它最大的特点就是强行限制流量按照指定的比例下发，适合那种对流量有绝对要求的场景，就是流量可以容许在我指定的

原创 413 Request Entity Too Large解决方法

nginx 报错 413 Request Entity Too Largenginx默认上传文件的大小是1M，可nginx的设置中修改。解决方法:查找nginx配置文件nginx.conffind / name |grep nginx.conf在http{}段中加入如下代码。20m为nginx运行最大上传大小client_max_body_size 20m;3.保存nginx,然后重启nginx -s reload...

原创 4、接口与内部类

接口特性 - 接口不是类，尤其不能使用new运算符实例化一个接口 - 虽然不能构造接口的对象，却能声明接口的变量 - 接口变量必须引用实现了接口的类对象接口与抽象类每个类只能扩展一个类。一个子类只能继承实现一个抽象类，但是可以实现多个接口对象克隆如果创建一个新的对象，他的最初状态和克隆对象一样，但是以后将可以各种改变各自的状态，那就需要使用clone方法。默认的克隆操作是浅拷贝，它并没有克隆对象中的内部对象。浅拷贝与深拷贝浅拷贝 1. 对于数据类型是基本数据类型的成员变量，

原创 修改ansible hosts文件路径

修改/etc/ansible/ansible.cfginventory = /data/NetworkUtils/host_config/host.ini

原创 linux shell

原创 mysql优化流程

1、查看是否周期性故障或波动一般由访问高峰或缓存崩溃引起解决方法加缓冲并更改缓存失效策略，使失效时间分散或夜间定时失效2、如果仍有不规则出现的延迟或卡等现象show processlist或开启慢查询，获取有问题的sql查看MySQL服务器配置信息 show variables like '%size%';修改其中某个参数值set global tmp_table_size=1024;可以直接使用show profile来查看上一条SQL语句的开销信息 为上条语句生成执行计划sh

原创 小知识点

json序列化不能加载时间类型

原创 通过 Python 以 playbook 模式 调用Ansible API

#!/usr/bin/env pythonfrom collections import namedtuplefrom ansible.parsing.dataloader import DataLoaderfrom ansible.vars import VariableManagerfrom ansible.inventory import Inventoryfrom ansible...

原创 nginx简介

Nginx 概述Nginx是一款轻量级的Web服务器、反向代理服务器，由于它的内存占用少，启动极快，高并发能力强，在互联网项目中广泛应用。nginx功能正向代理由于防火墙的原因，我们并不能直接访问谷歌，那么我们可以借助VPN来实现，这就是一个简单的正向代理的例子。这里你能够发现，正向代理“代理”的是客户端，而且客户端是知道目标的，而目标是不知道客户端是通过VPN访问的。需要在客户端配置...

转载 每天一个linux命令 which

我们经常在linux要查找某个文件，但不知道放在哪里了，可以使用下面的一些命令来搜索：which 查看可执行文件的位置。whereis 查看文件的位置。locate 配合数据库查看文件位置。find 实际搜寻硬盘查询文件名称。which命令的作用是，在PATH变量指定的路径中，搜索某个系统命令的位置，并且返回第一个搜索结果。也就是说，使用which命令，就可以看到某个系统命...

转载 movie projects Process

数据表设计推荐指的是spark推荐模型进行处理的表alstab 个人用户的推荐强度表 推荐 ps:用户登陆后，选取用户id关联的电影id 进行电影推荐similartab 相似的电影 推荐*topdefaultmovies 默认电影rectab 用户评价的时候将相似的电影写入此表browse 1. 新用户注册时喜欢的电影 2. 点击喜欢按钮的电影review 评价过的电影所有数...

原创 Flume 对接 Kafka

1.配置 flume(flume-kafka.conf)#definea1.sources = r1 a1.sinks = k1a1.sinks = k1a1.channels = c1sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /opt/module/data/flume.log a1.s...

原创 Kafka 基础架构

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者...

原创 Kafka 命令行操作

1. 查看当前服务器中的所有 topicbin/kafka-topics.sh --zookeeper localhost:2181 --list2. 创建 topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 -topic first 选项说...

原创 kafka安装部署

1. 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /data/2. 修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 3. 在/data/kafka 目录下创建 logs 文件夹mkdir logs4. 修改配置文件cd config/ vi server.properties 输入以下内容： ...

原创 django 配置解决跨域问题

pip install django-cors-headers把设置加到setting的apps中：INSTALLED_APPS = [‘corsheaders’]然后在设置中加入MIDDLEWARE = [‘corsheaders.middleware.CorsMiddleware’,#这个放在最上面‘django.middleware.common.CommonMiddlewa...

原创 firewalld服务被锁定

执行命令，即可实现取消服务的锁定systemctl unmask firewalld下次需要锁定该服务时执行systemctl mask firewalld

原创 centos7防火墙报错：from gi.repository import GObject ModuleNotFoundError: No module named 'gi'

解决办法：修改/usr/bin/firewall-cmd 目录中的python指向，由于firewall命令只支持python2，所以我们需要修改为python2的本地环境执行 vi /usr/bin/firewall-cmd 和vi /usr/sbin/firewalld修改第一行的python指向由之前的#!/usr/bin/python修改为：#!/usr/bin/python2...

原创 docker_nginx

下载最新的nginx的docker imagedocker pull nginx:latest启动nginx容器docker run -d --name nginx -p 80:80 --net host -v /docker/nginx/conf/nginx.conf:/etc/nginx/nginx.conf -v /docker/nginx/log:/var/log/ngin...

原创 ansible笔记

下载ansibleyum -y install ansible查看ansible版本ansible versionplaybook相当于脚本roles 角色就是palybook的集合

原创 git

创建版本库:在合适的地方创建一个空目录cd进入该目录使用git init命令把这个目录变为git可以管理的仓库把文件添加到版本库:在仓库创建一个good.txt文件把文件添加到仓库 git add good.txt把文件提交到仓库 git commit -m “注释信息”时光穿梭机：git status:该命令可以让我们时刻掌握仓库当前状态文件内容没改变时修改good.t...

原创 centos解决pip安装mysqlclient报错

CentOS有Python、Mysql的开发工具包，安装后使用pip安装mysqlclient即可yum install mysql-develyum install python-develpip install mysqlclient

原创 flume

flume启动命令方法一bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console方法二bin/flume-ng agent -c conf/ -f job/flume-netcat-logger.conf -n a1 -Dflume.root.log...

原创 curl测试接口速度

post请求time curl -H "Content-Type:application/json" -X POST -d 'post参数' 访问地址名称>/dev/nullget请求time curl 访问地址名称>/dev/null

原创 virtualenvwrapper常用命令：

创建虚拟环境mkvirtualenv [ 虚拟环境名称 ]进入指定的虚拟环境workon [ 虚拟环境名称 ]删除虚拟环境rmvirtualenv [ 虚拟环境名称 ]列出所有的虚拟环境lsvirtualenv进入到虚拟环境所在的目录cdvirtualenv [ 虚拟环境名称 ]退出虚拟环境deactivate...

原创 docker常用命令

docker container exec -it 容器名 sh进入容器

原创 centos7安装python3

Python源代码编译安装安装必要工具 yum-utils ，它的功能是管理repository及扩展包的工具 (主要是针对repository)$ sudo yum install yum-utils使用yum-builddep为Python3构建环境,安装缺失的软件依赖,使用下面的命令会自动处理.$ sudo yum-builddep python完成后下载Python3的源码包...

原创 celery下载报错解决

因为系统自动下载最新包需要先下载固定版本的more-itertools==5.0.0