- 博客(54)
- 收藏
- 关注
RSS订阅原创 ES搜索框架--低配置服务器部署ES导致崩溃的解决
省流：修改jvm.options，降低堆大小一、服务器情况最近es会突然stop，查看日志后发现经常是因为报错：Native controller process has stopped - no new native processes can be started，无法开启新的进程，可能是由于内存不足--因为服务器内存只有2G，而且仅仅启动es和java项目后就已经占用了97%，一再进行查询...
2023-04-15 18:30:00
1370
原创 ES框架--ES评分规则详解
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应的词更多那么score就会更多。通过在查询中设置参数”explain”:true来查看具体的分数来...
2023-04-10 20:40:00
3049
原创 ES搜索框架--自定义评分规则
一、评分规则需求按照用户画像(不同的标签分数)和用户省份在用户查询时，对查询结果进行自定义评分二、ES自定义评分方式参考：博客：https://blog.csdn.net/W2044377578/article/details/128636611官网：https://www.elastic.co/guide/en/elasticsearch/guide/master/function-score...
2023-04-10 20:39:00
1412
1
原创 ES搜索框架--设置IK分词器
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaXzw/一、安装官网教程：https://github.com/medcl/elasticsearc...
2023-04-08 16:50:00
3372
原创 ES搜索框架--ES部署到Centos8服务器
参考：https://blog.csdn.net/Me_xuan/article/details/114608076https://www.cnblogs.com/chenxitag/p/12320868.html一、下载安装1.下载ES使用elasticsearch7.10.2，到官网下载对应的linux包，然后上传到服务器文件夹下，cd到文件夹后使用tar命令解压tar -xvf elast...
2023-04-08 16:29:00
258
原创 ES搜索框架--Windows下简单使用ES框架
前面讲述了什么是ES框架和为什么要用ES框架进行检索，现在开始尝试在windows下安装并简单使用ES框架参考：官方文档中文版，英文版linux下部署：https://www.elastic.co/guide/en/elasticsearch/reference/6.0/_installation.html一、安装1.下载解压安装包官网选择相应版本进行下载zip包，在英文路径下解压即可，这里我使...
2023-04-08 16:28:00
766
原创 ES搜索框架--基本原理
一、基本原理参考博客(非常详细)：https://blog.csdn.net/weixin_43111776/article/details/124952148我们先来看看MySQL中的索引，在MySQL关系表中，每一行数据都有一个主键，我们在查询数据的时候会先找到数据的主键，再根据主键去找到整行数据，这种索引形式成为正排索引，本质是通过key来查询value。而ES使用的倒排索引正好与之相反，...
2023-04-08 16:27:00
122
原创 Java的jar包依赖版本冲突解决
参考：https://blog.csdn.net/weixin_38898423/article/details/128178055https://blog.csdn.net/Yal_insist/article/details/127669985一、依赖冲突不同的第三方jar包可能同时对某一个jar包的不同版本含有依赖，但是Maven解析pom.xml文件时，同一个jar包只会保留一个Mave...
2023-04-08 16:19:00
1613
原创 Centos8安装JDK
官网下载页：https://www.oracle.com/java/technologies/downloads/选择自己需要的JDK版本进行下载即可一、下载上传https://docs.oracle.com/javase/8/docs/technotes/guides/install/linux_jdk.html根据官网的不同安装方式，选择合适的安装包进行下载并上传，例如rpm、tar等等这里...
2023-03-25 18:48:00
394
原创 Centos8安装MySQL
受苦于博客总是过于老旧，安装时总会出现版本包已经删除的情况而且步骤总是各式各样难以理解，无奈之下还是官网靠谱，于是这篇博客以官网方法为基准，方便以后安装的时候可以直接复制命令。一、官网教程https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html只能说非常详细了，认真看肯定OK，这里我使用linux的yum安装...
2023-03-25 17:53:00
1083
原创 Ubuntu22 使用devstack一键部署OpenStack
一、虚拟机准备(主要是因为上次安装稀里糊涂找的教程，后来有问题了哈哈，这次仔细看了油管教程还有官网教程，记录一下后面要是出问题了方便重装哈哈)配置：1.进入root账号sudo passwd root #设置初始密码su root2.编辑网卡配置文件vim /etc/netplan/01-network-manager-all.yaml这里vim没有安装(使用固定ip没有联网)，vi命令有问题...
2023-01-30 15:40:00
2284
原创 OpenStack云平台搭建
参考：https://blog.csdn.net/m0_45692110/article/details/122628664https://huaweicloud.csdn.net/635607c3d3efff3090b58eb4.html一、虚拟机准备controller和compute虚拟机，使用centos7操作系统，下面给出一些需要修改的地方，其他都可以使用默认，点击下一步即可contr...
2023-01-27 20:03:00
5939
原创 Github上传大文件
1.访问github这里挂了梯子还进不去(可以ping通github但无法访问网页)，需要修改hosts，添加以下内容，参考：https://blog.csdn.net/suzhiwei_boke/article/details/1251643282.安装GitLFS将GitLFS安装到Git的bin文件夹下，官网链接：https://git-lfs.com/运行exe程序时可能会出现以下报错，...
2023-01-27 19:52:00
313
原创 算法--旅行者过河问题
1.题目在漆黑的夜里，四位旅行者来到了一座狭窄而且没有护栏的桥边。如果不借助手电筒的话，大家是无论如何也不敢过桥去的。不幸的是，四个人一共只带了一只手电筒，而桥窄得只够让两个人同时过。如果各自单独过桥的话，四人所需要的时间分别是1、2、5、8分钟；而如果两人同时过桥，所需要的时间就是走得比较慢的那个人单独行动时所需的时间。问题是，如何设计一个方案，让这四人尽快过桥。 2.算法构造N个人(N≥1)...
2022-12-28 19:16:00
410
原创 大数据--关联规则挖掘案例
环境：虚拟机hive+本地spark+python(pyspark)数据：商品订单数据+商品种类数据步骤：将数据上传到hdfs后，在python中完成hive表的创建，数据处理，关联规则挖掘，数据可视化实现功能：对商品订单中的信息进行挖掘，得到商品组合之间的关联关系(本文只对order进行了处理，没有涉及到type)一.数据准备将GoodsOrder.csv和GoodsTypes.csv文件上传...
2022-12-23 17:53:00
925
原创 大数据--pyspark远程连接hive
上一篇文章介绍了python连接hive的过程，通过地址+端口号访问到hive并对hive中的数据进行操作，这一篇文章介绍一下怎么通过windows本地pyspark+本地部署好的spark+远程虚拟机的hive，完成本地pyspark对hive的访问。一.环境介绍(1)关于pyspark这个是之前就已经部署好的，本地安装了hadoop、scala、spark之后，配置好对应的系统环境变量，在p...
2022-12-22 13:33:00
3303
原创 大数据--python远程连接Hive
步骤：启动metastore启动hiveserver2使用beeline进行连接测试，查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动hiveserver21.配置mode为http，端口为10001(默认)<property> <name>hive.server2.transport.mode&l...
2022-12-21 18:24:00
4691
3
原创 大数据--HiveQL语句(实战练习)
题目:1、 创建员工信息数据文件employess.txt，数据文件中包含内容如下(姓名、年龄、薪资、)：Lilith Hardy,30,6000,50,Finance DepartmentByron Green,36,5000,25,Personnel DepartmentYvette Ward,21,4500,15.5,Arlen Esther,28,8000,20,Finance Depa...
2022-12-05 16:48:00
662
原创 大数据--HiveQL语句(基本操作)
一.数据库操作1.显示当前所有数据库Show databases;2.创建数据库studyCREATE DATABASE IF NOT EXISTS study COMMENT "This is study database"LOCATION '/user/hive_db/create_db/';3.切换数据库USE study;4.删除数据库DROP DATABASE IF EXISTS st...
2022-12-04 20:23:00
354
原创 大数据--Hadoop环境部署(5)Hive部署
Hadoop集群部署:https://www.cnblogs.com/Studywith/p/16948866.html一.Hive的三种部署模式1.嵌入模式使用内嵌的Derby数据库存储元数据，是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接，不适合生产环境，只适合测试环境。2.本地模式使用本地独立数据库存储元数据，这里的独立数据库通常使用MySQL数据库。本地模式部署的...
2022-12-04 16:54:00
1351
原创 大数据--Hadoop环境部署(4)Hadoop集群部署
Hadoop集群的部署方式分为三种，分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode)，独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务一.Hadoo...
2022-12-03 21:53:00
2093
原创 大数据--Hadoop环境部署(3)JDK和ZooKeeper环境配置
Linux环境搭建:https://www.cnblogs.com/Studywith/p/16946297.html免密连接:https://www.cnblogs.com/Studywith/p/16946310.html在完成了Linux虚拟机的基础配置后,接下来进行JDK和ZooKeeper相关环境的配置一.部署JDK1.官网下载JDKhttps://www.oracle.com/jav...
2022-12-03 19:33:00
964
原创 大数据--Hadoop环境部署(2)主机映射和免密登录
一.主机IP映射就是将虚拟机的IP地址和主机名进行映射,这样就可以直接通过root@主机名的方式找到对应的虚拟机(三台虚拟机都要建立三条映射关系)vim /etc/hosts192.168.121.130 node01192.168.121.131 node02192.168.121.132 node03二.免密连接此时访问其他node时会出现以下提示,总是需要输入要访问node的...
2022-12-03 06:23:00
519
原创 大数据--Hadoop环境部署(1)Linux环境搭建
一.安装三台Linux虚拟机使用centos7系统,命名node_01,node_02,node_03,具体在VMware上的各种安装过程见其他博客二.虚拟机参数设置(温馨提示:直接在root权限下进行配置会减少很多困扰~)1.配置Linux系统网络及主机名创建完成的三台虚拟机默认为动态IP地址，且虚拟机Node_02和Node_03是通过克隆虚拟机Node_01创建的，会导致这两台虚拟机的主机...
2022-12-03 04:16:00
575
原创 centos添加用户权限(XXX is not in the sudoers file. This incident will be reported.)
一.问题新安装的虚拟机在用户使用sudo修改文件权限时提示XXX is not in the sudoers file. This incident will be reported.二.解决参考:https://blog.csdn.net/danykk/article/details/801378061.使用su命令切换到root用户(这里有的时候会没有设置root账户的密码,需要先使用su...
2022-12-03 01:40:00
589
原创 配置Python解释器
在运行python项目时,如果代码目录中没有venv目录(即别人已经配置好的解释器),往往不能直接运行,因此需要自己添加项目对应的解释器,即使有别人配好的解释器,也会因为安装的python位置差异导致解释器不可用,本文将对这两种情况分别解决。(以我曾经碰到过的情况为例,不一定全面)一.无解释器1.如图,这是一个不包含venv文件夹的项目,使用pycharm打开,无法直接运行2.编辑配置发现没有属...
2022-10-19 16:19:00
14795
2
原创 Android开发--构建项目安装包APK(debug版)
1.build→Build APK(s),点击即可构建2.点击日志可以查看构建情况3.点击locate即可进入debug文件夹4.也可以在构建完成后直接按照路径找到debug文件夹其中apk文件即所需安装包,json文件中为版本信息等,做软件更新时用得到...
2022-10-06 10:51:00
1586
原创 Android开发--项目搭建之Hello World
一.创建项目1.新建项目,选择空白项目2.填写项目信息后点击完成3.进入项目,gradle在进行项目的基础搭建(可能需要一些时间,我使用了VPN会更快一些,内网可能比较困难)4.在gradle搭建完成后,开始进行模拟器的创建二.模拟器运行所谓模拟器，是指在电脑上构造一个演示窗口，模拟手机屏幕上的App运行效果。1.创建模拟器2.选择模拟器外形3.选择模拟器装载的android系统4.下载选择的a...
2022-10-02 02:36:00
1395
原创 VBScript连接各种数据库
一.前言注意:是VBScript而不是VB!!!两个区别还是挺大的,网上教程大多是VB连接数据库,仅有的一些VBScript连接教程还总是抄来抄去还都不能成功连接,应该是因为版本问题或者电脑的配置问题,但是,很幸运看到了这篇博客https://blog.51cto.com/u_7921793/3309861,成功解决了"未发现数据源名称并且未指定默认驱动程序"的持久报错二.具体方法1.基础模板其...
2022-07-07 08:12:00
773
原创 四柱汉诺塔问题
一.思路递归思想:1.将A柱上n个盘子划分为上下两部分，下方部分共有k(1≤k≤n)个盘子，上方部分共有n - k个盘子。2.将A柱上面部分n–k个盘子经过C、D柱移至B柱。3.将A柱剩余的k个盘子经过C柱移至D柱。---三柱汉诺塔4.将B柱上的n–k个盘子经过A、C柱移至D柱。详细见代码注解二.代码#include<bits/stdc++.h> using namespace ...
2022-05-20 15:41:00
324
原创 vue前端部署到服务器
一.vue打包1.获得前端代码,在webstorm上打开在终端输入npm run build2.打包完成后在原来的代码包中可以看到一个新的文件夹---dist3.将dist文件夹压缩上传到nginx的本地安装文件夹(注意不是download文件夹,而是usr/local)二.服务器上部署1.解压dist2.配置conf找到nginx文件夹下的conf文件夹,点击nginx.conf进行配置3.具...
2022-05-11 16:22:00
3778
3
原创 VMware虚拟机扩展硬盘后分配到操作系统
一.分区1.查看当前磁盘分区fdisk –l可以看到当前系统有两个磁盘分区2.创建新的磁盘分区fdisk /dev/sda进入以下界面3.创建完成再次查看分区fdisk -l可以看到新的分区3,但此时该分区没有挂载到系统二.挂载1.重启系统rebootreboot命令可以快速重启,就不用再去手动重启了2.将物理硬盘初始化为物理卷,便于LVM使用pvcreate /dev/sda33.查看逻辑组卷...
2022-05-09 13:53:00
1927
原创 jFinal部署到服务器
一.软件准备1.MobaXterm用于远程连接服务器和远程传输文件下载地址:https://mobaxterm.mobatek.net/download-home-edition.html2.服务器软件环境安装---Nginx3.服务器软件环境安装---JDK4.服务器软件环境安装---MySQL见博客:https://blog.csdn.net/Aykl119/article/details/...
2022-05-05 14:46:00
1069
原创 数模--2022华中杯A题(Java实现)
一.赛题1.订单分批将当日订单分为多个批次。要求每个批次的订单所含货品种类数均不超过 ，且批次越少越好(相应转运次数也越少，效率越高)。针对附件 1 中的订单信息，应用你们的算法，计算当货架数量 时最少的批次数，给出每批订单数量、货品种类数、分批方案等结果，并将完整原始分批方案按指定格式输出到文件result1.csv 中，格式要求见附件 2。2.商品摆放确定每一种货品放置在哪一个货架。分拣工拣...
2022-05-02 19:47:00
2840
4
原创 Java函数和数据库存储过程
1.目的处理天气数据2.Java函数结果:IDEA把CPU都占满了还什么结果都没跑出来,报错空间溢出...然后就想到了存储过程,直接在数据库上处理而不需要经过程序3.存储过程4.总结终于在数据库中经历了五个多小时把数据都处理完了,也算是深刻理解了为什么要使用存储过程代码—Java/** * 数据处理函数 * 1.将天气等数据转换为现实数据 * 在数据说明中,对温...
2022-04-26 15:02:00
120
原创 天气数据处理
1.site_code 取前五位(因为是先用文件名作为site_code,然后从文件名中截取前五位即为site_code)(图上错了,图上取得是6位,但是懒得在找一遍截图了)2.存储过程+游标对数据进行处理(1)缺失数据(-9999)置为一个大概值(2)将10比例的数据除以10,例如温度220→22(好家伙,处理了一下午)3.删除列游标更新的时候忘了sky和wind_direction了,这两列...
2022-04-25 21:27:00
387
原创 端口被占用
1.在运行Java项目时,会出现端口号已经被占用的情况:2.解决方法1---将该接口对应的进程删除(1)netstat –ano查看当前系统端口状态①listening状态：启动后，FTP服务处于listening状态，表示该端口已打开并正在等待连接，但尚未连接。②closing状态：表示端口被人工或防火墙关闭，可能是服务已卸载。③time wait状态：表示连接已终止。 说明端口之前有过访问，...
2022-04-20 18:04:00
809
原创 删除系统时删除其相关的关联关系(SQL语句)
1.初始问题删除系统逻辑:(1)在system表中删除系统主体,将is_deleted字段置为1(2)删除系统与服务器的关联关系,将system_server中的相应is_deleted置为1(3)删除系统的管理账号,将account中的相应is_deleted置为1在步骤2中,想要使用SQL语句实现这样一个功能:对于已删除的系统,删除其关联关系,直观写法:运行报错:不能先select出同一表中...
2022-04-19 21:59:00
656
原创 jFinal获取header参数
一.起因前端在header中只传递token,而登录者id等信息要根据token,从user_session表中查找得到user_id(即登录者id)二.解决1.在controller中写方法进行获取(1)获取header(2)根据header中的token获取登录者id(3)具体调用2.在AuthInterceptor拦截器中,写一个intercept函数用于处理本来以为这个方法只是用来验证t...
2022-04-17 10:30:00
164
原创 PDMan建表时的问题
PDMan每次建表到数据库上都是一个痛苦的过程,因为不知道为什么就会建不出来,可能过一会又建出来了...一般的解决方法就是直接把软件生成的建表语句在数据库上运行,这次又遇到了这个问题,不过因为这次的pdman.json文件是要上交的,所以不能糊弄过去了,只能开始痛苦的找bug之路...1.首先看同步时的sql语句然后一同步就报错2.找问题搞不清楚为什么,于是开始用以前成功建表的版本来进行比较(1...
2022-04-16 03:06:00
376
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人