前方的路在刚开始

2、distcp -i -skipcrccheck 源端到目标端，迁移。8、任务校验，客户跑完任务后，校验指定分区的count数和内容的md5。3、元数据迁移，建表，替换location地址，或者导出db。1、评估磁盘空间大小、调整副本数、设置heapsize大小。9、任务改造，如果md5不一样，说明此表需要做任务改造。7、根据ditcp不对的，进行补数脚本，删分区，重拉。6、校验历史分区脚本，表结构，大小，文件数。11、校验成功后，切任务，跑当天的数据。5、配置增量T-1迁移或者T-2。

分三步，首先下载npm，然后在npm安装es-dump,然后通过dump的命令，从远程服务器把数据备份到文件夹中，然后在通过dump的导出命令，将文件夹中的数据导出到测试服。由于现在接管了同事的代码，同事的代码操作es时，导致了线上问题，我又对es不熟悉，怕操作影响了其他线上业务，于是现在将es数据复制一版到本地来。现在将远程转换为本地，我们采用【elasticdump工具】来进行迁移，至于用它的原因，就是看起来不影响线上服务，而且非常易懂，学习成本低。（用来并行备份多个索引）（用来备份单个索引），

elasticsearch我已经装了ik，中文分词器。已经使用容器搭建了集群。之前在我的博客-elasticsearch入门中，已经介绍了http请求操纵es的基本功能，java API功能和他一样，只是从http请求换成了javaApi操作。springBoot里继承了elasticsearch，他是spring-data的一个子模块，里面的主要核心就是。只要你写一个interface继承他，就可以用基本的CRUD操作es。如果你想要http那样灵活的操作es，他提供了。

docker容器化部署es集群。

证明，当启动容器时，可以连接redis，关闭容器时，无法连接redis，所以代表redis容器化成功。解释:拉取镜像，修改为中国时间，复制配置到redis中，复制启动脚本，开放容器端口,运行脚本。-v前面是宿主机目录，data是容器内目录（官方镜像的data为redis数据目录)解释:sh的默认开头，启动redis，挂起防止运行完docker结束。4.复制你原来的redis.conf，到redis文件夹中,使用redis-cli客户端脚本，连接容器内的redis，成功。3.创建一个新文件夹redis，

mybaties自带连接池，不过不能设置连接池数，当频繁的删表和查表，连接数就会不够，就会卡顿，等待连接池归还才能使用。这里使用druid的连接池，

原由1.我有一个socket服务，用ip访问是成功的，但是老板说用这个不行，要用nginx请求转发，转发内网地址到某个域名2.但是我改成了指定域名后失败，

用于字段，这个会自动加字符串。

dataease是一款比较好的BI工具并且支持的数据源非常多，且配置简单，使用界面非常简洁，比metabase简单好用N倍下载地址官方文档。

于是为了钱，开始了数据迁移，我在工作的4年里，一共参与了两次数据迁移，都是云服务器的数据迁移。第二次涉及到了所有服务的代码迁移，由于存在部分toB,所以业务较多，大概有700多个，有的代码，人都不在了，导致迁移延期，迁移总共花了半年。对于不常用的资源，分步部署，除掉僵尸进程和挂了的项目，将常用的核心业务需求量大的业务，部署在性能高，可靠的节点上。主要是缩减成本，避免高峰资源问题，采用动态扩展，这样就不用买很贵的服务器，而只在特定时刻的计算量猛增时，进行动态服务器性能扩容。迁移分为两种，数据迁移和业务迁移。

后端为什么要用数字，做状态码，一般选择1以及1以上作为状态

原因是，【插入返回只支持int类型】mybaites会自动修改传入参数的值。也就是你调用完成之后，你的传入值，已经被修改为带有主键的值了。

首先创建springBoot项目,jdk选择1.8mybaites读取外部文件，请继续往下看，目录的最新一页然后倒入mybaties的相关依赖我们用的springBoot，当然spring全家桶里面含有mybaties，所以我们直接使用升级版的mybaties-plus。引入这2个

在一篇博客中找到了答案，竟然是因为，elasticsearch默认占用2个G。而我的阿里云服务器总共只有2G内存。因为内存原因导致启动失败，但是作为新时代的青年，我们应该有实践检验真理的精神。所以我开了一台虚拟机准备接下来的测试，看看是否的确是因为这个原因。...

Past Releases of Elastic Stack Software | Elastic下载，我下的7.9.3，听说7以后自带jdk11https://www.elastic.co/cn/downloads/past-releases#elasticsearch解压，我解压到了根目录tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz -C /建立es用户，启动es必须是es用户，并且把刚刚解压的文件夹，所属人，给esadduser

1.创建一个时间字段，【类型设置为timestamp】2.点击update_time这一行，下面会出现这个，【CURRENT_TIMESTAMP，将这个填进去】。然后，在【勾选根据当前时间戳更新】

参数1，hbase连接，参数2，给定1个rowkey的列表读取rowkey这个tableR表的rowkey，处理后，存储至tableW这个表。tableR有多个版本，也要插入进去。注意，hbase不支持list插入（多个版本）会以rowkey进行自动覆盖 public static boolean threadInser(Connection hbaseConnection,ArrayList<String> rowKeys){ try { ..

我用的是java版，不是java版的同学可以不用看了1.0 redis下载安装(1)ftp上传至software目录下1.解压,并且进入目录tar -zxvf redis-5.0.3.tar.gz -C /hadoop2.编译,设置安装位置makecd srcmake install PREFIX=/usr/local/redis移动配置文件至安装目录cd ../mkdir /usr/local/redis/etcmv redis.con.

我进行溯源分析，引擎优化时，通过二进制源码溯源检测scala语言项目测试，发现竟然要23分钟，调大Hbase的文件对项目数也是。于是通过日志发现，在insert Project时出现了问题。猜测是插入问题，因为要从1个项目中，获取此项目的所有文件，进行溯源对比后，插入。于是采用了事务+拼接的方式。最后检测只花了2分钟，使检测速度提高提高了10倍。以下是优化方案：MySQL优化—插入语句的优化 - 简书...

前言：我有个需求，数据库中有任务数据，每一条任务都有一个时间，时间超过2小时了，那我就将他的状态修改掉。第一步，开启定时器。查看定时器，是否为开启状态。show variables like '%event_sche%';`开启定时器set global event_scheduler=1;第二步，创建存储过程说明:存储过程，可以理解为sql语句（触发后的事件），当定时器的条件（时间到了，或者参数改变了）达到了，执行存储过程的语句。编写存储过程cre

INSERT INTO `user_ban` (user_id) VALUES('1') ON DUPLICATE KEY UPDATE num = '3'插入数据的时候，如果存在，则修改1、但是user_id得是主键2、或者创建联合索引

import pymongoclass test1(): mongo_host = "192.168.31.26" #ip地址 mongo_port = 27017 mongo_db = "sa12" # 库名 mongo_coll = "rpm" # collection名 mongo_user = "admin" #账号 mongo_pwd = "pFdada" #密码 client = pymongo.MongoClient(host.

由于Neo4j导出csv后的json格式不完整，固需要清洗。清洗代码import json;import pandas as pdimport re#此为刚导出的neo4j csv中的数据的json格式转换及清洗#图数据库rs=pd.read_csv('F:\dada\知识图谱\包图谱数据\关联库的构建\export (1) - t1.csv',encoding='utf-8')p=rs['p']v=rs['v']p1=rs['p1']for r ...

没加索引之前花了【49秒】package_name添加索引version添加索引记得【重启neo4j】服务器(更新索引)再次查询只花了【2秒】总结:单节点的neo4j，添加索引后，速度比没有添加的时候快20~30倍...

neo4j 有社区版和企业版。社区版基本就是自己拿来玩。我使用它在服务器线上运行时，内存不足蹦盘。并且不支持集群模式。只支持单实例。企业版，支持集群，一年8万rmb.

我的步骤:1.读取csv创建节点A2.与Neo4j库中的节点B 做关系映射3.读取新csv增加节点A4.与库中的节点B做关系映射问题，是否会导致 原来的节点A中的数据与节点B的数据在进行一次关联，造成关联重复。测试后，确实会导致重复关联。解决方案:...

问题:neo4j只能识别csv,而csv又是以"号作为字段的分割问题，那么"数据","数据A" 就会造成引号的问题。修改分隔符不为【,号】 从数据库导出数据时，以txt文档进行导出。并且自定义分隔符。之后将其改为csv格式。测试:改为;后，能够导入成功测试2:在文件中加入"字符，看看会不会报错。导入测试成功！测试3:那么转义字符会变成什么样子呢，测试出错了修改后\" 在他前面也加了一个\"即可经过【无数轮】测试后，结...

./mongoexport -h 192.168.31.26 -p 27017 -u admin -p password-d advisory -c vul_1 -f d,lj_package_id,verify_package_affect_versions,affect_versions,lj_vul_id -o /vul_with_versions.csv --authenticationDatabase admin --type=csv --forceTableScan -d advisory..

参考2篇文章:https://blog.csdn.net/zhangcongyi420/article/details/92738646流程清晰，但无详细说明。https://blog.csdn.net/wang1144/article/details/53964999流程不够清晰，有详细说明。含有【3种】集群的搭建方式。我整合了他们的流程，并且通过亲身实践搭建完毕集群。并且对部分做了补充。集群搭建有3种方式，Replica Set / Sharding / Master-Slav...

送人玫瑰，手有余香~，优秀的人从不吝啬于赞美。如果帮到你，请顺手点个赞，点赞，关注的都是帅哥！，美女！mysql表和字段python代码import pymysqlconn = pymysql.connect(host="localhost",user="root",password="123456",db="test",charset="utf8")cursor=conn.cursor()def inset(a,b,c): cursor.execut..

这里，我在测试如果没有mysql-connect是否能通过java.sql访问数据库所以我没有创建Maven项目，如果你是maven项目则需要在pom文件中导入(切记保持网络不间断)<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version&

写完也没有报错，于是我挨个打印。专门写了个简单的demo，发现还是没有结果。我一直以为是sql的问题，但是我在ide打印完，在mysql客户端上运行sql没有问题啊select * from table_mysql where game_type like '%动作%' or '%冒险%' or '%独立%'于是我在demo中测试了一条简单的sqlselect * from table_mysql这次有了resultSet原因:SQL在IDEA程序中无法识别。后面试.

Spark插入MongoDB出现的错误解决方案:1.确认是否在spark中配置了相关的库和表2.检测是否出现1个以上的spark(我之前检查过配置都没有问题，demo也可以跑，但是我的离线用户画像却一直插入不进去。仔细检查发现，我写了个sparkSession，也写了个sparkContext,但是我是sparkContext不是由sparkSession创建的。所以就导致一个服务有多个sparkContext。那么它只会执行一个sparkContext。)插入示例 val

#!/bin/bash　　HOSTNAME="服务器ip" #数据库信息PORT="3306"USERNAME="root"PASSWORD="数据库密码"DBNAME="dl_adb_all" #数据库名称TABLENAME="account" #表名update_sql="UPDATE ${TABLE.

Expected: to_unixtime(timestamp) , to_unixtime(timestamp with time zone)(cast('2019-09-09 12:32:05' as timestamp)-cast('2019-09-08 12:32:05' as timestamp)减出来是 1 xx:xx:xx as s执行方法 to...

例 查询语句selectcast('2020-01-27 23:03:53' as date)from xxx出现标题错误failed: Value cannot be cast to date: 2020-01-27 23:30:30 cast('2020-01-27' as date)却没有问题解决方案:cast('2020-01-27 23:03:53'...

presto资料是真的少cardinality(arr)

no_unit表jj_data表zongjian_all表说明:num代表的是人数，id代表的是唯一。现在需要把jj_data的数据按照省和性别进行统计，并且附上其它表的num结果SELECT jj_data1.num 有值结节人数,zongjian_all.num 总检人数,no_unit.num 没用结节大小的人数,jj_data1.province,jj_dat...

select split (cast ((current_date-cast(bd as date))/365 as varchar),' ')[1],bd from rpt_b;转换前是bd,转换后是_col0

首先建表t13create t13 as (select rpt_id,chk_ind,rs_flag_id from rpt_ind group by rpt_id)t14create "这里是表名我这是t14" as (select a.rpt_id,num1 from (select rpt_id,count(rpt_id) num1 from t13 group ...