- 博客(13)
- 收藏
- 关注
原创 mysql INSTR的用法
今天处理复杂业务,发现需要查出A表中的a字段存在B表中的b字段,不想写Java代码处理,尝试使用sql语句处理,发现INSTR可以处理这种场景业务。举个sql栗子: SELECT DISTINCT Q1.id, Q1. CODE, Q1.codeRepty FROM queryreptycode AS Q1 INNER JOINqueryreptycode AS Q2 WHERE INSTR( Q1.`code`, Q2.codeRepty
2021-10-12 14:21:54
1233
原创 ES技术点
1:ES的分布式架构原理?ES是分布式存储,多分区(shard),多备份的集群结构。存储索引,只能通过primary shard(主节点)进行存储数据,读取是既可以从primary(主节点)也可以从replica(备份节点)进行读取。ES集群有多个节点,会自动选举一个master节点,主要负责维护元数据,负责切换primary shard 和 replica shard,进行故障转移。 ...
2020-01-03 10:55:19
2026
原创 ES技术点
1:ES的分布式架构原理?ES是分布式存储,多分区(shard),多备份的集群结构。存储索引,只能通过primary shard(主节点)进行存储数据,读取是既可以从primary(主节点)也可以从replica(备份节点)进行读取。ES集群有多个节点,会自动选举一个master节点,主要负责维护元数据,负责切换primary shard 和 replica shard,进行故障转移。 ...
2019-12-04 13:50:12
273
原创 ES的写操作流程
1:集群会任意挑选一个节点,就做协调节点,协调节点会hash数据,计算出当前数据的对应shard2:协调节点会将数据路由到该shard的primary shard ,写入数据3:primary shard 会同步数据到该shard的replica shard4:全部写完,协调节点会通知客户端,写入完成 详细流程: 1:写入内存buffer中,同时写入translog日志(保证节点所在机器...
2019-12-04 10:59:00
820
原创 scala基础语法
7 种数值类型:Byte、Char、Short、Int、Long、Float 和 Double(无包装类型)和Boolean、Unit 类型字符串处理文字’f’插值器允许创建一个格式化的字符串printf() print(f"")%d:%i:%4.2f:代表一共保留4位,四舍五入到小数点后2位%s:占位方法转变成函数的方式:val add1 = add _创建方法:de...
2019-11-20 15:29:54
99
原创 mysql索引优化
musql执行缓慢处理方式:1:查看执行计划,选择新增索引,all则必须新增索引,不能新增索引,则修改sql语句。2:查看extra,显示内容越多,则说明sql越需要优化3:记录不多,则不宜添加索引4:索引的有序性:复合索引,需要注意索引顺序,中间短路,导致索引失效。5:using index:代表使用的索引进行查询;using where:说明查询条件中,有字段不包含在索引中6:优...
2019-11-20 15:28:15
128
原创 linux部分命令
linux:./aa.sh 1>/usr/local/java/aa.log 2>/usr/local/java/aa.err &1:标准输出(屏幕显示/控制台)重定向2:错误输出重定向&:后台运行nohup ./aa.sh 1>/dev/null 2>&1 &1>/dev/null : 标准输出不记录,/dev/nu...
2019-11-20 15:21:35
77
原创 sqoop操作命令
--------------------------sqoop--------------------------------一般使用sqoop,把hdfs或者hive中的数据导入到mysql数据库;也有把mysql数据导入到hdfs/hive中。sqoop的使用就是一些命令行操作1./** 将mysql的表导入 hdfs **/bin/sqoop import –connect j...
2019-11-20 15:19:32
160
原创 hive 安装
安装单机版:元数据库mysql版:1 先安装Mysql1.2 安装Hive1.2.1 上传tar包1.2.2解压 tar -zxvf hive-0.9.0.tar.gz1.2.3 配置Hivehive的元数据配置 vim hive-site.xml (数据库地址以及用户名密码根据自己安装的环境更换)<configuration> <property&...
2019-07-31 16:41:44
73
原创 Linux mysql安装
1. 下载http://dev.mysql.com/downloads/mysql/或者使用wget下载:wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar2. 安装2.1. 检测是否已经安装了mysqlrpm -qa | grep mysql如果已经安装了,...
2019-07-31 15:42:58
87
原创 MQ技术点---未完待续
优点:1:解耦业务场景:A系统做数据修改,需要通知WEB端服务,APP服务,搜索服务,A系统向MQ中生产一条消息(sub/pub模式),多个系统对当前MQ队列订阅,后期不同系统按照自身业务,从MQ中消费消息,完成自身业务。这样对A系统完成解耦,不需要考虑调用其他多个系统,代码层面会简单很多。2:异步好处:异步化可以大幅度提升高延时系统的性能。业务场景:A系统,因为业务需要,需要同时调用...
2019-06-21 17:56:10
174
原创 redis技术点
1:缓存穿透:正常情况下,我们去查询数据都是存在。那么请求去查询一条压根儿数据库中根本就不存在的数据,也就是缓存和数据库都查询不到这条数据,但是请求每次都会打到数据库上面去。这种查询不存在数据的现象我们称为缓存穿透。解决方法:(1)缓存空值,并需要设置过期时间。后面相同查询key,可以直接返回,不走数据库。(2)BloomFilter(布隆过滤器),在缓存之前在加一层 BloomFilte...
2019-06-18 14:57:00
161
原创 大数据环境搭建
大数据环境搭建 我采用的是4台Linux,使用net模式搭建集群方式。 namenode 1个 mino0 datanode 3个 mini1,mini2,mini3新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱...
2019-05-15 18:25:50
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人