- 博客(13)
- 收藏
- 关注
RSS订阅原创 mysql INSTR的用法
今天处理复杂业务，发现需要查出A表中的a字段存在B表中的b字段，不想写Java代码处理，尝试使用sql语句处理，发现INSTR可以处理这种场景业务。举个sql栗子： SELECT DISTINCT Q1.id, Q1. CODE, Q1.codeRepty FROM queryreptycode AS Q1 INNER JOINqueryreptycode AS Q2 WHERE INSTR( Q1.`code`, Q2.codeRepty
2021-10-12 14:21:54
1204
原创 ES技术点
1：ES的分布式架构原理？ES是分布式存储，多分区（shard），多备份的集群结构。存储索引，只能通过primary shard(主节点)进行存储数据，读取是既可以从primary(主节点)也可以从replica（备份节点）进行读取。ES集群有多个节点，会自动选举一个master节点，主要负责维护元数据，负责切换primary shard 和 replica shard，进行故障转移。 ...
2020-01-03 10:55:19
1998
原创 ES技术点
1：ES的分布式架构原理？ES是分布式存储，多分区（shard），多备份的集群结构。存储索引，只能通过primary shard(主节点)进行存储数据，读取是既可以从primary(主节点)也可以从replica（备份节点）进行读取。ES集群有多个节点，会自动选举一个master节点，主要负责维护元数据，负责切换primary shard 和 replica shard，进行故障转移。 ...
2019-12-04 13:50:12
269
原创 ES的写操作流程
1：集群会任意挑选一个节点，就做协调节点，协调节点会hash数据，计算出当前数据的对应shard2：协调节点会将数据路由到该shard的primary shard ，写入数据3：primary shard 会同步数据到该shard的replica shard4：全部写完，协调节点会通知客户端，写入完成 详细流程： 1：写入内存buffer中，同时写入translog日志（保证节点所在机器...
2019-12-04 10:59:00
803
原创 scala基础语法
7 种数值类型:Byte、Char、Short、Int、Long、Float 和 Double（无包装类型）和Boolean、Unit 类型字符串处理文字’f’插值器允许创建一个格式化的字符串printf() print（f""）％d：％i：％4.2f：代表一共保留4位，四舍五入到小数点后2位%s:占位方法转变成函数的方式：val add1 = add _创建方法：de...
2019-11-20 15:29:54
90
原创 mysql索引优化
musql执行缓慢处理方式：1：查看执行计划，选择新增索引，all则必须新增索引，不能新增索引，则修改sql语句。2：查看extra，显示内容越多，则说明sql越需要优化3：记录不多，则不宜添加索引4：索引的有序性：复合索引，需要注意索引顺序，中间短路，导致索引失效。5：using index：代表使用的索引进行查询；using where：说明查询条件中，有字段不包含在索引中6：优...
2019-11-20 15:28:15
121
原创 linux部分命令
linux:./aa.sh 1>/usr/local/java/aa.log 2>/usr/local/java/aa.err &1:标准输出（屏幕显示/控制台）重定向2:错误输出重定向&:后台运行nohup ./aa.sh 1>/dev/null 2>&1 &1>/dev/null : 标准输出不记录，/dev/nu...
2019-11-20 15:21:35
70
原创 sqoop操作命令
--------------------------sqoop--------------------------------一般使用sqoop，把hdfs或者hive中的数据导入到mysql数据库；也有把mysql数据导入到hdfs/hive中。sqoop的使用就是一些命令行操作1./** 将mysql的表导入 hdfs **/bin/sqoop import –connect j...
2019-11-20 15:19:32
152
原创 hive 安装
安装单机版：元数据库mysql版：1 先安装Mysql1.2 安装Hive1.2.1 上传tar包1.2.2解压 tar -zxvf hive-0.9.0.tar.gz1.2.3 配置Hivehive的元数据配置 vim hive-site.xml （数据库地址以及用户名密码根据自己安装的环境更换）<configuration> <property&...
2019-07-31 16:41:44
68
原创 Linux mysql安装
1. 下载http://dev.mysql.com/downloads/mysql/或者使用wget下载：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar2. 安装2.1. 检测是否已经安装了mysqlrpm -qa | grep mysql如果已经安装了，...
2019-07-31 15:42:58
80
原创 MQ技术点---未完待续
优点：1：解耦业务场景：A系统做数据修改，需要通知WEB端服务，APP服务，搜索服务，A系统向MQ中生产一条消息（sub/pub模式），多个系统对当前MQ队列订阅，后期不同系统按照自身业务，从MQ中消费消息，完成自身业务。这样对A系统完成解耦，不需要考虑调用其他多个系统，代码层面会简单很多。2：异步好处：异步化可以大幅度提升高延时系统的性能。业务场景：A系统，因为业务需要，需要同时调用...
2019-06-21 17:56:10
167
原创 redis技术点
1：缓存穿透：正常情况下，我们去查询数据都是存在。那么请求去查询一条压根儿数据库中根本就不存在的数据，也就是缓存和数据库都查询不到这条数据，但是请求每次都会打到数据库上面去。这种查询不存在数据的现象我们称为缓存穿透。解决方法：（1）缓存空值，并需要设置过期时间。后面相同查询key，可以直接返回，不走数据库。（2）BloomFilter（布隆过滤器），在缓存之前在加一层 BloomFilte...
2019-06-18 14:57:00
155
原创 大数据环境搭建
大数据环境搭建 我采用的是4台Linux，使用net模式搭建集群方式。 namenode 1个 mino0 datanode 3个 mini1,mini2,mini3新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱...
2019-05-15 18:25:50
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人