- 博客(37)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 使用ngrok内网穿透后，调用相关接口报ERR_NGROK_6024 异常
header增加：ngrok-skip-browser-warning:69420即可。
2023-10-23 12:13:03
1901
原创 redis批量先查缓存再查数据库
redisUtil.batchGetCacheData("country:", ids, "id", v -> baseMapper.getByIds(ids), 查询对象.class);
2023-09-15 16:15:34
497
原创 jdk 8以上版本报错 ：Unable to make field protected java.lang.reflect.InvocationHandler java.lang.reflect...
【代码】jdk 8以上版本报错 ：Unable to make field protected java.lang.reflect.InvocationHandler java.lang.reflect...
2023-08-18 15:26:34
4776
1
原创 docker解决mysql5.7 报错sql_mode=only_full_group_by，不改配置文件解决方案
网上找了很多 都不靠谱，自己实操一波1.进入mysql ：docker exec -ti 14ea13dd0cf8 /bin/bash2.输入密码：mysql -uroot -p3.查看sql_model：SELECT version(),@@SESSION.sql_mode,@@GLOBAL.sql_mode;此时发现有ONLY_FULL_GROUP_BY4.执行以下脚本：SET SESSION sql_mode = 'STRICT_TRANS_TABLES,NO_ZERO_I
2022-02-12 13:59:23
2338
原创 记一次生产环境死锁问题
insert into table (shop_id, homework_status, content_id, `index`, homework_type, creator_id,prepare_homework_time_point, proceed_time_point, finished_time_point,creator_name, updated_at, created_at) values(10013,'0',9352,1,'0',412,null,null,null,'test','
2021-07-07 20:31:01
307
原创 通俗易懂的一致性哈希原理
一致性哈希（Consistent hashing）算法是由 MIT 的Karger 等人与1997年在一篇学术论文（《Consistent hashing and random trees: distributed caching protocols for relieving hot spots on the World Wide Web》）中提出来的，用于解决分布式缓存数据分布问题。在传统的哈希算法下，每条缓存数据落在那个节点是通过哈希算法和服务器节点数量计算出来的，一旦服务器节点数量发生增加或者介
2021-06-09 13:48:47
474
原创 使用echarts的多柱状图和多折线图做结合
var myCharts = echarts.init(document.getElementById('hdqkyc1'), myEchartsTheme);var mData = [50, 100, 150, 80, 120, 150, 200, 250, 220, 250, 300, 350, 400, 380, 440, 450, 500, 550, 500];var option = { backgroundColor:'#FFFFFF', tooltip: { .
2020-11-19 14:34:21
3872
1
原创 json格式转map解析顺序问题处理
在客户端传到后端的数据格式为json格式时，后端如做数据验签，数据加密等需求，需要保证数据与客户端加密顺序一致，这个时候加上Feature.OrderedField即可保证数据的有序性；Map<String,Object> maps = (Map) JSON.parse(parm,Feature.OrderedField);...
2020-09-01 14:04:53
1807
原创 解决Module build failed: Error: Cannot find module ‘node-sass‘报错问题
直接执行cnpm install node-sass --save即可cnpm可能会提示cnpm显示：无法加载文件 C:\Users\hp\AppData\Roaming\npm\cnpm.ps1；解决方案：①以管理员身份运行：Wins+X，然后点击A，即可打开power shell，即管理员身份的命令窗口②输入：set-ExecutionPolicy RemoteSigned，然后输入A即可...
2020-08-14 17:29:17
983
原创 WINDOWS 10 64BIT 下NODEJS报错MSBUILD : ERROR MSB4132: 无法识别工具版本“2.0”。可用的工具版本为 “4.0”的解决方法
最近在跑一个github的前端项目 一直报错，百度一堆解决方案都是以下三种方案:下载Visual C++ 2015 Build Tools，安装时，选择自定义安装，勾选系统版本对应的WindowsSDKs ，直至安装完毕； 下载 Python2.7，安装时，勾选将 Add Python.exe to PATH，即添加至环境变量，直至安装完毕； 在报错的项目内，重新执行 npm install--msvs_version 2015进行安装项目依赖，即可完美解决问题了；实际上以上...
2020-08-14 17:26:07
659
原创 static静态类获取bean方法
工具类的某个方法想要获取bean的实例，但是工具类的方法是static的，不能使用@Autowired 注入，这个时候需要重写SpringContextHolder；@Slf4jpublic class SpringContextHolder implements ApplicationContextAware { private static ApplicationContext applicationContext; /** * 获取applicationCo
2020-06-23 16:04:51
2545
原创 微信ocr识别收费以后换成插件调用踩坑记录invalid appid hint: [bnsIua07211091]
新版本调用https://api.weixin.qq.com/wxa/servicemarket?access_token={0}接口，还需在微信开放平台安装ocr插件，然后在https://developers.weixin.qq.com/community/servicemarket/detail/000ce4cec24ca026d37900ed551415购买次数才可以调用；接口入...
2020-04-16 11:51:33
1497
原创 hive没有主键时利用row_number分页
1.由于hive不支持类似mysql的limit0,10；所以需要如下处理:select * from (select row_number() over (order by ipvalue desc) as rnum ,adsv_adsrequest_ad.* from adsv_adsrequest_ad where 1=1 and o like '?' and...
2019-03-28 16:19:33
1271
2
原创 7.《hadoop实战》MapReduce任务的shuffle 和排序
map的输出会经过一个名为shuffle的过程交给reduce处理， 当然也有map的结果经过sort-merge交给reduce处理的。其实在MapReduce流程中， 为了 让 reduce可以并行处理map结果， 必须对map的输出进行一定的排序和分割 ， 然后再交给对应的 reduce， 而这个将map输出进行进 一步整理并交给reduce的过程就成 为了shuffle。从...
2018-12-17 20:36:59
463
原创 6.1《hadoop实战》MapReduce任务的执行总流程之错误处理机制
众所周知， Hadoop有很强的容错性。 这主要是针对由成千上万台普通机器组成的 集群 中常态化的硬件故障的， Hadoop能够利用冗余数据方式来解决硬件故障， 以保证数据安全和任务执行。 那么MapReduce在具体执行作业过程中遇到硬件故障会如何处理呢？对于用 户代码的缺陷或进程崩溃引起的错误又会如何处理呢？1.硬件故障 从MapReduce任务的执行角度出发， 所涉及的...
2018-12-17 17:12:54
461
原创 6.《hadoop实战》MapReduce任务的执行总流程
一个MapReduce作业的执行流程是： 代码编写→作业配置→ 作业提交→Map 任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成， 而在每个任务的执行过程中， 又包含输入准备－任务执行斗输出结果。上图给出了MapReduce作业详细的执行流程 图。 从图中可以看出MapReduce作业的执行可以分为11个步骤，涉及4个独立的实体。 它们在MapReduce 执行过程...
2018-12-17 16:15:21
289
原创 5.3.《hadoop实战》Hadoop数据管理之Hive
Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具， 用来进行数据提取 、 转化、 加载， 这是一种可以存储、 查询和分析存储在Hadoop中的大规模数据的机制。 Hive定义了简单的类SQL查询语言， 称为 QL， 它允许熟悉SQL的用户查询数据。 作为一 个数据仓库 ，Hive的数据管理按照使用层次可以从元数据存储、 数据存储和数据交换三个方面来介绍。...
2018-12-12 17:49:43
189
原创 5.2.《hadoop实战》Hadoop数据管理之HBase
HBase是一个类似Bigtable的分布式数据库，它的大部分特性和Bigtable一样，是一个稀疏的、长期存储的（存在硬盘上〉、多维度的排序映射表．这张表的索引是行关键字、列关键字和时问戳。每个值是一个不解释的字符数组，数据都是字符扇，没有类型。用户在 表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于是稀疏存储的，所以 同一张表里面的每一行数据都可以有截然不同的列。列...
2018-12-05 20:42:27
162
原创 5.1.《hadoop实战》Hadoop数据管理之HDFS
HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特质： 1.对于整个集群有单一的命名空问： 2.具有数据一致性．适合一次写入多次读取的模型，客户揣在文件没有被成功创建之前是无法看到文件存在的： 3.文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全...
2018-12-05 16:28:20
188
原创 4.《hadoop实战》Hadoop 计算模型一MapReduce
Map Reduce是Google公司的核心计算模型， 它将运行于大规模集群上的复杂的并行计算过程高度地抽象为了两个函数：map和 reduce。 Hadoop是Doug Cutting受到Google发表的关于MapReduce的论文的启发而开发出来的。 Hadoop中的MapReduce是一个使用简易的软件框架， 基于 它写出来的应用程序能够运行在由上千台商用机器组成的大型集群上， 井以...
2018-12-05 15:38:39
369
转载 MYSQL数据库引擎区别
文章转载至:https://www.cnblogs.com/zhangjinghe/p/7599988.html数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还...
2018-12-05 11:30:03
208
原创 3.《hadoop实战》Hadoop与分布式开发
我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在通信网络互联的多处理机体系结构上执行任务的，包括分布式操作系统、分布式程序设计语言及其编译（解帮）系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式系统中处理文件的软件系统中文件系统 这一层的软件， 它实现了分布式文件系统和部分分布式 数据库的功能。 Hadoop中的分布式文件系统 HDFS能够实现数...
2018-12-04 20:48:15
245
原创 2.《hadoop实战》HDFS和MapReduce体系结构
一).HDFS的体系结构 HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NarneNode和若干个DataNode组成的。其中NameNode作为主服务器， 管理文件系统的命名空间和客户端对文件的访问操作：集群中的DataNode管理存储的数据。 HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组Da...
2018-12-03 17:20:39
446
原创 1.《hadoop实战》Hadoop子项目及其结构
现在Hadoop已经发展成为包含多个子项目的集合。 虽然其核心内容是MapReduce和 Hadoop分布式文件系统（HDFS）， 但Hadoop下的Common、Avro、Chukwa, Hive、HBase等子项目也是不可或缺的。 它们提供了互补性服务或在核心层上提供了更高层的服务。l ) Core/Common ：从Hadoop0.20版本开始，HadoopCore项目便更各为Commo...
2018-12-03 16:49:18
879
原创 java各种时间转换
package com.ecofresh.bottice.util;/ ***日期都以年月日返回* /import java.sql.Timestamp;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Cal...
2018-07-02 09:57:12
5593
原创 Java MD5加密与解密
包com.shuoli.app.controller; import java.io.UnsupportedEncodingException; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; / ** *采用MD5加密解密 * * @author tfq * @d...
2018-06-07 11:29:33
1611
原创 前台用json传参后台怎么用实体类接收
@RequestBody注解可以处理前台传的json数据与后台实体类对应关注我微信公众号(经验分享)
2018-03-28 10:46:50
9383
7
原创 Javaweb google身份宝验证
最近项目需要用到google身份宝做安全校验 所有看了看Google身份宝的使用1.调用Google身份认证的数据 这里我用手机号做校验import java.io.IOException;import java.security.InvalidKeyException;import java.security.NoSuchAlgorithmException;import java.secu...
2018-03-27 10:53:19
1890
原创 ajax传递参数到head
// 为所有的ajax请求都会加上这个请求头 $(document).ajaxSend(function (event, xhr) { xhr.setRequestHeader("Content-Type", "application/json;charset=utf-8") ; xhr.setRequestHeader("val", "val") ; });//局部...
2018-03-23 10:50:28
7637
转载 基础正则表达式
一、引入： 1、需求：校验一个QQ号（要求：不能以0开头、长度5~11、只能由数字组成）2、代码实现： 方式一：依靠自己的逻辑实现：public class Demo1 { public static void main(String[] args) { String qq = "123"; //不能以0开头 if(!qq.startsWi...
2018-03-23 10:24:23
222
转载 MySQL逗号分割字段的行列转换技巧
前言：由于很多业务表因为历史原因或者性能原因，都使用了违反第一范式的设计模式。即同一个列中存储了多个属性值（具体结构见下表）。这种模式下，应用常常需要将这个列依据分隔符进行分割，并得到列转行的结果。表数据：ID Value1 tiny,small,big2 small,medium3 tiny,big期望得到结果：ID Va
2018-02-05 17:44:19
364
原创 java后台处理的最大数字达千万亿位 精确到分(数字转大写)
public String digitUppercase(String num) throws Exception{ String digit[] = { "零", "壹", "贰", "叁", "肆", "伍", "陆", "柒", "捌", "玖" }; String unit1[] = {"", "拾", "佰", "仟"};//把钱数分成段,每四个一段,
2017-11-13 14:57:05
800
转载 读Struts2的笔记(1)
Struts2是一种基于MVC(说明基于Struts2开发的Web应用自然就能实线MVC,也说明Struts2在MVC各个部分为开发提供帮助)的轻量级应用框架。
2017-01-09 17:59:24
221
原创 简单的字符乱码处理
public String ByteToUtf8(String a){try {a = new String(a.getBytes("iso-8859-1"), "UTF-8");} catch (UnsupportedEncodingException e) {e.printStackTrace();}return a;}
2017-01-09 10:46:35
2765
原创 java分页功能1
内容摘至http://www.imooc.com/video/4553分页的主要原因：1.数据原因(数据量) 2.用户体验传统分页下拉式分页:如 QQ空间2.分页方式：1.使用List接口的subList方式实线分页2.使用SQL语句实现分页3.使用hibernate等框架实线跨数据库的分页4.比较
2016-11-22 10:27:58
235
转载 MyBatis和Hibernate相比，优势在哪里？
1、开发对比开发速度Hibernate的真正掌握要比Mybatis来得难些。Mybatis框架相对简单很容易上手，但也相对简陋些。个人觉得要用好Mybatis还是首先要先理解好Hibernate。开发社区Hibernate 与Mybatis都是流行的持久层开发框架，但Hibernate开发社区相对多热闹些，支持的工具也多，更新也快，当前最高版本4.1.8。而Mybatis相对平静，工具
2016-11-21 17:41:32
243
转载 MyBatis中关于resultType和resultMap的区别
MyBatis中在查询进行select映射的时候，返回类型可以用resultType，也可以用resultMap，resultType是直接表示返回类型的(对应着我们的model对象中的实体)，而resultMap则是对外部ResultMap的引用(提前定义了db和model之间的隐射key-->value关系)，但是resultType跟resultMap不能同时存在。在MyBa
2016-11-21 15:12:00
431
springBoot集成mybatis+shiro+jsp
2017-11-01
springBoot集成mybatis与shiro
2017-11-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人