- 博客(312)
- 资源 (52)
- 问答 (6)
- 收藏
- 关注
RSS订阅原创 Windows下将Redis注册为服务
当前redis版本：3.2.100通常情况下我们可以通过 redis-server.exe 和配置文件启动redis服务 :redis-server.exe redis.windows.conf另外开启一个命令行窗口 redis-cli.exe 即可做一些简单的操作命令行但如果我们关闭控制台，那么Redis服务也跟随着一起关闭了，想使用的时候又得执行命令重新开启动redis 服务，是非常低效又麻烦的。在Windows中有个本地服务的概念，我们的目标就是将Redis注册成这里面的一个服务.
2020-07-31 11:21:58
778
原创 手动创建线程池,效果会更好哦
看阿里巴巴开发手册并发编程这块有一条：线程池不允许使用Executors去创建，而是通过ThreadPoolExecutor的方式手动创建。
2020-07-09 10:05:04
3767
1
转载 SpringCloud统一配置中心
转载：https://segmentfault.com/a/1190000018587707SpringCloud统一配置中心本篇简介通过上两篇的介绍我们已经掌握了SpringCloud中的注册中心组件Eureka以及服务间的调用方式RestTemplate和Feign。那么通过这两篇的内容，我们基本可以满足一些简单项目的开发需求了。但同样上述的项目架构还是有一些问题的。例如:不方便维护: 因为在公司开发项目时，是有多个团队多个成员同时开发的，这样就避免不了如果有人修改项目的..
2020-06-17 17:48:56
3427
原创 soapui调用webservice入参报文
soapui 入参报文：<?xml version="1.0" encoding="UTF-8"?><soapenv:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:soapenv="http:...
2019-12-20 13:31:51
1648
转载 Spring Boot 2.x和Spring Security 5.x后禁用认证
Spring Boot 2.x和Spring Security 5.x前禁用认证在application.yml或application.properties中加入这么一段(yml与properties差异请自行搜索，这里示意)security.basic.enabled=falsemanagement.security.enabled=false这样可以禁用掉弹出的用户名及密码输...
2019-08-13 19:26:56
902
转载 回归算法
内容1.什么是回归分析？2.我们为什么要使用回归分析？3.回归有哪些类型 ？4.线性回归5.逻辑回归（逻辑回归并不是回归算法，而是分类算法）6.多项式回归7.逐步回归8.岭回归9.Lasso回归10.ElasticNet回归什么是回归分析？ 回归分析是研究自变量和因变量之间关系的一种预测模型技术。这些技术应用于预测，时间序列模型和找...
2019-04-10 10:13:19
606
转载 Spark MLlib架构解析（含分类算法、回归算法、聚类算法和协同过滤）
MLlib目前支持4种常见的机器学习问题:分类、回归、聚类和协同过滤MLlib在Spark整个生态系统中的位置如图下图所示Spark MLlib库MLlib算法库的核心内容实验的数据直接使用官方提供的数据: 测试文件路径：spark-1.6.1-bin-hadoop2.6/data/mllib/1) 分类算法 分类算...
2019-03-30 10:40:07
2090
原创 groupByKey与reduceByKey
贴一段经典的代码： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(conf) val words = Array("one", "two", "two", "three", "three", "three") ...
2019-03-23 13:30:52
525
转载 键值对RDD（Pair RDD ）
1：map函数把一个普通的RDD转化为pair RDDvar lines = sc.parallelize(List("i love you"))val pairs = lines.map(x=>(x,1))pairs.foreach(println)(i love you,1)2：Pai RDDr的转化操作由于pair RDD中包含二元组，所以需要传递函数应当操作...
2019-03-23 12:34:17
743
原创 System.exit(0) System.exit(1)
System.exit(0)是正常退出程序，而System.exit(1)或者说非0表示非正常退出程序。 System.exit(status)不管status为何值都会退出程序。 和return不同的是： return是回到上一层，而System.exit(status)是回到最上层。 ...
2019-03-16 09:51:54
724
原创 MRUnit测试WordCount
pom<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <!--<scope>test&
2019-03-05 14:51:52
234
原创 WordCount
pom WordCountMapper.java WordCountReducer.java WordCountDriver.java POM<properties> <hadoop.version>2.6.0</hadoop.version></properties><dependen...
2019-03-04 17:35:25
240
转载 MRUnit的安装和使用
pom<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <!--<scope>test&
2019-03-01 18:00:04
420
转载 MapReduce练习
1) 求各个部门的总工资2) 求各个部门的人数和平均工资3) 求每个部门最早进入公司的员工姓名4) 求各个城市的员工的总工资5) 列出工资比上司高的员工姓名及其工资6) 列出工资比公司平均工资要高的员工姓名及其工资7) 列出名字以J开头的员工姓名及其所属部门名称8) 列出工资最高的头三名员工姓名及其工资9) 将全体员工按照总收入（工资+提成）从高到低排列，要求列出姓名及其总收入10) 如果每位员工只能和他的直接上司，直接下属，同一部门的同事交流，求任何两名员工之间若要进行信息传递所需要经过
2019-03-01 17:31:03
1718
转载 SVM（支持向量机）
SVM是一种用于二分类的分类算法，通过数据集训练得到的分类器，可以用来预测新的样本的类别（正例或负例两种类别）。SVM也可以用于回归。文本仅讲述支持向量分类器(SVC)。根据数据集的不同，SVM可以分为三类： 线性可分 线性不可分 非线性 下面，以线性可分的情况为例，讲解SVM的概念和基本公式推导过程。一、什么是SVM先以一个二维数据集实例为例，介绍...
2019-03-01 15:44:43
1076
原创 Mybatis 中$与#的区别
1 #是将传入的值当做字符串的形式，eg:select id,name,age from student where id =#{id}当前端把id值1，传入到后台的时候，就相当于select id,name,age from student where id ='1' -- id='1'2 $是将传入的数据直接显示生成sql语句，eg:select id,name,...
2019-02-28 18:26:57
207
转载 K-Means（聚类）
说到聚类，应先理解聚类和分类的区别，很多业务人员在日常分析时候不是很严谨，混为一谈，其实二者有本质的区别。分类：分类其实是从特定的数据中挖掘模式，作出判断的过程。比如Gmail邮箱里有垃圾邮件分类器，一开始的时候可能什么都不过滤，在日常使用过程中，我人工对于每一封邮件点选“垃圾”或“不是垃圾”，过一段时间，Gmail就体现出一定的智能，能够自动过滤掉一些垃圾邮件了。这是因为在点选的过程中...
2019-02-28 11:26:02
148975
61
转载 mrunit --- mapereduce测试框架
MRUnit的那些坑1. Maven无法成功导入org.apache.mrunit提示：Unresolved dependency：’org.apache.mrunit:mrunit:jar….’原因：没有确定版本解决方法：在<dependency></dependency>中间的语句块加上一行<classifier>hadoop2&...
2019-02-26 17:43:12
404
转载 Hbase命令
4.1 命令的进退1、hbase提供了一个shell的终端给用户交互hbase shell 2、如果退出执行quit命令4.2 命令名称 命令表达式 查看hbase状态 status 创建表 create '表名','列族名1','列族名2','列族名N' 查看所有表 list 描述表 describe '表名' 判断表...
2019-02-25 10:03:27
247
原创 Hbase常用命令
01、启动/停止服务(在Hbase根目录下执行)bin/start-hbase.shbin/stop-hbase.sh02、进入HBase客户端命令操作界面(在Hbase根目录下执行)bin/hbase shell03、查看帮助命令help04、查看当前数据库中有哪些表list05、创建一张表create 'student','info'06...
2019-02-22 15:10:28
1537
转载 Hive性能优化
1、介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop...
2019-02-15 09:20:26
302
转载 hive配置角度调优
下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容：In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number>In order to limit the maximum number of red...
2019-02-14 18:13:44
413
转载 Hive常用函数大全（二）（窗口函数、分析函数、增强group）
窗口函数与分析函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可...
2019-02-14 14:52:58
282
转载 Hive常用函数大全（一）（关系/数学/逻辑/数值/日期/条件/字符串/集合统计/复杂类型）
测试数据 data.txt 文件zhangsa dfsadsa323 new 67.1 2 lisi 543gfd old 43.32 1 wanger 65ghf new 88.88 | 3 liiu fdsfagwe new 66.0 1 qibaqi fds ...
2019-02-14 14:33:07
392
转载 Hive 元数据表结构详解
元数据是基础，这篇文章值得一读本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。 1、存储Hive版本的元数据表(VERSION)VERSION ：该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ...
2019-02-14 11:48:33
560
原创 数据仓库命名规范
数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范ODS层表名前缀为ODS_应用系统名（缩写）_数据表名 。数据表名称必须以有特征含义的单词或缩写组成，中间可以用“_”分割，例如：ODS_FUN_CUSTOME...
2019-02-12 14:20:40
3243
原创 星型模型 vs 雪花型模型
一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，所以数据有一...
2019-02-12 14:13:23
334
转载 缓慢变化维
数据仓库 DataWarehouse(DW) 中的事实表总是在变化中，通常是新的业务数据不断装载入DW。事实表数据的增加是正常现象，也无需特别处理。但很多时候维度表的数据也会发生变化，且维度表的数据变化会导致维度表和事实表的关系发生变化。因此对于维度变化，该如何设计维度表，是本文要讨论的问题。 例如一个订单事实表和一个客户维度表，每个订单有一个对应的客户。在今年5月17日...
2019-02-12 11:50:45
910
转载 拉链表、增量表、全量表
1、概念解析（1）存量：系统在某一时点时的所保有的数量；（2）流量：是指在某一段时间内流入/出系统的数量（3）增量：则是指在某一段时间内系统中保有数量的变化（4）增量 = 流入量 - 流出量（5）本期期末存量 = 上期期末存量 + 本期内增量2、拉链表：注意事项（1）记录一个事物从开始，一直到当前状态的所有变化的信息；（2）拉链表每次上报的都是历史记录的最终状态，是记录在当前...
2019-02-12 10:58:01
4942
原创 idea插件
MyBatis Log PluginMybatis现在是java中操作数据库的首选，在开发的时候，我们都会把Mybatis的脚本直接输出在console中，但是默认的情况下，输出的脚本不是一个可以直接执行的。如果我们想直接执行，还需要在手动转化一下。MyBatis Log Plugin 这款插件是直接将Mybatis执行的sql脚本显示出来，无需处理，可以直接复制出来执行的，如图：...
2019-01-29 16:30:38
311
1
原创 tomcate部署多个war包
说明：环境基于windows系统，linux配置相同。 #1.将war放在webapps目录下： manage_web_1.war manage_web_2.war 说明：tomcate启动时会自动解压webapps目录下的war包，不用手动解压，放入即可。#2.修改conf目录下的service.xml文件，新增如下配置，放在<Server&...
2019-01-28 18:31:56
4187
1
原创 linux项目部署常用命令
#动态查看文件tail -f *.log#启动tomcat ./startup.sh或者sh startup.sh #关闭tomcat./shutdown.sh或者kill -9 9129推荐使用后者，9129为第一个命令中提到的进程号。#查看进程对应信息ps -ef|grep 进程名ps -ef | grep ...
2019-01-27 10:29:49
988
原创 idea配置Jrebel
1.安装Jrebel插件 idea插件管理中直接收拾jrebel安装即可 补充：若按照失败，请参考：idea安装插件失败2.激活打开jrebel 激活面板 . 选择Connect to online licensing service .在上面的框中输入激活的url地址下面的框中输入邮箱地址 , 可随意填 . 然后点击右下角的激活按钮即可最新激活地址 :...
2019-01-23 11:24:20
923
转载 spring配置shiro
声明：本文已对原博客适当添改（亲测有效），便于本人理解。可通过底部链接访问原博客。 Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码学和会话管理。使用Shiro的易于理解的API,您可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。Shiro 主要分为来个部分就是认证和授权，在个人感觉来看就是查询数据库做相应的判断而...
2019-01-23 10:38:32
230
原创 idea安装插件失败
在IDEA插件中心中，安装插件经常安装失败，报连接超时的错误。如下： 我们发现连接IDEA的插件中心使用的是https的链接，我们在浏览器中使用https访问插件中心并不能访问。 而使用普通的http是可以访问插件中心的。因此，我们需要在IDEA中设置不使用https。具体如下：我们在settings中，找到如图所示位置，去掉use secure connection前面的...
2019-01-22 14:15:11
721
转载 idea高级调试debug
一、条件断点循环中经常用到这个技巧，比如：遍历1个大List的过程中，想让断点停在某个特定值。参考上图，在断点的位置，右击断点旁边的小红点，会出来一个界面，在Condition这里填入断点条件即可，这样调试时，就会自动停在i=10的位置 二、回到"上一步" 该技巧最适合特别复杂的方法套方法的场景，好不容易跑起来，一不小心手一抖，断点过去了，想回过头看看刚才的变量值，如果...
2019-01-22 12:52:45
955
转载 idea远程连接linux
java项目经常会在linux上部署，每次要切换到SecureCRT这类终端工具未免太麻烦，idea也想到了这一点:然后填入IP、用户名、密码啥的点击OK，就能连接上linux了注：如果有中文乱码问题，可以在Settings里调整编码为utf-8 四、集成FTP点击上图中的...，添加一个Remote Host填写ftp的IP、用户名、密码，根路...
2019-01-22 12:50:39
2206
Mybatis日志中的SQL解析工具（网页版）.html
2021-04-23
SVNDrv驱动文件.zip
2021-04-20
SVNDrv.sys
2020-08-28
java调用天气预报webservice
2018-04-24
java微信公众号支付
2018-01-27
json解析jar包
2017-12-13
java开发常见api
2017-11-20
feign超时熔断时间
2021-04-21
spark的dataframe究竟知不知道每列的名称和类型各是什么？
2019-01-15
电商支付如何实现呢？
2017-12-07
JSP页面的 src 属性、 action 属性是属于转发还是重定向？
2017-12-04
提交订单，后台有提示信息
2017-11-29
裂变红包是如何实现的
2017-11-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人