2018年11月_杨鑫newlfe

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Java Spring Boot项目添加外部jar包，mvn clean package打包不生效

我们添加了jar包，但是打包后发现生成的target项目中没有。解决方案：步骤一：在项目中新建/libs/文件夹，并且把jar包放进去步骤二：project structure加载外部jar包步骤三：修改pom.xml文件，新增：<plugin> <groupId>org.springframework.bo...

2018-11-30 15:11:29 2589

原创 Impala JDBC Driver returns [Simba]ImpalaJDBCDriver Error setting/closing session: {0}

问题： Impala JDBC Driver returns [Simba]ImpalaJDBCDriver Error setting/closing session: {0} 解决思路：出现问题的原因是因为JDBC端口设置错误。Configuring the JDBC PortThe default port used by JDBC 2.0 and later (...

2018-11-29 20:13:35 4082

原创 Java 实现联想输入搜索

/** * SQL 联想搜索返回随机的16个 * @param sql * @return */ @Override public String sqlLenovo(String sql, String db) { List<Map<String, Object>> result = new Arra...

2018-11-29 14:23:53 6123

原创 Java实现Yarn集群资源状态

调用接口发送Http Get请求@Override public ResourceStatusModel getCurrentYarnResource() { String res = httpClientUtil.sendGet(configUtil.readConfig("yarn.web.url")).split("/n")[0]; JSON...

2018-11-27 14:47:14 3126

原创 Java实现web端导出下载数据文件

/** * 在线下载查询后的结果文件 * @param jobID * @param request * @param response */ @Override public void OnLineDownLoadFile(String jobID, HttpServletRequest request, HttpServlet...

2018-11-27 14:43:54 1366

原创 Java实现Druid对SQL的格式化操作

/** * 格式化SQL操作 * @param sql * @return */ public String sqlFormat(String sql){ // 查询的SQL以及对应的SQL类型 String result = SQLUtils.format(sql, JdbcConstants.MYSQL); ...

2018-11-27 14:40:05 5189

原创 java实现Presto在线查询Hive

@Override public String queryHiveData(String sql, int page, int pageSize, String jobID, long startTime) { SQLQueryModel sqlQueryModel = new SQLQueryModel(); if (!sql.equals(sqlUti...

2018-11-27 12:50:38 3035 1

原创 java实现在线停止JDBC中SQL查询

实现思路解析：维护一个Map<jobID, 连接对象>jobID 这里作为唯一的ID，连接对象每次生成即可存储，结束查询后删除即可。当想停止jobID = 1的JDBC连接，我们只需要在Map中找到jobID = 1，然后取出连接对象，使用conn.close() 即可中断查询服务。代码部分：维护Map部分代码：import com.google...

2018-11-27 12:45:50 4948 2

原创新建SpringBoot项目打包WAR报错Error assembling WAR: webxml attribute is required

报错信息：Error assembling WAR: webxml attribute is required (or pre-existing WEB-INF/web.xml springboot启动的项目报错。解决方案： <!-- 没有web.xml文件的情况下构建WAR <plugin> &...

2018-11-21 17:50:11 4798 1

原创 Python实现朴素贝叶斯算法 --- 过滤垃圾邮件

# -*- coding:utf-8 -*-import numpy as npimport randomimport re__author__ = 'yangxin'"""过滤垃圾邮件"""class FilterSpam(object): # 分词操作（匹配任意的非单词字符） def text_parse(self, big_str): ...

2018-11-14 21:06:08 5175 1

原创 Python实现朴素贝叶斯算法 --- 屏蔽社区留言板的侮辱性言论

# -*- coding:utf-8 -*-import numpy as np__author__ = 'yangxin'"""贝叶斯公式p(xy)=p(x|y)p(y)=p(y|x)p(x)p(x|y)=p(y|x)p(x)/p(y)""""""屏蔽社区留言板的侮辱性言论"""class SpeechJudgment(object): def l

2018-11-14 21:04:18 5931 5

原创朴素贝叶斯中朴素是什么含义？

朴素贝叶斯中的“朴素”二字突出了这个算法的简易性。朴素贝叶斯的简易性表现该算法基于一个很朴素的假设：所有的变量都是相互独立的，假设各特征之间相互独立，各特征属性是条件独立的。就这一句话就理解了吧。。。...

2018-11-14 20:00:39 14045 1

计算 P(white) 或者 P(black) ，如果事先我们知道石头所在桶的信息是会改变结果的。这就是所谓的条件概率（conditional probablity）。假定计算的是从 B 桶取到白色石头的概率，这个概率可以记作 P(white|bucketB) ，我们称之为“在已知石头出自 B 桶的条件下，取出白色石头的概率”。很容易得到，P(white|bucketA) 值为 2/4 ，P(wh...

2018-11-14 19:55:36 2379

原创 Java实现HTTP Get请求

import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.impl.client.CloseableHttpClient;...

2018-11-14 15:28:02 12837 1

原创 Python实现决策树应用之判断隐形眼镜的类型

代码模块一、DecisionTreePlot# -*- coding:utf-8 -*-__author__ = 'yangxin_ryan'import matplotlib.pyplot as plt"""定义文本框和箭头格式【 sawtooth 波浪方框, round4 矩形方框 , fc表示字体颜色的深浅 0.1~0.9 依次变浅，没错是变浅】"""decisi...

2018-11-10 15:09:19 591

原创 Python实现决策树应用之判断鱼类与非鱼类

代码模块一：DecisionTreePlot # -*- coding:utf-8 -*-__author__ = 'yangxin_ryan'import matplotlib.pyplot as plt"""定义文本框和箭头格式【 sawtooth 波浪方框, round4 矩形方框 , fc表示字体颜色的深浅 0.1~0.9 依次变浅，没错是变浅】"""deci...

2018-11-10 15:07:11 1493

原创 Python实现DescionTree决策树 --- 选择切分数据集的最佳特征

# 选择切分数据集的最佳特征 def choose_best_feature_to_split(self, data_set): num_features = len(data_set[0]) - 1 # 计算信息熵 base_entropy = self.calc_shannon_ent(data_set) #best_i...

2018-11-07 21:09:48 1999

原创 Python实现DescionTree决策树 --- 划分数据集

""" 划分数据集 [[1, 1, ‘yes’], [1, 1, ‘yes’], [1, 0, ‘no’], [0, 1, ‘no’], [0, 1, ‘no’]] 这个是我们的数据集。如果我们选取第一个特征值也就是需不需要浮到水面上才能生存来划分我们的数据，这里生物有两种可能，1就是需要，0就是不需要。那么第一个特征的取值就是两种。如果我们按照第一个特征的...

2018-11-07 20:55:05 1254

原创 Java实现时间工具类

import com.xxx.conf.Constant;import org.springframework.stereotype.Component;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;/** * @author yangxin_ryan * 时间...

2018-11-05 15:44:21 863

原创 Java实现HiveSQL Parser

import com.xxxx.model.SQLParserResult;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.hive.ql.parse.*;import java.util.*;/** * @aut...

2018-11-05 15:42:56 4557 2

原创 Java 实现DruidParser

Ali 开源 Druid 实现SQLParser解析数据库、表、字段、格式化等操作import com.alibaba.druid.sql.SQLUtils;import com.alibaba.druid.sql.ast.SQLStatement;import com.alibaba.druid.sql.dialect.hive.parser.HiveStatementParser;...

2018-11-05 15:40:59 1371

原创 Java检测目录或者文件是否存在，不存在着创建

import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.springframework.stereotype.Component;import java.io.File;import java.io.IOException;/** * @autho...

2018-11-05 15:36:32 9207

原创 Java实现CSV文件读写操作

import com.xxx.conf.Constant;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.springframework.stereotype.Component;import java.io.BufferedReader;im...

2018-11-05 15:34:58 820

原创 Java中String 、StringBuffer 、StringBuilder区别

1.可变与不可变String类中使用字符数组保存字符串，如下就是，因为有“final”修饰符，所以可以知道string对象是不可变的。private final char value[];StringBuilder与StringBuffer都继承自AbstractStringBuilder类，在AbstractStringBuilder中也是使用字符数组保存字符串，如下就是，可知这两种...

2018-11-02 10:28:54 158