- 博客(42)
- 收藏
- 关注
RSS订阅原创 Swagger和SpringMvc集成步骤
1.添加相关的依赖 <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>2.6.1</version> <scope
2019-01-18 18:13:06
377
原创 Presto UDAF 输出数组(array)
1.版本0.189之前的使用: @OutputFunction("array(" + StandardTypes.BIGINT + ")") public static void output(SliceState state, BlockBuilder out) { // 获取状态 Slice slice = state.getSlice...
2019-01-10 17:31:24
1521
1
原创 Presto 聚合函数（UDAF） 开发详细步骤
1.加入相关依赖： packaging>presto-plugin</packaging> <!--设置presto版本--> <properties> <presto.verison>0.208</presto.verison> </propertie...
2019-01-10 17:04:55
3268
原创 Spring boot 使用@ConfigurationProperties来获取配置文件中的属性配置
有时候有这样子的情景，我们想把配置文件的信息，读取并自动封装成实体类，这样子，我们在代码里面使用就轻松方便多了，这时候，我们就可以使用@ConfigurationProperties，它可以把同类的配置信息自动封装成实体类1.在application.properties配置文件中，加入下面的信息 test.name=xxx test.env=xxx 2.定...
2019-01-02 15:25:47
2457
原创 上传jar到远程仓库
1.修改maven的配置文件settings.xml $>vi ~/Soft/maven/conf/settings.xml 2.修改内容： <server> <id>nexus-releases</id> <username>nexususer</username>...
2018-12-26 15:43:12
582
原创 Hive开发UDF
编写用户自定义函数,来满足默认函数不能满足的需求。1.创建maven项目，导入相关依赖：dependencies <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> ...
2018-12-19 16:54:13
322
1
原创 Presto开发udf自定义函数（标量函数）
前言：在 Presto 中，函数大体分为三种：scalar，aggregation 和 window 类型。 scalar 就是标量函数，简单来说就是 Java 中的一个静态方法，本身没有任何状态。下面介绍的就是scalar标量函数相比hive的udf开发，presto的udf并不叫做自定义函数，在presto中的所有的方法都是以插件（plugin）的方式加载到presto中的，下面介绍一下自...
2018-12-19 15:49:17
2983
6
原创 IDEA开发环境下Maven的配置
什么是Maven Maven是一个软件项目管理和构建工具。基于项目对象模型（POM）的概念，Maven可以从一个中心信息管理项目的构建，报告和文档。 为什么使用Maven使构建过程变得简单提供统一的构建系统提供优质的项目信息提供最佳实践开发指南允许透明迁移到新功能 部署Maven的环境变量首先我们需要下载Maven的安装程序，去官网：http://m...
2018-08-25 13:51:40
537
原创 Hive搭建（使用MySQL数据库作为Meta Store）参考Hive编程指南（P28）
Hive安装默认使用的是Derby数据库，但是通常设置使用自己的安装的数据库，如果想要安装Hive设置自己的数据库请按照下面操作前提：Hadoop集群可以正常使用 在Master节点或者其他节点上安装好MySQL数据库1.安装MySQL2.修改hive的配置文件{HIVE_HOME/conf}目录下，复制hive-env.sh.template $...
2018-08-11 15:21:58
497
原创 基于CentOS6.5 Mysql安装基于yum和手动安装
Yum安装 1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_64 3.验证删除是否...
2018-08-11 12:13:08
189
原创 For direct MetaStore DB connections, we don't support retries at the client level.
已经配置好hive，mysql作为元数据的数据库。在hive中执行drop语句出错：hive>drop table tableName;出现下面提示信息： FAILED: SemanticException Unable to fetch table ljz. For direct MetaStore DB connections, we don't support ret...
2018-08-07 22:37:32
1095
原创 VMware虚拟机中如何安装VMware Tools增强工具，以解决VMware虚拟机和本地系统之间复制粘贴问题
1.操作环境：window10（本机系统）VMware虚拟机2.遇到问题 在windows系统上安装VMware虚拟机，然后就可以在虚拟机上面模拟一些我们想要的运行环境，但是在使用的过程中会发现，windows系统上的文本不能够复制粘贴到VMware上，VMware上面的内容也不能复制粘贴到windows系统，要解决这样的问题，需要在虚拟机上安装增强工具，下面来看看具...
2018-06-02 22:38:48
7867
1
原创 基于CentOS6.5系统Hadoop2.7.3完全分布式集群搭建详细步骤
前言：本次搭建hadoop集群使用虚拟机克隆方式克隆slave节点，这样做可以省去很多不必要的操作，来缩短我们的搭建时间。一、所需硬件，软件要求使用 VMWare构建三台虚拟机模拟真实物理环境操作系统：CentOS6.5二、必备条件hadoop搭建需要在三台机器上进行，并且不能是root用户，我们需要创建普通用户，进行下面的操作，三台机器分别都要创建普通用户，而且三台机器上的...
2018-05-30 20:44:53
1686
1
原创 Shell脚本编程
一、什么是Shell？Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。二、Linux的...
2018-05-23 18:58:39
536
原创 linux-Vim/Vi文本编辑器
一、什么是Vim/Vi文本编辑器简介：Vim/Vi是一个功能强大的全屏幕文本编辑器，是Linux/Unix上最常用的文本编辑器，它的作用是建立、编辑、显示文本文件。二 、Vim/Vi工作模式：三、vim/vichang①插入命令：命令 作用a 在光标后附加文本A 在本行行末附加文本i 在光标前插入文本I 在本行开始插入文本o 在光标下插入新行O 在光标上插入新行②定位命令命令 作用h/left左移...
2018-05-23 09:03:12
261
原创 CentOS6.5虚拟机克隆详细步骤
1.打开VMWare，确认已经完成安装配置的CentOS6.5虚拟机在关机状态。操作：右键单击要克隆的虚拟机，选择“管理”->“克隆”2.下一步3.选择“虚拟机中的当前状态”，下一步4. 选择“创建完整克隆”，下一步5.填写虚拟机名称，并选择保存位置，下一步6.开始克隆7.完成克隆，点击关闭8.在VMware虚拟机列表中，看到刚才克隆的虚拟机。注：虽然虚拟机已经克隆完成，但是克隆出来的主机名...
2018-05-22 21:40:41
4864
1
原创 Apache Hadoop-2.7.3伪分布式搭建详细步骤
1.什么是Apache Hadoop？ Apache Hadoop项目为可靠，可扩展的分布式计算开发开源软件。2.Apache Hadoop项目包含哪些模块？ Hadoo...
2018-05-22 10:29:21
611
原创 在linux系统上安装mysql-5.6.27数据库超详细步骤
安装前准备：到mysql官网（https://dev.mysql.com/downloads/mysql/）下载mysql编译好的二进制安装包，来到官网，我们拉到页面的下部，找到相应的版本，如图所示内容：然后我们把下载的软件包，上传到我们的linux服务器上，我使用的是(SSH FTP)SSH FTP使用方法参考博客：https://blog.csdn.net/lg_49/article/deta...
2018-05-07 21:24:54
8225
6
原创 Linux系统安装eclipse及eclipse快捷方式生成办法
首先你要下载和你linux版本对应的eclipse工具包，本例使用.tar.gz的eclipse软件包，基于桌面版本的CentOS5.5版本。使用(SSH FTP)把软件包上传到虚拟机linux系统上。(SSH FTP)使用方法参考博客：https://blog.csdn.net/lg_49/article/details/80199602必要条件：jdk（Java语言软件开发工具包）安装当然我们...
2018-05-07 21:00:50
1135
原创 Linux安装和配置jdk和tomcat方法详解
Linux安装jdk和tomcat方法详解以centos5.5为例，到Apache和Oracle的官方网站下载所需的工具包和,并将两个软件包上传到Linux服务器。进入虚拟机，找到我们的两个工具包：安装jdk,使用RPM命令： rpm命令选项说明：-i安装一个软件包-v选项用于显示rpm当前这在执行的工作-h选项通过打印“#”，提醒用户当前的安装进度配置环境变量，使用命令vi /etc/profi...
2018-05-04 20:18:16
579
原创 了解虚拟机三种网络模式及远程工具（SSH）基本使用方法
虚拟机网络模式：点击虚拟机软件的编辑菜单，选择虚拟网络编辑器，可以看到虚拟机的三种网络的配置，如图：①桥接模式：克隆宿机上的ip，在同一ip段内例如宿机上的ip：192.168.1.XXXLinux产生的ip：192.168.1.1~255中的任一一个，但是不能与宿机上的相同实例：②NAT模式：VM模拟了一个网关，如VMnet8，模拟了一个ip段位。如模拟网关的ip地址为：192.168.111....
2018-05-04 20:08:47
2066
原创 超详细Linux命令大全
一、Linux文件系统结构： 对其中比较常用的进行总结：1）根目录（/）：唯一的2）bin:(binary的简写：二进制)：存的是一些系统级别的命令文件3）dev:（device的简写：设备）：可以挂载一些其他设备4）home:是用户的主目录，每个用户都会以目录的形式存储在home下5）media:可以存放影音等文件6）mnt:主要是挂载光驱优盘等设备7）opt存储其他外来软件的安装位置8）roo...
2018-04-23 17:48:27
1025
原创 VMWare虚拟机上安装Linux操作系统详细步骤（CentOS系统）
当我们使用电脑进行工作或者学习的时候，不满足只在当前的系统上工作怎么办，也就是你自己的电脑系统是Windows系统，而你要在Linux系统上进行操作，为了不对我们本电脑系统造成影响，我们可以选择安装虚拟机，来完成我们这样的需求，虚拟机不会影响我们电脑的本机系统，下面我来介绍一下VMWare12虚拟机怎么安装系统，本例使用CentOS作为例子，有兴趣的同学也可以，安装别的的系统，方法...
2018-04-18 22:25:46
1250
原创 字符串、正则表达式、日期操作基本知识
一、字符串常用方法二、正则表达式可以用来做什么：定义了字符串的模式；可以用来搜索、编辑或处理文本；并不仅限于某种语言，但是每种语言中有细微的差别。java.util.regex包主要包含以下三个类：Pattern 类：pattern 对象是一个正则表达式的编译表示。Pattern 类没有公共构造方法。要创建一个 Pattern 对象，你必须首先调用其公共静态编译方法，它返回一个 Pattern 对...
2018-04-17 22:37:04
1148
原创 JAVA开发环境搭建及java基础知识详解
一、Java开发环境搭建1.下载软件首先我们需要下载java开发工具包JDK，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html点击之后：下载后JDK的安装根据提示进行，还有安装JDK的时候也会安装JRE，一并安装就可以了。2.配置环境变量（基于win10系统，其他系统也差不多）首先我们右键点击此电脑，选择...
2018-04-17 22:09:53
346
原创 开发Servlet组件你不能不知道的东西
1.Tomcat概念： tomcat是ApacheSoft组织下的一款用于扩展web服务器的一个Servlet容器，此款软件需要在jre环境下运行启动。2.myeclipse配置Tomcat环境点击window选择Preferences，这时候出现：进行第二步配置：最后,如果你的Tomcat版本比较高怎么办，只要这样就可以了3.测试：Tomcat是否配置成功在MyEclipse中启动Tomc...
2018-04-02 21:13:28
236
原创 JDBC（java数据库连接技术）和DBCP(数据库连接池)联合使用
1.配置文件首先要创建创建db.properties配置文件（properties文件可以通过Properties对象读取文件内容，根据等号前的内容从而读取到等候后面的内容，有点类似map的key、value），文件内容：oracle写法：driver=oracle.jdbc.driver.OracleDriverurl=oracle:jdbc:thin:@127.0.0.1(本机数据库):152...
2018-03-28 20:08:47
254
原创 Oracle数据库常用函数总结
字符串函数：拼接函数：concat(p1,p2) ，内容p1、p2进行无缝拼接，也可使用“||”代替统计长度：length(p1)，统计p1内容的字符串长度补位函数：左补位：lpad(p1,n,p2)，使用p2对p1进行左补位，总长度为n；右补位函数同理大小写函数：都大写：upper(p1)，内容p1字符中的字母都大写;都小写：lower（p1）内容p1字符中的字母都小写；首字母大写：initca...
2018-03-27 20:02:08
375
原创 Oralce数据库SQL（结构化查询语句）详细归类以及使用方法举例(针对表)
1）DDL（Data Definition Language）数据定义语言a.create创建表：create table tname(colName1 Datatype，coluName2 Datatype,……);说明：此关键字不光可以用来创建表，还可以用来操作，序列（sequence）、视图（view）、索引（index）b.alter修改表结构：增加表的字段：alter table tNa...
2018-03-23 20:17:57
781
原创 SpringBoot--使用Thymeleaf模板开发web项目
1.什么是thymeleaf？ 是一个用于web开发的模板引擎（使用户界面与业务数据(内容)分离而产生的，不属于特定技术领域，是跨领域跨平台的概念），可以完全的替代JSP。 是一个java库.是一个XML/XHTML/HTML4模板引擎,能够在模板文件上应用一组转换,将程序产生的数据或文本显示到模板文件上.
2017-10-23 15:16:36
6514
原创 Git进阶命令（三）之Git远程仓库操作
基于git的远程仓库使用远程仓库便于进行团队开发，如图所示，当甲使用push提交一个项目到远程仓库，乙可以从远程仓库clone，甲提交的项目，乙对项目进行完善，用push把项目重新提交到远程仓库，这时甲可以使用pull，拉回项目，这时候的项目就是乙完善过后的项目。
2017-10-23 14:46:10
263
原创 git快速入门
Git是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。 管理 Linux 内核开发而开发的一个开放源码的版本控制软件。但是现在的Git不光可以在Linux上使用，在win也是同样的使用。
2017-10-22 21:25:24
303
原创 使用IDEA创建一个Spring Boot Maven项目
1.打开IDEA软件,点击左上角File,然后: 2.创建空项目 3.选择Project存储位置这里的project相当于Eclipse工作空间 4.创建Modules(相当于Eclipse中的项目)点击右上角 5.添加JDK 6.创建Module 选择Modules点击+号,之 7.创建web项目 之后点击Finish然后点击ok 8.项目结构
2017-09-28 21:11:00
1222
原创 Junit框架(基于myeclipse)
1.什么是Junit? JUnit是一个Java语言的单元测试框架。编写的一个回归测试框架(regression testing framework)。 2.为什么要使用Junit？ 1）在极限编程的过程中，基本过程是这样的:构思-> 编写测试代码-> 编写代码-> 测试，编写测试和编写代码都是增量式的，代码中如果发现问题可以较快的找到问题的原因，减小回归错误的纠错难度。 2）需要编写测试的
2017-09-28 20:50:41
230
原创 完整版在IDEA上使用GitHub进行项目开发
GitHub为开发者提供git仓库的托管服务。为我们在网络上提供一个远程仓库。 1）前提条件： a.登录GitHub账号File–>setting，出现 b.配置好Git（前提是你要首先安装好git） 设置完毕点击OK即可。 2）把创建好的项目提交到GitHUB上 a.把创建好的项目，创建本地仓库 b.选择本地仓库的位置 点击OK后创建完成本地仓库，注意，这里仅仅是本
2017-09-28 20:34:12
1726
原创 使用GitHUB，GitHub前准备
1）创建自己的GitHuB账户： 登录到网站：www.github.com 填写用户名、邮箱、密码,点击Sign up即可简单地注册 2）完成注册，新建一个新仓库 3）新建项目的操作，其实很简单，输入项目名就可以直接Create了 4）单击剪切板图标，记录你的项目地址。
2017-09-28 19:27:41
319
原创 在Linux上git的安装，基于系统Ubuntu16
git 最初是 Linus Torvalds 为帮助Linux开发而创造的，这次来介绍一下Linux上git的安装。 1）打开终端，切换root用户,检查系统有没有安装Git输入git，第一次安装界面为： 2）然后Linux会告诉你安装的方法，输入apt-get install git 如果是其他Linux版本，可以直接通过源码安装。先从Git官网下载源码，然后解压，依次输入：./config
2017-09-28 19:16:44
490
原创 在windows上安装git
GitHub 使用 git 分布式版本控制系统，而 git 最初是 Linus Torvalds 为帮助Linux开发而创造的，它针对的是 Linux 平台，因此 git 和 Windows 从来不是最好的朋友，因为它一点也不像 Windows。GitHub 发布了GitHub for Windows，为 Windows 平台开发者提供了一个易于使用的 Git 图形客户端。GitHub For Wi
2017-09-28 19:08:19
3129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人