- 博客(12)
- 问答 (1)
- 收藏
- 关注
原创 Hive 的基本使用
创建表语法:CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_com
2017-09-15 11:55:46
200
原创 Hive的搭建及使用
Hive是Hadoop生态中一个组件,Hive的出现使不懂编写MapReduce程序的人也能完成数据清洗、数据分析等工作。Hive有三种模式:内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接本地独立模式:在本地安装Mysql,把元数据放到mySql内远程模式:元数据放置在远程的Mysql数据库1、下载Hive安装包http://hive.apache.or
2017-09-15 11:48:54
399
原创 HDFS基本命令
[-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...]
2017-09-15 11:37:01
213
原创 Hadoop 集群搭建
本篇介绍Hadoop集群搭建:Hadoop的成员角色有 HDFS:NameNode,DataNode,SecondaryNameNodeMapReduce:MapTask,ReduceTask,MRappTask.Hadoop 2.x以后增加的yarn:ResourceManager,NodeManager。Hadoop集群有两种搭建方式:一种是传统集群搭建,只用一个Nam
2017-09-15 11:33:41
167
原创 利用WebService调用天气接口
由于最近项目需要用到实时天气查询,于是就想起来使用webService来获取天气接口。但是在使用的过程中,遇到了各种坑,这里稍微整理下先给出项目文件结构首先在百度上找到了webService的wsdl。http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?wsdl将此网站的的内容全部复制到一个wsdl的文件中
2017-06-20 10:07:55
13805
6
原创 centos安装redis及集群
在很多应用中都需要使用redis进行缓存,这也是redis最主要的一个用途。然而当缓存到了一定大小时,一台服务器的容量也是有限,所以就出现了redis集群。redis集群允许将缓存分配到多个服务器上共同协作。本文中使用到的是centos6.8,redis-3.0.0.一、安装redis相关环境redis是C语言开发的,所以需要在服务器上安装gcc环境。yum insta
2017-05-13 12:25:40
309
原创 centos6.8上安装nginx
在服务器上我们经常会使用到nginx,nginx是C语言开发的,所以建议在linux上运行,此次选择在Centos6.8上安装nginx并运行。其中Centos6.8是最小化安装,使用的nginx版本为 nginx-1.8.0一、安装nginx需要的相关环境1.安装nginx需要下载源码进行编译,编译需要gcc环境,所以需要安装gcc[root@localhost ~]# yu
2017-05-09 16:31:28
465
原创 mybatis分页插件的使用
在maven项目中导入分页插件 com.github.pagehelper pagehelper 3.4.2 com.github.jsqlparser jsqlparser 0.9.1然后在mybatis配置文件中加入插件 设置数据库类型 Oracle,Mysql,MariaDB,SQLite,Hsqldb,Pos
2017-05-08 22:08:49
449
原创 项目总结:spring+mybatis整合
创建maven项目引入相应的jar包,在maven项目中的src/main/resources中创建相关文件。1、创建 mybatis/SqlMapConfig.xml 文件(mybatis的配置文件,可以是0配置)<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://myb
2017-05-08 21:56:48
375
原创 Druid配置相关参考
需要Spring集成,并配置相关properties文件。通常来说,只需要修改initialSize、minIdle、maxActive。如果用Oracle,则把poolPreparedStatements配置为true,mysql可以配置为false。分库分表较多的数据库,建议配置为false。
2017-05-08 21:40:17
272
原创 使用maven的一些心得记录
maven构建web项目时,有时只想使用maven自带的tomcat插件启动项目,这样做方便开发。 org.apache.tomcat.maven tomcat7-maven-plugin 2.2 8080 / 相关
2017-05-08 21:35:57
197
原创 多台Centos自动部署JAVA环境
众所周知,在Java分布式部署或Java项目集群中,需要使用多台服务器进行部署。然而要在多台服务器中运行项目代码就需要部署Java环境,而现实生活中,开发人员不可能到每一台服务器上去手动部署环境,这时自动部署环境就可以大展身手了。本文主要讲解自动部署所需命令及流程。测试系统使用 Centos8.6 最小化安装,所以存在很多命令不存在需要再次安装。
2017-05-05 22:26:09
794
1
空空如也
java中FTPClient上传图片,无法上传
2017-02-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人