自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

吃果冻不吐果冻皮

软件开发工程师。个人公众号:【吃果冻不吐果冻皮】

原创 我的知乎专栏文章汇总

文章目录和果冻一起学AI和果冻一起学设计模式跟着果冻学穿搭其他 和果冻一起学AI 和果冻一起学设计模式 跟着果冻学穿搭 其他

2019-10-04 14:09:01 143 0

原创 Hadoop自测题及参考答案(持续更新中--2015.7.20)

单选题 1、与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN注:其他几项都是资源统一管理系统或者资源统一调度系统,而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是 A. HashM...

2015-06-25 09:13:50 16127 10

原创 Hadoop2.6深入伪分布安装(CentOS 6.5)

一、安装前准备 CentOS6.5(64bit) hadoop-2.6.0-64.tar.gz jdk-7u67-linux-x64.tar.gz 二、安装 1、关闭防火墙和SELinux service iptables status (查看) service iptable...

2015-05-27 22:15:36 3189 2

原创 Hadoop2.6分布式 automatic HA+Federation+Yarn教程

一、前言 与Hadoop1.x相比,Hadoop2.x中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。这两个NameNode的地位如何哪? 答:一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是...

2015-04-29 10:00:51 2446 1

原创 使用JDBC连接ElasticSearch6.3(ElasticSearch SQL JDBC)

简述 Elasticsearch6.3内置支持 SQL,我们可以像操作 MySQL一样使用 Elasticsearch,这样我们就可以减少 DSL 的学习成本,这个 SQL 模块是属于 X-Pack 的一部分。Elasticsearch SQL 主要有以下几个特点: 1. 允许我们在 Elas...

2018-06-19 21:50:18 13973 6

原创 Hadoop API通过Kerberos认证读取HDFS(windows)

源数据 代码 package com.lgd.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apa...

2018-06-01 19:17:20 1506 0

原创 SpringMVC整合Highcharts(基本饼图,条形图,柱状图)

步骤1、引入highcharts<script type="text/javascript" src="${context.getContextPath()}/js/highcharts/highcharts.js"></script>...

2017-12-21 18:17:46 2096 3

原创 大数据面试指南(含答案)

大数据面试指南(含答案)_v1 包含Hadoop、Hive、Spark、Hbase、Java、Spring、Redis、Kafka等内容。 下载链接:http://download.csdn.net/detail/scgaliguodong123_/9841862

2017-05-14 09:28:58 1901 0

原创 Hive常用函数大全(一)(关系/数学/逻辑/数值/日期/条件/字符串/集合统计/复杂类型)

关系运算## > < = ##注意: String 的比较要注意(常用的时间比较可以先 to_date 之后再比较) select long_time>short_time, long_time<short_time,long_time=short_time, to_dat...

2017-03-08 20:18:19 4320 0

原创 Hive常用函数大全(二)(窗口函数、分析函数、增强group)

关系运算## > < = ##注意: String 的比较要注意(常用的时间比较可以先 to_date 之后再比较) select long_time>short_time, long_time<short_time,long_time=short_time, to_dat...

2017-03-03 11:13:55 45777 11

原创 初识Logstash

logstash简介logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。当然它可以单独出现,作为日志收集软件...

2017-02-20 13:02:37 1594 0

原创 IntelliJ Idea 常用快捷键 及 模板注释

Ctrl+Alt+t 选择代码块 try catch Alt+回车 导入包,自动修正 Ctrl+N 查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数...

2016-12-28 19:48:46 3776 0

原创 大数据资料收集

Spark SQL 官方文档 http://spark.apache.org/docs/latest/sql-programming-guide.htmlSpark SQL 官方文档-中文翻译 http://www.cnblogs.com/BYRans/p/5057110.html

2016-11-15 18:31:40 696 0

原创 在HDFS HA上部署HBase

参考文章:http://blog.csdn.net/wuwenxiang91322/article/details/44684655hbase需要根据hadoop2.0里的hdfs HA方案做相应修改。 实际操作时将hdfs的配置文件core-site.xml和hdfs-site.xml拷贝到h...

2016-10-28 18:31:58 1413 0

原创 Apache Kylin资料收集整理

kylin 搭建和简单测试结果 http://chengjianxiaoxue.iteye.com/blog/2218510 Kylin的cube模型 http://www.cnblogs.com/en-heng/p/5239311.html

2016-10-25 15:19:50 590 0

转载 R语言解读一元线性回归模型

前言在我们的日常生活中,存在大量的具有相关性的事件,比如大气压和海拔高度,海拔越高大气压强越小;人的身高和体重,普遍来看越高的人体重也越重。还有一些可能存在相关性的事件,比如知识水平越高的人,收入水平越高;市场化的国家经济越好,则货币越强势,反而全球经济危机,黄金等避险资产越走强。如果我们要研究这...

2016-10-25 08:34:57 2978 0

原创 Ubuntu常用软件安装

SSHubuntu默认并没有安装ssh服务,如果通过ssh远程连接到Ubuntu,需要自己手动安装ssh-server。判断是否安装ssh服务,可以通过如下命令进行: ps -e|grep ssh 输出如下:ps -e|grep ssh 2151 ? 00:00:00 ssh-a...

2016-10-18 11:18:45 368 0

原创 Hive2.1.0安装配置

前提: 下载安装压缩包:apache-hive-2.1.0-bin.tar.gz 已经安装了Mysql和Hadoop 在 Hive 中创建表之前,需要在HDFS上创建hive-site.xml文件配置的目录/usr/liguodong/tmp 和 /user/hive/warehouse (...

2016-09-24 18:32:24 4765 0

原创 Giter8安装及使用教程

http://www.foundweekends.org/giter8/index.html

2016-08-20 17:17:39 1995 0

原创 Windows下IDEA,Git,SBT整合详解

IDEA,Git,SBT,Java,Scala的相关安装不做过多累述。 版本: jdk7 sbt-0.13.5.zip scala-2.11.7.tgz IDEA2016 Git-1.9.0本文采用GitHub作为远程仓库。 首先创建一个远程仓库。 然后Clone远程仓库到本地。在...

2016-08-18 19:30:01 1193 0

转载 Windows平台下sbt的安装设置

首先到http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html下载windows的sbt包,zip,tar.gz都行。将下载的包解压到你指定的目录,我一般是解压到d:\dev\sbt目录,d:\dev下是日常工作中所用到的开发...

2016-08-12 08:57:54 2684 0

原创 Scala AOP编程

trait Action{ def doAction }trait TBeforeAfter extends Action{ //doAction虽然实现了,但依旧是抽象方法。 //方法内部我们调用了super.doAction,因此仍然是抽象的 abstract override...

2016-06-02 11:21:24 1425 0

转载 Spark 2.0介绍:从RDD API迁移到DataSet API

RDD迁移到DataSetDataSet API将RDD和DataFrame两者的优点整合起来,DataSet中的许多API模仿了RDD的API,虽然两者的实现很不一样。所以大多数调用RDD API编写的程序可以很容易地迁移到DataSet API中,下面我将简单地展示几个片段来说明如何将RDD编...

2016-05-24 19:12:45 7076 1

原创 Kafka集群搭建

解压缩tar -zxvf kafka_2.10-0.8.2.2.tgz重命名mv kafka_2.10-0.8.2.2 kafka修改配置文件修改服务器的config/server.properties。broker.id:标识当前的server在集群中的id,唯一,填数字(非负数)。host.n...

2016-03-20 01:07:26 643 0

原创 IDEA编写Spark程序及手动Artifacts并运行

新建scala工程添加Spark Jar包新建如下格式的目录/src/main/scala编写代码package SparkDemo002import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkC...

2015-12-24 17:33:31 663 0

原创 Spark-shell例子

//parallelize演示(并行化scala的数据集) val num=sc.parallelize(1 to 10) //将数组并行化成RDD,默认分片 val doublenum=num.map(_*2) //每个元素*2 val threenum=doublenum.filter(_%...

2015-12-22 17:19:11 2043 0

原创 SpringMVC注解方式

目录结构流程pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...

2015-11-24 18:22:42 428 0

原创 SpringMVC控制器,日期转换器,编码过滤器

oneorg.springframework.web.servlet.mvc.ParameterizableViewController 如果请求是/hello.action的请求路径,则直接跳转到/jsp/success.jsp页面,不经过程序员定义的控制器Action。目录结构控制流程pom...

2015-11-23 19:06:02 1159 0

原创 SpringMVC适配器

适配器Adapter【Action实现什么接口】 Action实现Controller接口 org.springframework.web.servlet.mvc.SimpleControllerHandlerAdapter目录结构操作流程pom.xml<project xmlns=&q...

2015-11-22 16:05:32 687 0

原创 Scala高阶函数

在函数式编程语言中,函数是“头等公民”,可以像任何其他数据类型一样被传递和操作。 因为Scala混合了面向对象和函数式的特性,所以对Scala来说,函数是“头等公民”。作为值的函数在Scala中,无法直接操纵方法,只能直接操纵函数,所以需要使用_。import scala.math._val t...

2015-11-20 00:34:01 877 0

原创 SpringMVC映射器,逻辑视图名及自定义springmvc.xml路径

pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:s...

2015-11-17 15:35:49 4935 0

原创 初试Spring MVC

1pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:...

2015-11-17 13:05:42 546 0

原创 Spring声明式事务管理(XML与注解方式)

事务控制概述编程式事务控制自己手动控制事务,就叫做编程式事务控制。 Jdbc代码: Conn.setAutoCommite(false); // 设置手动控制事务 Hibernate代码: Session.beginTransaction(); // 开启一个事务细粒度的事务控制: ...

2015-11-16 17:40:00 4572 0

原创 Spring对JDBC的支持

所用到的文件截图 添加Maven依赖 以往JDBC的操作package jdbc;import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.S...

2015-11-12 13:32:09 762 0

原创 C3P0的连接池参数解释

参数解释

2015-11-11 18:43:35 1071 0

原创 Spring切入点表达式

execution 其格式为: execution(modifiers-pattern? ret-type-pattern declaring-type-pattern? name-pattern(param-pattern) throws-pattern?) returning type pat...

2015-11-11 16:59:44 1925 0

原创 Spring AOP编程(XML实现)

XML实现AOP编程:1) 引入jar文件【aop相关jar,4个】 2) 引入aop名称空间 3) aop 配置 1、配置切面类 (重复执行代码形成的类) 2、aop配置(拦截哪些方法 / 拦截到方法后应用通知代码)Spring AOP编程(注解实现) http://blog.csdn...

2015-11-11 15:32:36 724 0

原创 Spring AOP其他几个注解介绍

Spring AOP注解实现 http://blog.csdn.net/scgaliguodong123_/article/details/49779021返回后通知执行结果 异常通知执行结果 环绕通知执行结果

2015-11-11 11:52:41 543 0

原创 Spring AOP编程(注解实现)

一、基本概述Aop(aspect object programming) 面向切面编程 功能: 让关注点代码与业务代码分离!关注点 重复代码就叫做关注点;切面 关注点形成的类,就叫切面(类)!面向切面编程,就是指 对很多功能都有的重复的代码抽取,再在运行的时候网业务方法上动...

2015-11-11 11:13:43 1652 0

原创 手写实现AOP编程

AOP 面向切面的编程, AOP可以实现“业务代码”与“关注点代码”分离 在Spring的AOP编程中, 如果加入容器的目标对象有实现接口,用JDK代理; 如果目标对象没有实现接口,用Cglib代理;总结: 关注点代码,就是指重复执行的代码。 业务代码与关注点代...

2015-11-10 18:18:58 3863 0

提示
确定要删除当前文章?
取消 删除