琴弦上、漫步

坚持把自己做过的每一件事记录下来,让其变成一种习惯。

Hadoop自测题及参考答案(持续更新中--2015.7.20)

单选题 1、与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN注:其他几项都是资源统一管理系统或者资源统一调度系统,而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是 A. HashM...

2015-06-25 09:13:50

阅读数 11651

评论数 11

Hadoop2.6深入伪分布安装(CentOS 6.5)

一、安装前准备 CentOS6.5(64bit) hadoop-2.6.0-64.tar.gz jdk-7u67-linux-x64.tar.gz 二、安装 1、关闭防火墙和SELinux service iptables status (查看) service iptable...

2015-05-27 22:15:36

阅读数 3032

评论数 2

Hadoop2.6分布式 automatic HA+Federation+Yarn教程

一、前言 与Hadoop1.x相比,Hadoop2.x中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。这两个NameNode的地位如何哪? 答:一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是...

2015-04-29 10:00:51

阅读数 2301

评论数 1

使用JDBC连接ElasticSearch6.3(ElasticSearch SQL JDBC)

简述 Elasticsearch6.3内置支持 SQL,我们可以像操作 MySQL一样使用 Elasticsearch,这样我们就可以减少 DSL 的学习成本,这个 SQL 模块是属于 X-Pack 的一部分。Elasticsearch SQL 主要有以下几个特点: 1. 允许我们在 Elas...

2018-06-19 21:50:18

阅读数 7800

评论数 6

Hadoop API通过Kerberos认证读取HDFS(windows)

源数据 代码 package com.lgd.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apa...

2018-06-01 19:17:20

阅读数 730

评论数 0

SpringMVC整合Highcharts(基本饼图,条形图,柱状图)

步骤1、引入highcharts<script type="text/javascript" src="${context.getContextPath()}/js/highcharts/highcharts.js"></script>...

2017-12-21 18:17:46

阅读数 1562

评论数 3

大数据面试指南(含答案)

大数据面试指南(含答案)_v1 包含Hadoop、Hive、Spark、Hbase、Java、Spring、Redis、Kafka等内容。 下载链接:http://download.csdn.net/detail/scgaliguodong123_/9841862

2017-05-14 09:28:58

阅读数 1469

评论数 0

Hive常用函数大全(一)(关系/数学/逻辑/数值/日期/条件/字符串/集合统计/复杂类型)

关系运算## > < = ##注意: String 的比较要注意(常用的时间比较可以先 to_date 之后再比较) select long_time>short_time, long_time<short_time,long_time=short_time, to_dat...

2017-03-08 20:18:19

阅读数 3365

评论数 0

Hive常用函数大全(二)(窗口函数、分析函数、增强group)

关系运算## > < = ##注意: String 的比较要注意(常用的时间比较可以先 to_date 之后再比较) select long_time>short_time, long_time<short_time,long_time=short_time, to_dat...

2017-03-03 11:13:55

阅读数 32560

评论数 5

初识Logstash

logstash简介logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。当然它可以单独出现,作为日志收集软件...

2017-02-20 13:02:37

阅读数 1241

评论数 0

IntelliJ Idea 常用快捷键 及 模板注释

Ctrl+Alt+t 选择代码块 try catch Alt+回车 导入包,自动修正 Ctrl+N 查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数...

2016-12-28 19:48:46

阅读数 2819

评论数 0

大数据资料收集

Spark SQL 官方文档 http://spark.apache.org/docs/latest/sql-programming-guide.htmlSpark SQL 官方文档-中文翻译 http://www.cnblogs.com/BYRans/p/5057110.html

2016-11-15 18:31:40

阅读数 595

评论数 0

在HDFS HA上部署HBase

参考文章:http://blog.csdn.net/wuwenxiang91322/article/details/44684655hbase需要根据hadoop2.0里的hdfs HA方案做相应修改。 实际操作时将hdfs的配置文件core-site.xml和hdfs-site.xml拷贝到h...

2016-10-28 18:31:58

阅读数 1254

评论数 0

Apache Kylin资料收集整理

kylin 搭建和简单测试结果 http://chengjianxiaoxue.iteye.com/blog/2218510 Kylin的cube模型 http://www.cnblogs.com/en-heng/p/5239311.html

2016-10-25 15:19:50

阅读数 481

评论数 0

R语言解读一元线性回归模型

前言在我们的日常生活中,存在大量的具有相关性的事件,比如大气压和海拔高度,海拔越高大气压强越小;人的身高和体重,普遍来看越高的人体重也越重。还有一些可能存在相关性的事件,比如知识水平越高的人,收入水平越高;市场化的国家经济越好,则货币越强势,反而全球经济危机,黄金等避险资产越走强。如果我们要研究这...

2016-10-25 08:34:57

阅读数 2180

评论数 0

Ubuntu常用软件安装

SSHubuntu默认并没有安装ssh服务,如果通过ssh远程连接到Ubuntu,需要自己手动安装ssh-server。判断是否安装ssh服务,可以通过如下命令进行: ps -e|grep ssh 输出如下:ps -e|grep ssh 2151 ? 00:00:00 ssh-a...

2016-10-18 11:18:45

阅读数 336

评论数 0

Hive2.1.0安装配置

前提: 下载安装压缩包:apache-hive-2.1.0-bin.tar.gz 已经安装了Mysql和Hadoop 在 Hive 中创建表之前,需要在HDFS上创建hive-site.xml文件配置的目录/usr/liguodong/tmp 和 /user/hive/warehouse (...

2016-09-24 18:32:24

阅读数 4564

评论数 0

Giter8安装及使用教程

http://www.foundweekends.org/giter8/index.html

2016-08-20 17:17:39

阅读数 1873

评论数 0

Windows下IDEA,Git,SBT整合详解

IDEA,Git,SBT,Java,Scala的相关安装不做过多累述。 版本: jdk7 sbt-0.13.5.zip scala-2.11.7.tgz IDEA2016 Git-1.9.0本文采用GitHub作为远程仓库。 首先创建一个远程仓库。 然后Clone远程仓库到本地。在...

2016-08-18 19:30:01

阅读数 1061

评论数 0

Windows平台下sbt的安装设置

首先到http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html下载windows的sbt包,zip,tar.gz都行。将下载的包解压到你指定的目录,我一般是解压到d:\dev\sbt目录,d:\dev下是日常工作中所用到的开发...

2016-08-12 08:57:54

阅读数 2545

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭