哈尔科夫坦克厂的播客

不积跬步无以至千里,不积小流无以成江海

spark-shell连接异常问题

[root@node00 sbin]# /apps/spark-2.2.0-bin-hadoop2.7/bin/spark-shell --master spark://node00:7077 Using Spark's default log4j profile: org/apache/spa...

2018-11-05 11:58:04

阅读数 146

评论数 0

安装Spark集群(简述)

前提: 已经安装好hadoop集群和zookeeper,功能正常 1.上传安装包(所有节点)(略) 2.解压(略) 3.修改配置文件 cd /apps/spark-2.2.0-bin-hadoop2.7/conf/ 1. vi spark-env.sh #在里面加入jdk...

2018-11-01 16:43:58

阅读数 32

评论数 0

Cloudera大数据平台环境搭建(基于CentOS7的虚拟机环境)

1.基础环境 1.1. 软件环境 系统环境:CentOS-7-x86_64-Minimal-1804.iso,离线安装CDH和Cloudera Manager过程,软件版本如下: NO. 软件名称 版本 1 操作系统 CentOS-7-x86_64-Minimal...

2018-10-31 10:03:40

阅读数 117

评论数 0

hdfs的运行机制

HDFS体系结构   HDFS中运行着2类节点namenode、datanode。一个namenode、多个datanode,namenode和datanode以主从(master-slave)模式运行与HDFS集群中。   namenode为管理节点,执行对文件系统命名空间的操作,如:打...

2018-09-18 11:17:50

阅读数 88

评论数 0

Scala的可变集合和不可变集合

    Scala 的集合有三大类:序列 Seq、集 Set、映射 Map,所有的集合都扩展自 Iterable 特质 在 Scala 中集合有可变(mutable)和不可变(immutable)两种类型,immutable 类型的集合 初始化后就不能改变了(注意与 val 修饰的变量进行区别)....

2018-08-16 11:12:52

阅读数 493

评论数 0

Linux下原生hadoop集群的搭建

简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好: ================================================================================== 1 ) 安装JDK并配...

2018-08-13 11:19:40

阅读数 293

评论数 0

Linux下JAVA_HOME的配置

环境: CentOS6.6 jdk1.8.0_141   export JAVA_HOME=/usr/local/apps/jdk1.8.0_141 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/l...

2018-08-13 09:54:35

阅读数 743

评论数 1

ElasticSearch(五) 核心元数据介绍

1、_index元数据 2、_type元数据 3、_id元数据 ============================================================================ 1、_index元数据 (1)代表一个document存放在哪个index...

2018-08-10 13:44:07

阅读数 158

评论数 0

Linux环境下ElasticSearch单节点以及集群的安装

环境: Linux:CentOS6.6 JDK: 1.8.0_141 ElasticSearch:  elasticsearch-6.2.4.tar.gz 在安装es之前需要提前配置好JAVA_HOME   ---------------------------------------...

2018-08-09 17:22:08

阅读数 170

评论数 0

ElasticSearch(四) group avg sort(fielddata erro)

1.group操作 格式: GET /index/type/_search { "size": 0, --是否展示聚合过程 "aggs": { "自定义聚合名称": {...

2018-08-09 10:25:40

阅读数 32

评论数 0

ElasticSearch(三) 多种查询、搜索方式

1、query string search  2、query DSL 3、query filter 4、full-text search 5、phrase search 6、highlight search 第一种:string查询(不适用于生产环境) 1、query string sear...

2018-08-08 14:33:54

阅读数 94

评论数 0

ElasticSearch(二) api的介绍和使用

一、简单的api使用和集群管理命令 (1)快速检查集群的健康状况 es提供了一套api,叫做cat api,可以查看es中各种各样的数据 查看集群的状态: GET _cluster/health GET /_cat/health?v  (更详细展示集群的健康状况) epoch   ...

2018-08-07 17:14:12

阅读数 65

评论数 0

ElasticSearch(一) 简单介绍

   ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。 在安装之前需要提前配置好jdk的环境变量,根据安装的版本选择对应的jdk版本。windows版本的es在官网下载压缩包解压即可使用:在bin目录下选...

2018-08-07 16:04:40

阅读数 69

评论数 0

hive

一、建库语句 --建库 create database db_test; 二、建表语句 --建表语句和普通sql略有不同 create table db_tabel(id int,name string...) row format delimited fields terminate...

2018-07-26 14:21:09

阅读数 64

评论数 0

Linux下Spark的安装和配置

一.安装JDK(略) 二.安装Scala(l略) 三.安装Spark   1.上传安装包到集群节点   2.解压安装包   3.修改配置文件 a.spark-env.sh vi spark-env.sh b.slaves vi slaves c.修改master...

2018-07-24 11:49:02

阅读数 1051

评论数 0

sqoop导入table报错

3.将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。   sqoop create-hive-table --connect jdbc:mysql://node06:3306/gygh --table fact --username gygh --password ...

2018-07-02 11:05:57

阅读数 94

评论数 0

Win10软件字体模糊问题

2018-06-27 13:44:07

阅读数 8016

评论数 0

Kylin的搭建

安装的前提是hdfs,hive,hbase,mysql等已经安装完成。上传kylin的jar包:解压修改配置文件:export JAVA_HOME=/usr/local/apps/java/jdk1.8.0_60   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar...

2018-06-26 17:17:52

阅读数 279

评论数 0

Ambari集群的搭建过程

节点规划:   1. 安装组件    yum –y install httpd yum –y install ntp yum -y install yum-utils yum -y install wget yum -y install createrepo yum -y install...

2018-06-26 17:09:28

阅读数 408

评论数 0

hbase region server频繁挂掉

异常如下: java.lang.RuntimeException: HRegionServer Aborted         at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServer...

2018-06-19 17:26:02

阅读数 305

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭