邓天翔-CSDN博客

原创 CentOS7.5搭建Kafka2.11-1.1.0集群与简单测试

一、下载下载地址：http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的 kafka_2.11-1.1.0.tgz二、集群规划IP 节点名称 Kafka Zookeeper Jdk Scala 192.168.100.21 node21 Kafka Zook...

2018-07-31 21:28:55 781

原创 CentOS7.5搭建spark2.3.1集群

一下载安装包1 官方下载官方下载地址：http://spark.apache.org/downloads.html2 安装前提Java8 安装成功 zookeeper 安装参考：CentOS7.5搭建Zookeeper3.4.12集群 hadoop 安装参考：CentOS7.5搭建Hadoop2.7.6集群 Scala ...

2018-07-09 13:57:10 2033

原创 CentOS7.5搭建Hive2.3.3

一 Hive的下载软件下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 这里下载的版本是：apache-hive-2.3.3-bin.tar.gz官方安装配置文档：https://cwiki.apache.org/confluence/display/Hive/GettingStarted二 Hive单用户安装远程...

2018-07-09 13:54:41 3076

原创 Linux之CentOS7.5安装及克隆

官网下载地址：https://www.centos.org/，点击Get CentOS Now，点击DVD ISO，选择本国资源Actual Country ，一般选择列表中第一行就可以下载。这里我用的是 CentOS-7-x86_64-DVD-1804.iso ，此镜像包含所有系统需要的软件安装包。一搭建虚拟机安装环境1.打开VMware，文件–>新建虚拟机2 下...

2018-07-09 13:50:14 659

原创 CentOS7.5搭建ELK6.2.4集群与简单测试

一简介Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。下载地址：https://www.elastic.co/cn/downloads 版本：elasticsearch-6.2.4.tar.gz logstash-6.2.4.tar.gz...

2018-07-09 13:15:49 858

原创 CentOS7.5搭建Hadoop2.7.6完全分布式集群

一完全分布式集群搭建Hadoop官方地址：http://hadoop.apache.org/1 准备3台客户机1.2 关闭防火墙，设置静态IP，主机名关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆1.2 修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。...

2018-07-09 13:11:08 4041

IDEA2018.1社区版安装配置文档一、软件安装1. 下载地址：https://www.jetbrains.com/idea/download/#section=windows2. 安装：点击.exe，选择安装路径，点击next，点击install，点击Finish。3. IDEA注册码激活1、到网站 http://idea.lanyus.com/ 获取注册码；2、修改hosts文件，位于C:\...

2018-07-09 13:05:21 2254

原创 Hive的语法知识详解

Hive 是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce的用户很方便的利用

2017-12-14 13:22:43 577

flink命令行参数

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。

2018-04-08

elasticsearch环境部署测试

S=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

2018-04-07

flink内部机制和tableAPI

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。

2018-04-07

LNP自然语言处理

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

2018-04-07

Hive常用函数

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析

2018-04-07

Hadoop简介

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算

2018-04-07

Spring boot 笔记

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。

2018-04-07