心影_-CSDN博客

转载 Hive_Hive的数据模型_汇总

Hive的数据模型_数据存储web管理工具察看HDFS文件系统：http://<IP>:50070/基于HDFS没有专门的数据存储格式,默认使用制表符存储结构主要包括：数据库，文件，表，视图可以直接加载文本文件创建表时，可以指定Hive数据的列分隔符和行分隔符。Hive数据模型表：-Table内部表-Partition分区表-External Table 外...

2018-06-08 20:03:49 677

来源，官网spark2.2.1版本 pyspark不同函数的形象化解释 SparkSession是Spark 2.0引入的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要...

2018-06-01 19:31:23 11006 1

转载 Elasticsearch集群Linux搭建

目录1、前期准备2、集群搭建 1)从官网下载ES 安装包 2)新增ES用户 3)上传解压ES 4)配置ES 5)启动前提前期解决的问题 6)启动、关闭ES 7)集群验证 8)安装插件（kibana-5.4.0-linux-x86_64） 9)集群验证3、集群搭建出现的问题问题1...

2018-06-01 17:07:01 664

转载树预测模型-完整-教程

基于树的学习算法被认为是最好的方法之一，主要用于监测学习方法。基于树的方法支持具有高精度、高稳定性和易用性解释的预测模型。不同于线性模型，它们映射非线性关系相当不错。他们善于解决手头的任何问题（分类或回归）。决策树方法,随机森林,梯度增加被广泛用于各种数据科学问题。因此,对于每一个分析师(新鲜),重要的是要学习这些算法和用于建模。决策树、随机森林、梯度增加等方法被广泛用于各种数据科学问题。因此,对...

2018-05-30 18:23:05 3637

转载 Nginx安装及配置详解

nginx概述nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。这里主要通过三个方面简单介绍nginx反向代理负载均衡nginx特点1. 反向代理关于代理说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道；...

2018-05-29 13:04:13 162

转载 Windows下go环境搭建

1、下载go语言安装包下载地址：https://golang.org/dl/ ，我是win7 64-bit环境，下载包为go1.8.1.windows-amd64.zip2、安装go和配置go环境变量windows下的go分为msi和zip两种，msi是安装包，zip是免安装包。注意路径不要包含中文。GOARCH（指定系统环境，i386表示x86，amd64表示x64）：amd64GOROOT：E...

2018-05-28 22:50:05 3453

转载友盟分享 | 移动大数据平台架构思想以及实践经验

移动大数据分析平台的架构思想及演进当问及加入友盟之后和之前工作有何不同时，吴磊这样回答，“之前工作主要是做数据搜索，大数据的源头和搜索引擎有分不开的联系，可以说，大数据是从搜索开始的，加入友盟之后，工作和之前有很多相似之处，只是最终的目标不一样。友盟架构很多方面和搜索引擎架构是有很多共通性的，但友盟有更多自己的特点，因为其更注重于数据分析。”Lambda混合架构思想友盟数据平台整体架构友盟的架构思...

2018-05-25 20:20:42 1096

心影_的博客