- 博客(7)
- 资源 (6)
- 收藏
- 关注
原创 初探大数据-Spark系列-实战一
MapReduce的局限性:1)代码繁琐;2)只能够支持map和reduce方法;3)执行效率低下;4)不适合迭代多次、交互式、流式的处理;框架多样化:1)批处理(离线):MapReduce、Hive、Pig2)流式处理(实时): Storm、JStorm3)交互式计算:Impala学习、运维成本无形中都提高了很多前置要求:1)Building Spark using Maven requires...
2018-03-08 17:11:04
247
原创 初探大数据-hive架构分析-实战五
官网地址hive.apache.org架构解析:一、Hive底层的执行引擎有:MapReduce、Tez、Spark Hive on MapReduce Hive on Tez Hive on Spark压缩:GZIP、LZO、Snappy、BZIP2..存储:TextFile、SequenceFile、RCFile、ORC、ParquetUDF:自定义函数二、Hive环境搭建1...
2018-03-05 10:56:40
669
原创 初探大数据-YARN架构分析-实战四
YARN架构1 RM(ResourceManager) + N NM(NodeManager)ResourceManager的职责: 一个集群active状态的RM只有一个,负责整个集群的资源管理和调度1)处理客户端的请求(启动/杀死)2)启动/监控ApplicationMaster(一个作业对应一个AM)3)监控NM4)系统的资源分配和调度NodeManager:整个集群中有N个,负责单个节点的...
2018-03-02 17:44:13
294
原创 初探大数据-HDFS shell常用操作-实战三
1、)操作hadoop fs -mkdir /testhadoop fs -mkdir -p /a/bhadoop fs -mkdir -R /a/b传数据 源 目标hadoop fs -put hdfs.cmd /test/删除数据文件 源 hadoop fs -rm /test/hdfs...
2018-03-02 17:13:23
214
原创 初探大数据-开发环境安装-实战二
软件存放目录hadoop/hadoop/home/hadoop software: 存放的是安装的软件包 app : 存放的是所有软件的安装目录 data: 存放的是课程中所有使用的测试数据目录 source: 存放的是软件源码目录Hadoop环境搭建1) 下载Hadoop http://archive.cloudera.com/cdh5/cdh/5/ 2.6....
2018-03-02 16:24:10
206
原创 初探大数据-开发环境介绍-实战一
使用环境:1、centos(6.4)2、hadoop版本对比及选择 生产较多的CDH版本(CDH5.7.0) 下载地址:课程整套CDH相关的软件下载地址:http://archive.cloudera.com/cdh5/cdh/5/ cdh-5.7.0 生产或者测试环境选择对应CDH版本时,一定要采用尾号是一样的版本 为什么很多公司选择Hadoop作为大数据平台的解决方...
2018-03-01 16:21:49
772
原创 Golang 学习一:开发环境搭建-入门必备
一、下载适合本机的Golang版本语言SDK安装地址: golang: https://studygolang.com/dl注意对应好自己PC 的system. Windows 直接下载对应的msi安装即可,Linux注意发行版本。 本文Linux选择go1.8.1.linux-amd64.tar.gz版本。二、Golang安装1.windows安装的过程比较简单,基本上直接默认安装即可...
2018-02-28 11:43:22
641
联通大数据 AI赋能-人脸识别.pdf
2020-04-10
购物中心洞察报告样例.pdf
2020-04-10
动态标签产品说明(外部).docx
2020-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人