大数据入门技术栈详解
以5年多的大数据实战经验为线索,结合实际的项目经历及心得,给大家详细介绍Hadoop相关技术栈的专业知识,让你少走弯路。本专栏主要介绍大数据离线处理数据的情况。
柒嘴八舌
分享技术干货!10年java、大数据实战经验,和大家一起交流技术心得
展开
-
Kafka在工作中的体现
Kafka的命令行基本用法 创建topic: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic test 查看topic: bin/kafka-topics.sh --list --zookeeper localhost:2181 测试topic: bin/kafka-console-producer.sh --broker-list loca原创 2020-05-17 17:51:38 · 195 阅读 · 0 评论 -
Pig基础知识
Pig介绍 Pig是基于hadoop的一个数据处理的框架,MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 Pig的使用 pig的数据类型 pig基本数据类型:int、long、float、double、chararry、bytearray pig复合数据类型:Map、Tuple、Bag Bag的类型如{('age',31),('name','张三')} 如何安装...原创 2020-05-17 17:46:30 · 866 阅读 · 0 评论 -
集群安装(以CDH6.0为例)
安装准备工作 系统环境:REDHAT 7 CDH版本:CDH6.0.0 安装包地址:CM6安装包( https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/) 1、CDH6安装包:https://archive.cloudera.com/cdh6/6.0.0/parcels/ 下载对应系统版本的Parcel包 下载对应系统版本Parcel包的Sha文件 下载manifest.json 保存到服务器/opt/cloudera/parcel-repo 2...原创 2020-05-17 17:01:00 · 267 阅读 · 0 评论