sz2024-CSDN博客

原创 01scala语法

一、01scala基本语法1.scala集合中常用的方法1.map&&flatMap方法对比1.demo： val wc = List("hadoop,hive , ,hbase,spark","hadoop, ,hive") //对List集合中的每个元素(ele代表集合中的某个元素)调用split(",")函数,split(",")函数会将元素中的字符串按照","号拆分

2017-09-07 01:55:42 193

原创 05hadoop的安装部署及伪分布式搭建

05Hadoop的安装部署搭建模式本地模式：一般用于MapReduce程序的测试1.默认读取的是本地的数据2.没有hdfs文件系统3.没有yarn进行资源的管理和任务的调度，只有task任务，直接运行在jvm中伪分布式模式：单个节点的分布式，用于hadoop集群模式的测试，并且此时hdfs和yarn都运行在一台机器上完全分布式模式：多台机器构建多个节点，一般是生产环境1.一般hdfs中Data

2017-09-05 00:36:00 258

04Hadoop的Yarn作用任务的调度和资源的管理主从架构主节点:ResourceManager作用：负责接收客户端任务的请求和资源的管理，MapReduce程序在运行任何一个任务的时候都需要资源，在运行MapReduce任务的时候需要CPU、内存等资源都会跟ResourceManager申请，当MapReduce程序要运行一个任务时会向ResourceManager发送运行任务的请求，Reso

2017-09-05 00:33:47 249

原创 03hadoop的MapReduce

03Hadoop的MapReduceHadoop中的MapReduce作用提供分布式的计算模型实现思想分而治之组成1.Map作用：负责将任务进行切分，当map拿到一个job（即任务进程）之后会将这个任务进程拆分成多个小任务（即task任务），然后将每个task任务分发到不同的节点上运行 1.mapreduce程序中task任务分为两种maptask和reducetask2.shuffl

2017-09-05 00:33:07 186

原创 02hadoop的HDFS

02Hadoop的HDFSHadoop的HDFS（Hadoop的分布式文件存储系统）1.分布式和集中式的区别1.集中式：单台机器，资源有限，处理任务需要消耗较大的资源；2.分布式：多台机器，资源是总和，将任务切分，分发给每台机器执行；2.什么是分布式文件系统多台机器共同组建了一个文件系统；3.分块存储1.将某个文件按照存储块（块相当于文件的最小存储单元）的大小进行切分，切分成不同的块，将不同块

2017-09-05 00:32:47 150

原创 01hadoop简介

01Hadoop简介什么是大数据传统数据存储1.关系型数据库2.word、excel、ppt等文件存储方式大数据的特点1.数据量大；2.数据种类多；3.数据增长速度快；4.价值密度低大数据的本质通过一系列的数据处理框架对大数据进行分析处理，得到有价值的数据；数据分析的流程1.数据源（rdbms，nginx等日志文件，历史数据文件）1.格式化的数据2.半格式化的数据，半格式化的数据需要

2017-09-05 00:32:08 162

原创 flume01简介及安装部署

01.flume简介及安装部署1.flume官网1.http://flume.apache.org/2.flume下载1.注意下载的时候要和cdh大版本一致2.网址http://archive.cloudera.com/cdh5/cdh/5/3.flume功能1.flume是一个分布式的、可靠的、可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务；2.flume用一个简单

2017-09-03 23:07:01 212

原创初识Hbase-使用批量导入将.TSV文件中数据导入到Hbase表中

Hbase中数据的批量导入->TSV格式文件的数据导入到hbase表中importTSV工具作用1.以批量方式将TSV格式文件的数据导入到hbase表中2.tsv文件格式以制表符（tab键）分隔的数据测试HADOOP_CLASSPATH中是否包含使用到hbasejar包进入hadoop目录，运行bin/yarn jar /opt/ch5.7.6/moudlesase-1.2.0-cdh5

2017-08-24 00:52:40 1033

原创初识Hbase：一、Hbase简介

一.Hbase简介1.hbase是NOSQL非关系型数据库1.not only sql：一般的nosql不支持SQL语言，一般都有自己的语法；2.nosql的诞生1.数据量越来越大；2.查询的性能要求越来越高；3.hbase的特点1.存储数据量较大（分布式的存储）2.检索查询速度较快（内存）3.分布式架构4.主从架构 1.主节点：master； 2.从节点：regions

2017-08-22 22:36:08 348 2

坚@持