复习与总结
小于狙击手
这个作者很懒,什么都没留下…
展开
-
大数据各软件框架启动命令行
各个软件服务的启动命令:storm,Kafka,hive,hbase,azkaban,flume,spark,hadoop,sqoopA:Storm启动:先在每台机器上启动zookeeper:zkServer.sh start①server----->: nohup ./storm nimbus & 主节点启动nimbus原创 2017-08-30 16:22:14 · 247 阅读 · 0 评论 -
复习总结03:辅助系统Azkaban/flume/sqoop
…………………………………………………………………………………………一、Flume…………………………………………………………………………………………………………一、Flume概述:分布式,高可靠,高可用海量日志采集、聚合和传输系统。通过对flume设置来实现采集需求。flume可以采集文件,socket数据包等各种形式源数据 输出到HDFS,Hbase,Hive,Kafka原创 2017-08-30 16:28:23 · 346 阅读 · 0 评论 -
总结:大数据几个重要框架的结构框图
一、Hadoop 二、HA集群模式主机名 IP 安装的软件 运行的进程host 192.168.33.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)mini1 192.168.33.130 jdk、hadoop NameNode、DFSZKFailoverController(z原创 2017-08-30 16:51:16 · 1130 阅读 · 0 评论 -
总结命令行03:HBase
Hbase常用命令行示例:create table 'Test' , 'c1_info' , 'c2_info' , 'c3_info'put 'testAjl' , 'row_1' , 'c1_info:a' , 'value1'row keytime stampinfo列族1:nameinfo列族2 : passwordinfo列族3原创 2017-08-31 19:43:09 · 180 阅读 · 0 评论 -
总结命令行05:Kafka
1、查看topic的详细信息./kafka-topics.sh -zookeeper server:2181-describe -topic testKJ12、为topic增加副本./kafka-reassign-partitions.sh -zookeeper server:2181-reassignment-json-file json/partitio原创 2017-08-30 16:46:26 · 181 阅读 · 0 评论 -
总结命令行07:MySQL
一、MySQL常用语句:1mysql> alter table MyClass add passtest int(4) default '0'2 UPDATE [LOW_PRIORITY] [IGNORE] table_references SET col_name1=expr1 [, col_name2=expr2 ...] [WHERE where_de原创 2017-08-30 16:48:40 · 234 阅读 · 0 评论 -
总结命令行06:Spark
启动命令行:spark-shell启动spark:sbin/start-all.sh -> start-master.sh -> start-slaves.shspark提交任务的过程bin/spark-submit --class cn.itcast.spark.WordCount --master spark://server:7077 --executor-memory 2g原创 2017-08-30 16:47:20 · 301 阅读 · 0 评论 -
总结命令行04:Storm
1、提交命令:storm jar storm_starter.jar org.storm.test.WordCountTopology args0 args12、kill格式: storm kill topology-name [-w wait-time-secs]描述:显示杀死正在运行的topology示例:storm kill 20原创 2017-08-30 16:45:36 · 270 阅读 · 0 评论 -
总结命令行02:Hive
一、概述: Hive提供了很多的函数,可以在命令行下show functions罗列所有的函数,你会发现这些函数名与mysql的很相近,绝大多数相同的,可通过describe function functionName 查看函数使用方法。hive支持的数据类型很简单就INT(4 byte integer),BIGINT(8 byte integer),FLOAT(single原创 2017-08-30 16:43:52 · 170 阅读 · 0 评论 -
总结:课程构图
一、Hadoop课程构图二、Hive课程构图三、辅助系统构图四、Hbase构图五、Storm构图:六、Kafka构图原创 2017-08-30 16:40:01 · 240 阅读 · 0 评论 -
复习总结09:Spark
一、关于Sparkspark-shell:启动/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \--master spark://node1.itcast.cn:7077 \ #指定Master的地址--executor-memory 2g \ #指定每个worker可用内存为2G原创 2017-08-30 16:38:03 · 362 阅读 · 0 评论 -
复习总结08:Scala基础
一、Scala编程语法1//1、定义一个方法2def method1(x: Int, y: Int): Int = {3 return x * y4 }5//该方法无输入参数,其实是有返回值,默认的自动匹配。6def description = name + " is " + age + " years old with " + prop.toBuffer 7//无输入参原创 2017-08-30 16:37:26 · 220 阅读 · 0 评论 -
复习总结07:Redis
一、Redis概述:Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的应用程序的完美解决方案。Redis数据库完全在内存中,使用磁盘仅用于持久性。 相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。Redis可以将数据复制到任意数量的从服务器。 Redis 优势 异常快速:Redis的速度非常快,原创 2017-08-30 16:36:19 · 174 阅读 · 0 评论 -
复习总结06:Kafka
一、Kafka概述核心组件:Topic:消息分类,接收到的消息按照Topic进行分类。Producer:发送消息。Consumer:接收消息。broker:每个Kafka实例。zookeeper:依赖集群保存meta信息集群模型二、Kafka常用命令1、创建topicbin/kafka-原创 2017-08-30 16:34:32 · 196 阅读 · 0 评论 -
复习总结05:Storm
一、流式计算概述:流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示。也是区别于离线计算的特点。代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(MySQL)。将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果二、Storm概述:实时处理大数据框架,具有低原创 2017-08-30 16:32:06 · 231 阅读 · 0 评论 -
复习总结04:HBase(含重要原理图!吐血整理HBase存储机制!)
一、HBase概述:HBase 实质是一个分布式存储系统,搭建大规模结构化存储集群。实现的目标是:存储并且处理大型的数据,规模可达到成千上万的行和列所组成的大型数据。①使用hdfs作文件存储系统②运用Hadoo pMapReduce运算框架③采用zookeeper作协同服务优势:①线性扩展:数据数量增多时,通过节点扩展支撑。②存储机制:数据存储在hdfs上,原创 2017-08-30 16:30:34 · 493 阅读 · 0 评论 -
复习总结02:Hive
复习Hive:主要是HSQL语句,MySQL数据库语句。Hive的数据都自动存储在HDFS上的Hive:1. 查询语言。由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。2. 数据存储位置。Hive 是建立在 Hadoop 之上的,所有 Hive 的数据都是存原创 2017-08-30 16:26:43 · 634 阅读 · 0 评论 -
复习总结01:Hadoop
一、关于设置hdfs①获取hdfs文件系统1Configuration configuration = new Configuration();2FileSystem fSystem = fSystem = FileSystem.get(new URI("hdfs://server:9000"), configuration, "hadoop");备注:抛出异常Ex原创 2017-08-30 16:25:49 · 309 阅读 · 0 评论