- 博客(483)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 Spark系列修炼---入门笔记11
核心内容： 1、Spark源码的导入今天在学习Spark的过程中，学会了源码的导入，进行总结： 首先一定要注意：在导入源码之前，本地必须先安装好JDK、Scala2.10.X以及Maven。 Maven下载地址 : http://pan.baidu.com/s/1boPmzSV 对了，当然必须要有源码： Spark1.6.0源码从Spark官网进行下载： 好
2016-11-23 22:04:04
1282
原创 Spark系列修炼---入门笔记10
核心内容： 1、Java开发Spark程序(本地模式与集群模式) 2、Scala版程序对比Java版程序 3、Maven使用的相关注意事项今天学习了用Java开发Spark程序，果然是非常的麻烦，但是相比于Hadoop中的MapReduce还是简单很多。好吧，直接贴代码： Spark本地模式下的开发程序:package com.appache.SparkOfJava;imp
2016-11-23 13:46:28
1475
原创 Spark系列修炼---入门笔记8
核心内容： 1、IDEA的下载即安装 2、IEDA环境下开发Spark程序今天又迈出了一步，基本上都已经掌握了，将学习的内容进行以下整理，希望早点学会Spark，早定和婷婷讨论完Spark，早点出山……，好了，不说没用的了，已经11月24号。 今天主要是在IDEA环境下去开发Spark，首先当然是下载IDEA，好吧，直接去官网： 这里写图片描述 这里写图片描述 这里写图片描述
2016-11-23 12:35:02
963
原创 Spark系列修炼---入门笔记9
核心内容： 1、Spark中map与flatMap的区别 2、Spark中RDD的核心概念1、Spark中map与flatMap的区别①map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；flatMap函数则是两个操作的集合，即先映射再扁平化：首先，同map函数一样，对每一条输入进行指定的操作，然后为每一条输入返回一个对象；然后将所有对象合并成一个对象. ②flatMap与m
2016-11-22 15:39:54
907
原创 Could not find the main class: org.apache.spark.launcher.Main. Program will exit.
核心内容： 1、 Could not find the main class: org.apache.spark.launcher.Main. Program will exit. 2、 failed to launch org.apache.spark.deploy.worker.Worker:今天在安装Spark的伪分布运行模式下，启动hadoop之后总是报一个错误： 即启动的过程中
2016-11-21 15:25:01
9820
2
原创 Spark系列修炼--入门笔记7
核心内容： 1、Scala IDEA安装过程 2、Spark的3种运行模式 3、Scala IDEA编写Spark的WordCount程序(本地模式与集群模式)今天学习了用Scala IEDA去编写Spark的第一个程序WordCount，整理一下主要的学习笔记。 一、Scala IDEA的安装过程 直接上截图： 点击之后就可以下载到我们的Scala IDEA： 在S
2016-11-19 17:03:40
1450
原创 Spark系类修炼---入门笔记6
核心内容： 1、Spark的概念 2、Spark与MapReduce的比较 3、Spark中RDD的相关概念 4、Spark shell的使用一、Spark的相关概念 上一讲学习了Spark集群的搭建，今天开始进一步接触Spark。 Spark的概念：Spark是分布式的、主要基于内存的、特别适合于迭代计算的大数据计算框架。 接下来从3个方面去理解Spark的概念： 分布式：所谓分布
2016-11-17 17:10:39
1582
原创 Spark系列修炼---入门笔记5
核心内容： 1、Spark集群搭建与测试 2、粗粒度与细粒度的相关概念今天学习了Spark的集群搭建，并进行了相应的测试工作，现将具体的过程进行整理： 在搭建Spark集群之前，我在6台服务器上面已经将Hadoop集群搭建完成，集群角色分布如下所示： 集群DataNode情况：Datanodes available: 4 (4 total, 0 dead)Live datanodes:
2016-11-15 22:04:35
1278
原创 Spark系列修炼---入门笔记4
今天学习了Spark的第四次课程，基本上都已经掌握了，现将部分知识进行整理。 模式匹配中的部分应用：object App1{ def main(args:Array[String]):Unit= { def bigData(data:String):Unit = data match //匹配值-->匹配类型 { case
2016-11-13 13:46:44
1308
原创 Spark系列修炼---入门笔记3
今天再次学习了Spark的第三次课程了，课程整体还是比较简单。整理一下相关笔记： 1、Scala中的柯里化函数object App1{ def main(args:Array[String]):Unit= { def fun(str1:String) = (str2:String) => str1 +"\t"+str2 val line = fun
2016-11-12 21:35:49
1181
原创 Spark系列修炼---入门笔记2
今天是学习Spark的第二天，大部分的内容都听懂了，现将部分模糊的知识点进行整理。 1、在Scala当中，生成对象的时候一般用工厂方法模式(apply)，而很少用new的方式object App1{ def main(args:Array[String]):Unit= { val list1 = List("Spark","Hadoop") val
2016-11-12 13:30:59
1149
原创 Spark系列修炼---入门笔记1
今天是2016年11月10日，终于开始学习Spark了，为将来能成为一个大数据架构师而不断努力！整理一下今天需要梳理的笔记: 1、scala中readLine()方法的使用:object App1{ def main(args:Array[String]):Unit= { //以前的用法 var line = readLine()
2016-11-10 20:28:11
1548
原创 Hive的元数据信息
Hive将表中的元数据信息存储在数据库中，如derby(自带的)、Mysql(实际工作中配置的)。通过Mysql进行示例说明: Hive数据仓库中： MySql数据库中存储的相应元数据信息: Navicate（远程连接的MySql）对应的元数据信息:
2016-11-08 16:26:39
5151
原创 Scala中的Actor入门笔记
核心内容: 1、Java中的并发编程思想与Scala中的并发编程思想 2、Scala中Actor的两种创建方式、Actor中的receive偏函数在进行模式匹配时与传统模式匹配的区别、receive具体的实现过程 3、Scala中的原生线程(即主线程)所在的Actor的获取方式、基于Actor的Case class的消息传递和Actor模型认知以及相应的优化方式 4、线程重用的概念以及线程重
2016-11-07 10:33:11
6235
1
原创 大数据相关说明图
图一:Hadoop2.4.1 HA模式集群搭建总结:图二:Hadoop1.0版本MapReduce运行原理:图三:基于Yarn平台的MapReduce运行机制:图四:应用程序(以MR程序为例)在Yarn平台上面的执行过程图四：Hadoop1.0中的JobTracker在Hadoop2.0中的职责分配
2016-10-30 16:36:38
1367
原创 ZooKeeper入门笔记---架构以及应用介绍
ZooKeeper架构图:1、ZooKeeper的基本概念Zookeeper是hadoop的分布式协调服务,分布式应用程序可以基于它实现同步服务（数据的事务性一致）,配置服务和命名服务. Zookeeper是一个有多个Server组成的集群. 1>一个leader,多个follower 2>每个server保存一份数据副本 3>全局数据一致 4>分布式读写 5>更新请求转发,有leade
2016-10-26 21:36:30
1722
原创 MapReduce中<k3,v3>输出到文件中的分隔符究竟是什么
之前在编程的时候，一直不确定<k3,v3>输出到指定文件中的分隔符，今天在黄宜华《深入理解大数据》书中找到了答案:制表符\t
2016-10-23 16:23:27
1187
原创 Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker，这是为什么呢？ 今天在黄宜华《深入理解大数据》一书中找到了答案：96页 原因： 为了实现Hadoop系统设计中 本地化计算 的原则，数据存储节点DataNode与计算节点TaskTracker将合并设置，让每个从节点同时运行作为DataNode和TaskTrack
2016-10-23 10:37:54
1895
原创 大数据系列修炼-Scala课程111
大数据系列修炼-Scala课程111核心内容: 1、Akka中的Actor中用become和unbecome动态切换receive的具体处理逻辑实战1、Akka中的Actor中用become和unbecome动态切换receive的具体处理逻辑实战1>Akka中的Actor在具体处理业务时有一个非常有用的特性，可以动态切换Actor的业务逻辑代码 2>正常情况下，Actor中的receive方
2016-10-21 16:51:50
1600
原创 大数据系列修炼-Scala课程110
大数据系列修炼-Scala课程110核心内容: 1、Akka中的Actor的Monitoring初步解析1、Akka中的Actor的Monitoring初步解析1>Akka本身是一个分层的消息驱动的框架，Akka中的Actor的Monitoring监控机制与Actor的Supervisor监控机制是不同的，后者更强调树状分层结构。 2>所谓Supervisor监控机制就是在Akka的体系结构中，
2016-10-21 16:51:20
1385
原创 大数据系列修炼-Scala课程109
大数据系列修炼-Scala课程109核心内容: 1、Akka中的Actor异步和同步停止方式实战详解1、Akka中的Actor异步和同步停止方式实战详解1、停止Akka中Actor的原因？ 因为Actor在完成自己处理的消息之后，可能不在需要这个Actor后续在继续处理工作。这个时候为了节省或者回收系统的资源，就需要 停止Akka的Actor。 2、在Akka中要停止Actor会有多种方式：
2016-10-21 16:50:56
1369
原创 大数据系列修炼-Scala课程108
大数据系列修炼-Scala课程108核心内容: 1、Akka中的Actor消息的处理、消息的回复、消息的转发1、Akka中的Actor消息的处理、消息的回复、消息的转发1>在Actor当中，消息的处理一般都是通过receive中的偏函数+模式匹配的方式进行处理的。 2>在Akka当中，若要回复消息给消息的发送者，首先要获得消息发送者的代理(ActorRef)，在Akka当中，提供了Sender这
2016-10-21 16:50:33
1273
原创 大数据系列修炼-Scala课程107
大数据系列修炼-Scala课程107核心内容: 1、Akka中的第二种消息发送方式以及Future使用代码实战详解1、Akka中的第二种消息发送方式以及Future使用代码实战详解1>this.getSender().tell(“message having received!”,this.getSelf());的具体的含义： this.getSender()返回的是一个ActorRef的句柄，
2016-10-21 16:50:07
1654
原创 大数据系列修炼-Scala课程106
大数据系列修炼-Scala课程106核心内容: 1、Akka中的消息的不同发送方式详解1、Akka中的消息的不同发送方式详解1>在Akka中，从类型上而言，有两种消息的发送方式： 第一种方式：消息发送之后立即忘记，即给一个Actor发送消息，然后就立即返回。至于对应的Actor是否给你回复消息你是不关系的，这种Actor 消息的发送方式叫做Fire and Forget。简单概括就是消息发送之
2016-10-21 16:49:27
1239
原创 大数据系列修炼-Scala课程105
大数据系列修炼-Scala课程105核心内容: 1、解析Akka中的子Actor及其代码1、解析Akka中的子Actor及其代码1>在Akka当中，Actor是分层结构的，即任何一个Actor在Akka当中都属于具体的一个层次。 2>为什么需要使用子Actor，在什么时候需要创建子Actor？ 一般有两种情况需要创建子Actor： 第一：若一个任务由多个子任务构成，这个时候一般要用子Acto
2016-10-21 16:48:57
1232
原创 大数据系列修炼-Scala课程104
大数据系列修炼-Scala课程104核心内容: 1、通过案例解析Akka中的Actor的不同类型的Constructor构造器1、通过案例解析Akka中的Actor的不同类型的Constructor构造器Actor的构造器分为两种类型：一种是默认的构造器、一种是非默认的构造器；所谓默认的构造器指的是在我们构造具体Actor的时候，我们 将Actor具体类的名称直接传进去，所谓非默认的构造器指的是
2016-10-19 13:59:37
1393
原创 大数据系列修炼-Scala课程103
大数据系列修炼-Scala课程103核心内容: 1、通过案例解析Akka中的Actor的定义和创建1、通过案例解析Akka中的Actor的定义和创建1>对于Actor来说，可以通过ActorSystem的方式来创建Actor，也可以通过Actor去创建其它的Actor，此时Actor之间将存在 继承关系。 2>Actor的创建是和它的启动同步完成的，即我们在创建Actor的时候实际上就已经启动
2016-10-19 13:47:23
1206
原创 大数据系列修炼-Scala课程102
大数据系列修炼-Scala课程102核心内容: 1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期1、Akka的生命周期从总体上而言分为3个部分： 1>Actor自身资源的初始化工作（prestart），在prestart方法中可以完成资源的初始化工作。类似于MapReduce中的setup方法。 2>A
2016-10-19 13:46:55
1498
原创 大数据系列修炼-Scala课程101
大数据系列修炼-Scala课程101核心内容: 1、使用SBT开发Akka第一个案例源码解析MapActor、ReduceActor、AggregateActor1、使用SBT开发Akka第一个案例源码解析MapActor、ReduceActor、AggregateActor实例程序：HelloAkkapackage akka.dt.app.scala.messagesimport akka.a
2016-10-19 13:46:20
1686
原创 大数据系列修炼-Scala课程100
大数据系列修炼-Scala课程100核心内容: 1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor1>ActorSystem是整个Akka的监控容器体系。 2>mapActor ! message语法中消息的发送者是main方法所在的Actor，而mapActor是消息的接受
2016-10-17 20:16:42
1570
原创 大数据系列修炼-Scala课程99
大数据系列修炼-Scala课程99核心内容: 1、IDEA当中手动打jar包的方式详解1、IDEA当中手动打jar包的方式详解问题1：为什么需要手动打jar包？ 因为很多时候我们希望将开发的工程打包成jar包在其它的机器上面运行或者让别人来运行，所以需要打jar包。问题2：IDEA当中打jar包的方式？ 两个步骤： 1、File—>Project Structure–>Artifact–>+
2016-10-17 20:16:14
1349
原创 大数据系列修炼-Scala课程98
大数据系列修炼-Scala课程98核心内容: 1、使用SBT开发时动手解决rt.jar中CharSequenceis broken等问题1、使用SBT开发时动手解决rt.jar中CharSequenceis broken等问题问题描述： 若用户从IDEA官方网站上将IDEA下载下来，直接安装在Windows上面，并一切采样默认的方式，那么用户在IDEA当中使用SBT开发Akka程序或者 所有S
2016-10-17 20:15:46
1186
原创 大数据系列修炼-Scala课程97
大数据系列修炼-Scala课程97核心内容: 1、Intelli IDEA开发第一个Scala程序步骤详解1、Intelli IDEA开发第一个Scala程序步骤详解1>将Intellgent IDEA的scala插件:scala-intellij-bin-2016.2.1.zip添加到Intellgent IDEA的plugins文件夹下，不用解压。 2>通过File–>Setting–>Pl
2016-10-17 20:15:17
1157
原创 大数据系列修炼-Scala课程96(2)
大数据系列修炼-Scala课程96(2)核心内容: 1、Akka第一个案例动手实战代码总结1、Akka第一个案例动手实战代码总结Akka案例之WordCount完整代码：import akka.actor.*;import java.util.*;/** * Created by hp on 2016/9/29. * 基于Akka框架实现WordCount案例:ActorSystem、Ma
2016-10-17 20:14:51
1155
原创 大数据系列修炼-Scala课程96（1）
大数据系列修炼-Scala课程96（1）核心内容: 1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解1>ActorSystem类似于一个容器，容器里面有很多的Actor实例。 2>Akka的结构类似于一个树结构。 3>通过ActorSystem可以查询到具体的Actor。 4>通过
2016-10-17 20:14:21
1380
原创 MapReduce之WordCount、FlowCount代码汇总
运行环境：Hadoop1.1.2 WordCount代码：运行结果： 运行环境：Hadoop1.1.2 FlowCount代码汇总运行结果： 运行环境：Hadoop1.1.2 FlowCount2代码汇总运行结果： 运行环境：Hadoop1.1.2 FlowCount3代码汇总运行结果： 运行环境：Hadoop1.1.2 TopK运行环境：Hadoop1.1.2 Sortpubl
2016-10-17 15:39:48
983
原创 eclipse运行hadoop1版本错误如下 ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIO$POSIX$Stat
今天在eclipse下测试Hadoop1版本的本地运行模式：但是程序一直抛出一个异常：ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIOPOSIXPOSIXStat根据经验首先感觉应该是版本对应的问题：此时我的JDK是64位的，eclipse软件也是64位的，但是用的hadoop1.1.2是32位的。 同时为了确定问题的由来，
2016-10-17 14:31:15
2785
大数据全套视频2018.zip
2020-05-02
BookmarkSidebar(书签侧边栏插件)v1.9.0Chrome版.rar.zip
2020-05-02
Hadoop 2.2 Windows下需要的 winutils.exe
2016-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人