- 博客(23)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 C语言函数深入理解
2015年10月17日18:21:46C语言函数张明阳1.简述C语言函数的重要性用C语言中的函数作为参照,有助于区分面向过程与面向对象两种重要的编程思想,C语言中的基本单位是函数,Java,C++,C#中的基本单位是类2.简述为什么需要函数1>避免了重复性操作在很多地方,虽然针对的数据不一样,但是操作都是一样的2>有助于程序的模块化所谓的模块化思想就是自上而下,
2016-12-31 16:17:08
2481
原创 C语言数组小结
实例程序1：# include <stdio.h>int main(void){ int a[4] = {1,2,3,4}; //数组的名字是a,数组的长度是4 for (int i=0; i<4; i++) { printf("%d\n",a[i]); } return 0;}import java.util.ArrayList;pu
2016-12-31 16:12:52
2288
原创 C数组
2015年10月20日09:14:50数组(C次重点) 张明阳数组的目的:数组是一种非常常用的存储数据的结构,大部分语言都提供了数组这种存储结构[数组不是非常重要,比较重要]存储结构:变量 数组 链表数组的优点: 存取速度快数组的缺点: 需要一整块连续的空间[对于庞大的数据,往往没有一个适合的较大的连续的空间 如a[30000000]]插入和删除元素的效率很低[
2016-12-31 13:25:43
1359
转载 break、continue、return的用法超详解
核心内容： 1、break的用法（重点） 2、continue的用法（非重点） 3、return的用法一、break的用法1、break用来终止距离它最近的、且包裹它的循环（for、while、do……while）或者Switch语句。 2、break如果用于循环，则是用来终止循环的；break如果用于Switch，则是用来终止Switch的。 3、break不能用来终止 if，除非 if
2016-12-31 11:15:59
2018
原创 Spark系列修炼---入门笔记28
核心内容： 1、Spark的Shuffle机制Shuffle是什么？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算，Shuffle是MapReduce框架中的一个特定的阶段，介于Map阶段和Reduce阶段之间，当Map的输出结果要被Reduce使用时，就必须经过Shuffle，由于Shuffle涉及到了磁盘IO的读
2016-12-30 17:31:23
1804
原创 C、Java、Python语言一元二次方程终结版
最近正在复习C语言，感觉一元二次方程这个程序在C语言里还是很有代表性的，所以总结一下： 在流程控制当中，for循环与while循环的用法完全等价，至于到底用谁，完全靠感觉，而do…while这个循环基本上很少用，主要用于人机交互，接下来用一元二次方程为例： 实例程序：# include <stdio.h># include <math.h>int main(void){ double
2016-12-28 16:50:15
1627
原创 Spark系列修炼---入门笔记27
核心内容： 1、Spark中的pipline的再度思考 2、Spark中的窄依赖和宽依赖的物理执行内幕 3、Spark中的Job提交流程今天又开始了我的Spark，好的，进入正题……. 回忆一下经典的WordCount程序：package com.appache.spark.appimport org.apache.spark.rdd.RDDimport org.apache.spark.
2016-12-26 16:39:49
1338
原创 Hadoop开发过程中所遇到的那些坑
核心内容： 1、Hadoop开发过程中常见问题即解决方案在Hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下： 万能的解决步骤：6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常，首先使用jps命令查看进程的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙原因：检查各个节点的防火墙是否关闭成
2016-12-25 15:21:21
12248
1
原创 C语言中的逻辑运算符
C语言中的运算符： 算术运算符：加（+）、减（—）、乘（*）、除（/）、取余（%） 关系运算符：>, >=, <, <=, !=, 逻辑运算符：！（非），&&（且），||（或） 赋值运算符：=， +=，*=, /= 例如：a+=3是等价于a=a+3，a/=3等价于a=a/3 其优先级别是算术>关系>逻辑>赋值。 示例程序1：#include <stdio.h>int mai
2016-12-23 14:43:03
2272
原创 Spark系列修炼---入门笔记26
核心内容： 1、Spark中的RDD的依赖关系 2、RDD依赖关系下的数据流视图 3、Spark中的作业调度机制今天是Spark第二小阶段的第2次课，整体来说基本上都掌握了，在2016年的最后10天了，希望Spark可以多学点东西，OK，进入本次博客的正题！ 由于RDD是粗粒度的操作数据集，每个Transformation操作都会生成一个新的RDD，所以RDD之间就会形成类似流水线似的前后依
2016-12-22 20:24:05
1398
原创 Spark系列修炼---入门笔记25
核心内容： 1、Spark的体系结构详解 3、Spark Job的逻辑视图和物理视图解析今天开始进入Spark的第二个小阶段了，坚持、坚持、在坚持！ OK，今天主要是学习Spark的体系结构，好的，先用一张图描绘一下Spark的主从式体系结构： 上面的这张图是我自己画的，我又从网上重新下载了一幅图： 从上面这两张图中可以看出，Spark的体系结构是一个主从式的结构，包括Driver
2016-12-20 21:32:26
1554
1
转载 Scala中break与continue的用法
转载网址：http://www.cnblogs.com/rollenholt/p/4119105.html
2016-12-18 10:49:04
2847
原创 Spark系列修炼---入门笔记24
核心内容： 1、Spark中基础Top N算法实战 2、Spark中分组Top N算法实战 3、排序算法RangePartitioner内幕解密最近周围的人都在陆陆续续的找工作，本来之前也有一些小的躁动、有点小发慌，但是随着Hadoop1.0、Hadoop2.0与Yarn、Hbase、Hive等的不断深入，这种躁动渐渐的消失了下来，因为能感觉到自己现在已经很有实力了，学习Spark到今天也有2
2016-12-17 17:22:21
1778
原创 Spark系列修炼---入门笔记23
核心内容： 1、Spark中的基础排序算法 2、Spark中的二次排序算法 3、Spark中排序的相关思考好的，今天我们进入Spark的二次排序，当然我们还是先看最简单的基础排序算法…… 排序的地位：排序非常重要，但是排序不是最常用的，一般超过3维的排序可能性不算太大，其实超过二次排序的可能性也不太大。 实例程序1：基于单一key的简单排序 注意：凡是涉及到排序，数据必须是ke
2016-12-16 20:45:39
1779
原创 大话Hadoop1.0、Hadoop2.0与Yarn平台
2016年12月14日21:37:29 Author：张明阳 博文链接：http://blog.csdn.net/a2011480169/article/details/53647012近来这几天一直在忙于Hbase的实验，也没有太静下心来沉淀自己，今天打算写一篇关于Hadoop1.0、Hadoop2.0与Yarn的博文，从整体上把握三者之间的联系，博客内容如有问题，欢迎留言指正！OK，进入本文
2016-12-15 14:17:09
11129
5
原创 Spark系列修炼---入门笔记22
核心内容： 1、Spark中的持久化 2、Spark中的广播 3、Spark中的累加器OK，其实这篇博客应该是昨天就完成的，所以自我反省一下，最近这段时间任务比较多，也在一直准备数据结构的事情，估计还有6天左右数据结构与Spark就开始并行学习了，其实当时学完C语言就应该学习数据结构的，呵呵，还好自己当时基础扎实，OK，进入本篇博客的正题…… （一）Spark中的持久化 在Spark当中，
2016-12-09 18:15:17
2596
原创 Spark系列修炼---入门笔记21
核心内容： 1、Spark中常用的Transformation算子： map、filter、flatMap、reduceByKey、groupByKey、join、cogroup详解 2、Spark中常用的Action算子：reduce、collect、foreach、savaAsTextFile、sortByKey详解Spark中常用的Transformation算子用法详解（这些算子都是我
2016-12-06 20:17:49
2504
原创 Spark系列修炼---入门笔记20
1、reduceByKey到底是Action还是Transformation的讨论最近在学习Spark的时候，对reduceByKey是Action还是Transformation产生了迷惑！最终联系到了《深入理解Spark》的作者耿嘉安。 最终得到了作者的回复：
2016-12-05 13:29:41
2192
原创 Spark系列修炼---入门笔记19
核心内容： 1、RDD的一个实战案例OK，今天是2016年12月4日了，12月份注定不会太轻松，很多事情就像是多线程一样并行的进行执行，好的，进入本次博客的正题！ RDD本身有3种操作方式： ①基本的Transformation（数据状态的转换即所谓的算子） 如：map、flatMap、textFile等等。 ②Action（触发具体的Job，获得相应的结果） 如：reduce、coll
2016-12-04 17:51:33
3065
2
原创 Spark系列修炼---入门笔记18
核心内容： 1、Spark当中常用的3种创建RDD的方式 2、自定义分片个数（并行度）今天又学习了一讲Spark（Spark本身就是一个计算框架，就是一个JVM计算框架而已），2016年12月份注定不平凡了，希望在2016年的最后一个月份多做一些有意义的事情，毕业在即…… 好了，进入文章的正题，从学习Spark到现在，一直离不开一个概念RDD（弹性分布式数据集），今天主要学习关于RDD的三种创
2016-12-03 21:01:08
2266
原创 Spark系列修炼---入门笔记17
核心内容： 1、RDD入门笔记1今天又迈出了一步—涉猎RDD，好吧，进入文章的正题：RDD是一个容错的，并行的数据结构，可以控制将数据存储到磁盘或内存中，能够获取数据的分区。通常数据处理的模型包括：迭代计算、关系查询、MapReduce、流失处理等。Hadoop采用MapReduce模型，Storm采用流式处理模型，而Spark则实现了以上所有的数据处理模型。（呵呵，Spark就是厉害啊！）首先我
2016-12-02 15:14:45
2208
大数据全套视频2018.zip
2020-05-02
BookmarkSidebar(书签侧边栏插件)v1.9.0Chrome版.rar.zip
2020-05-02
Hadoop 2.2 Windows下需要的 winutils.exe
2016-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人