- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop学习笔记（1）－Hadoop生态系统
0.前言 先介绍下现在的整体大数据架构的内容。见下图。 右边的黑框部分是hadoop的核心架构。包括HDFS，MapReduce，yarn，hive，hbase。 中间红框部分是saprk的生态圈，有RDD，sparkCore，sparkSQL，sparkGraphX，sparkML，sparkR，sparkStreaming。Spark可以完全代替Hadoop中的MapReduce部分。
2016-03-31 20:15:04
1056
转载 JAVA复习（7）－线程间通信
本文转自： http://www.cnblogs.com/mengdd/archive/2013/02/20/2917956.htmlwait()方法 wait()方法使得当前线程必须要等待，等到另外一个线程调用notify()或者notifyAll()方法。 当前的线程必须拥有当前对象的monitor，也即lock，就是锁。 线程调用wait()方法，释放它对锁的拥有权，然后等待另外的
2016-03-23 15:15:41
465
转载 Ubuntu下忘记MySQL密码重设方法
1、结束当前正在运行的mysql进程。/etc/init.d/mysql stop2、用mysql安全模式运行并跳过权限验证。/usr/bin/mysqld_safe –skip-grant-tables3、重开一个终端以root身份登录mysql。mysql -u root4、修改root用户口令。 mysql> use mysql; Reading table information for
2016-03-21 20:07:36
452
转载 在C语言中，double、long、unsigned、int、char类型数据所占字节数
今天室友问起，c中各种数据类型的占字节数，发现记不清了。搜的这篇文章很是不错。转发了。转发地址： http://blog.csdn.net/lyl0625/article/details/7350045和机器字长及编译器有关系： 所以，int，long int，short int的宽度都可能随编译器而异。但有几条铁定的原则（ANSI/ISO制订的）： 1 sizeof(short int)<
2016-03-19 22:57:46
897
原创 Java复习（6）－多线程
1.什么是多线程（what）1.1 线程每个正在系统上运行的程序都是一个进程。每个进程至少包含一个线程。这里也要提下进程的概念。进程既是资源分配单位，又是调度和执行单位。线程是基本调度和执行单位。1.2 多线程一个进程里面跑多个线程。1.3 线程的生命周期线程的生命周期有创建，可执行，非可执行和消亡4个状态。 创建： 当创建（new）一个Thread对象并执行start()方法后，线程进入”
2016-03-19 22:55:02
503
转载 A Java Runtime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Ecl
A Java Runtime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No Java virtual machine was found after searching the following locations: /usr/local/eclips
2016-03-17 09:56:02
727
转载 Mysql学习笔记（1）-Ubuntu下安装和卸载Mysql
本文转自 www.cnblogs.com/linjiqin/archive/2013/03/04/2942497.html1.删除mysqla. sudo apt-get autoremove –purge mysql-server-5.0 b. sudo apt-get remove mysql-server c. sudo apt-get autoremove mysql-server
2016-03-16 13:06:51
531
原创 Java复习（5）－I/O
1.字节流操作 字节流操作的输入／输出。这里介绍2个类： 输入：FileInputStream 输出：FileOutputStream 1.1 FileInputStream读入的文件内容如图： 代码如下：import java.io.*;public class FileInput { public static void main(String[] args){
2016-03-13 20:23:26
409
原创 Java复习（4）－异常处理
1.try-catch－finallypublic class ThrowableTry { public static void main(String[] args) { // TODO Auto-generated method stub int a,b; int[] c = new int[3]; try{
2016-03-13 15:03:54
421
原创 Java复习(3)-内部类
在Java复习(2)中，发现对内部类的不太理解。特意针对性整理下。1.什么是内部类（what） 1.1 定义 就是类的内部再定义类，就叫做内部类。 例1内部类定义，代码如下：/* * 内部类的访问特定： * 1.内部类可以之间访问外部类的成员，包括私有。 * 2.外部累要访问内部类的成员，必须创建对象。 *///内部类定义class Outer{ private int nu
2016-03-13 14:57:26
456
原创 送给不安时候的自己
在不安的背后是对自己选择的没有信心，怕自己的选择错误，这才是苦恼的原因。假如对自己的选择无比坚定，根本不会有这些烦恼，你会有无比的勇气坚持自己的选择。
2016-03-11 12:43:37
436
原创 Java复习（2）－面向对象
类的基本操作就不写上来了。1.抽象类用关键字abstractpackage com.xxm.javaLange.test;public class Abs3 { public static void main(String[] args){ Rule1 abs1 = new Rule1(3,2); Rule2 abs2 = new Rule2(4,2);
2016-03-09 16:31:38
425
转载 Spark学习笔记9-Spark Runtime
1.Spark Runtime1.1 从Spark Runtime的角度来讲由五大核心对象：Master、Worker、Executor、Driver、CoarseGrainedExecutorBackend； 1.2 当Driver中的SparkContext初始化的时候会提交程序给Master，Master如果接受该程序在Spark中运行的话，就会为当前的程序分配AppID，同时会分配具体
2016-03-07 20:46:21
729
原创 Java复习（1）－字符串，switch，数组
学过java太久没用，java语言还是挺有用的，开始复习，记录下复习的主要内容。简单的内容不做记录，记录内容主要是感觉生疏到内容。复习方式以程序为主。1.字符串1.1 字符串的创建输入如下：package com.xxm.javaLange.test;public class StringInit { public static void main(String[] args){
2016-03-05 23:11:49
767
原创 Spark学习笔记10-RDD(Resilient Distributed Datasets)
1.RDD概念RDD(Resilient Distributed Datasets),弹性分布式数据集。是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读
2016-03-02 23:21:27
2267
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人