dilian0070-CSDN博客

转载 Spark-Streaming总结

文章出处：http://www.cnblogs.com/haozhengfei/p/e353daff460b01a5be13688fe1f8c952.htmlSpark_总结五1.Storm 和 SparkStreaming区别Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStr...

2017-08-04 16:50:00 366

转载 spark java API 实现二次排序

package com.spark.sort;import java.io.Serializable;import scala.math.Ordered;public class SecondSortKey implements Serializable, Ordered<SecondSortKey> { /** * serialVers...

2017-07-28 17:24:00 181

转载在eclipse上安装Scala插件

1、官网下载地址http://scala-ide.org/download/current.html　　目前最新的版本　　http://download.scala-ide.org/sdk/lithium/e46/scala212/stable/site在Eclipse中选择Help->Install new Software添加插件下载...

2017-07-07 09:09:00 425

转载 maven:missing artifact jdk.tools:jar:1.7

http://stackoverflow.com/questions/11118070/buiding-hadoop-with-eclipse-maven-missing-artifact-jdk-toolsjdk-toolsjar1只要编辑eclipse根目录下的eclipse.ini文件或者改为：-vmD:/AJDevelopment/JDK/jre/bin...

2017-06-06 17:46:00 118

转载使用 Hive装载数据的几种方式

装载数据1、以LOAD的方式装载数据LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1, partcol2=val2 ...)]1) 使用LOCAL这个关键字，那么这个路径应该为本地文件系统路径，是拷贝本地数据到位于HDFS上的目标位置，而不...

2017-06-04 13:55:00 1052

转载 Eclipse debug 调试快捷键

F3 跳到光标所在的类或方法（按Ctrl+鼠标左键同样可以实现这一功能）F5 进到函数的内部F6 单步调试F7 从函数中退出F8 调到下一个断点（不能使用时应该是和有道词典的快捷键冲突）转载于:https://www.cnblogs.com/sunrise88/p/6874209.html...

2017-05-18 16:49:00 97

转载 yarn工作流程

YARN 是 Hadoop 2.0 中的资源管理系统，它的基本设计思想是将 MRv1 中的 JobTracker拆分成了两个独立的服务：一个全局的资源管理器 ResourceManager 和每个应用程序特有的ApplicationMaster。其中 ResourceManager 负责整个系统的资源管理和分配，而 ApplicationMaster负责单个应用程序的管理。...

2017-05-15 09:34:00 141

转载 Windows 7 下安装mysql-5.7.18-winx64.zip

mysql-5.7以后压缩包安装有了不小的变化第一步：到官网下载https://dev.mysql.com/downloads/mysql/第二步：解压到一个文件夹第三步：配置环境变量把;%MYSQL_HOME%\bin插入到Path的最后面第四步：以管理员的身份运行命令行，按win+R 输入cmd，点鼠标右键以管理员身份运行第五步：...

2017-04-17 21:02:00 191

转载希尔排序

public class ShellSort { public static void print(int[] arr) { for (int i : arr) { System.out.print(i + " "); } System.out.println(); } ...

2017-04-07 21:55:00 71

转载冒泡排序

public class BubbleSort{ public static void sort(int[] arr) { int temp; boolean flag = true;//排序的优化，当循环不在赋值时就会停止循环 for (int i = 0; i < arr.length -1 &amp...

2017-04-07 21:22:00 72

dilian0070的博客