hdfs文件系统中相互复制的java操作

引用包: import com.dewmobile.offline.config.Configuration; import com.dewmobile.offline.connection.HdfsConnection; import org.apache.commons.math3...

2018-01-16 15:17:15

阅读数 729

评论数 0

Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误

在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行。 但是在后期使用过程中,又遇到了相同的问题,为了一劳永逸,今天彻底把问题解决。 开发环境:Idea intellige...

2017-08-11 16:14:51

阅读数 3836

评论数 1

读取job的历史记录

1、java类 import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Iterator; import java.util.Map; import java.util.Map.Entr...

2016-09-12 14:49:02

阅读数 314

评论数 0

Hive函数

1、Array 创建数据库表,以array作为数据类型 create table  person(name string,work_locations array)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'COLLECTION ITEMS TER...

2016-09-05 14:12:15

阅读数 264

评论数 0

case when用法

1、划分时间段 select deviceid, case when server_time >=20160825000000 and server_time when server_time >=20160825010000 and server_time when se...

2016-08-31 16:30:54

阅读数 363

评论数 0

实践rank,dense_rank,row_number区别

1、新建表 create table score(name string,subject string,score string); 2、插入数据 insert into score values('1','En','80'),('2','En','80'),('3','En','90'),('4...

2016-08-30 11:02:59

阅读数 318

评论数 0

mapreduce的理解

1、map和reduce有时会启动两个task,这两个task完成的是同一个任务,如绿框中的红框所示,为读取的block块的索引,红色大框中的任务为任务名称,蓝色框为运行任务的主机。 2、两个任务同时运行是为了提高map、reduce的运行速度,哪一个运行的快,就会将另一个任务kill掉,如图红色...

2016-08-18 16:25:29

阅读数 262

评论数 0

Thread Join学习

对于join了解,非常浅薄,今天又看到相似的代码,因此动手实践Thread.Join的真正作用。 通过三个类加深对Join的了解。 Thread1.java package com.port.test; public class Thread1 extends Thread{ publ...

2016-07-25 17:47:01

阅读数 261

评论数 0

hive去重操作

1、建表 create table lintest(id string,name string,size int); 2、插入数据 create table inform(id string,name string,size int); 3、去重查询 select ad ,sum(plus)...

2016-07-22 14:02:29

阅读数 6265

评论数 0

hive插入数据

新建表 create table lintest(name string,id string) 添加新列 alter table lintest add columns(plus int) 向表中插入数据 insert overwrite table lintest select uu...

2016-07-08 15:35:31

阅读数 1075

评论数 0

提交spark程序

在hadoop环境下执行spark程序,使用spark-submit提交jar package com.spark.classfication; import scala.Tuple2; import org.apache.spark.api.java.*; import org.apach...

2016-07-06 18:06:19

阅读数 514

评论数 0

获取类的路径

由于上篇博客写了关于在hadoop下发送mail的文章,但是在没有将第三方jar包打入到jar包的情况下, yarn jar Mail.jar仍然可以发送出来邮件。 所以跟踪查找,在Mail的类MimeMessage中获取资源路径: Object obj = mimeMsg.getClass...

2016-07-01 14:40:33

阅读数 258

评论数 0

eclipse创建maven工程读取hdfs文件发送邮件

1、在maven下新建maven工程 2、编写代码 package WorkFlow.Mail; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; imp...

2016-07-01 11:57:35

阅读数 1053

评论数 0

Java动态web--jsp页面调用servlet(doPost)

环境:eclipse Mars 1、新建Dynamic web 2、新建jsp页面,编码: <%@ page language="java" contentType="text/html; charset=utf-8" pageEnco...

2016-06-17 18:54:09

阅读数 10047

评论数 0

Hive java编程提交查询语句和配置

java编程配置hive参数和执行查询 //设置优先级和reduce数量 public static final String MR_TASKS_NUM="set mapred.reduce.tasks=40"; public static final String M...

2016-06-16 18:05:35

阅读数 527

评论数 1

yarn编码获取application列表

1、 新建maven工程 2、 编写代码 package Yarn.Yarn; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.PrintStream; import java.io....

2016-06-16 16:21:38

阅读数 4326

评论数 1

Hive动态分区与建表、插入数据操作

1、定义 动态分区指不需要为不同的分区添加不同的插入语句,分区不确定,需要从数据中获取。 set hive.exec.dynamic.partition=true;//使用动态分区 (可通过这个语句查看:set hive.exec.dynamic.partition;)  set hive.exe...

2016-06-14 16:57:20

阅读数 12807

评论数 0

wordcount

1·、新建maven工程 pom.xml文件内容如下: junit junit 3.8.1 test org.apache.hadoop hadoop-mapreduce-client-core 2.3.0 org.apache.hadoop ...

2016-06-07 16:19:30

阅读数 239

评论数 0

DSP需求平台

DSP广告投放是基于大数据的全网覆盖,并从海量人群中精准定向出目标客群进行广告的投放。只要是被定向的客群,当他浏览任何页面时,广告内容都有几率(取决与RTB竞价成功率)向该潜在客群展示。展现的形式有富媒体弹窗,视频,图片等,只要是该页面的公共广告位,DSP都会自动参与竞价。另外需要着重指出的是DS...

2016-06-02 18:32:58

阅读数 418

评论数 0

relief算法研究

最近由于工作需要,对数据进行降维处理,通过对各种算法的研究,想寻找一种比较理想的算法,处理数据维度,达到降维的目的,对PCA进行研究,但是PCA是对当前多维数据的空间变换,无法达到物理降维的目的,因此想选择物理降维的算法,因此对卡方算法和relief算法进行相关研究,这两种算法是对数据的物理降维,...

2016-05-24 17:51:51

阅读数 4582

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭