AngellYue-CSDN博客

原创 hive常用函数

hive函数hive中函数有如下类型： - 数学函数 - 字符函数 - 收集函数 - *转换函数 - 日期函数 - 条件函数 - 聚合函数 - 表生成函数数学函数（1）round：四舍五入 select round(数值,小数点位数);（2）ceil：向上取整 select ceil(45.6); --46（3）floor：向...

2018-07-19 09:57:15 611

原创开发环境、测试环境、生产环境、UAT环境、仿真环境论述

开发环境、测试环境、生产环境、UAT环境、仿真环境论述三个环境也可以说是系统开发的三个阶段：开发-&gt;测试-&gt;上线，其中生产环境也就是通常说的真实环境：开发环境(DEV)测试环境(UAT)生产环境(PROD)开发环境(DEV)开发环境是程序猿们专门用于开发的服务器，配置可以比较随意，为了开发调试方便，一般打开全部错误报告。测试环境(UAT)一...

2018-07-16 18:22:45 1436

原创 Kafka客户端开发

Kafka客户端开发pom依赖这里写链接内容dependency> groupId>org.apache.kafkagroupId> artifactId>kafka_2.11artifactId> version>0.10.2.0version>dependency>dependency> groupId>org.apache.kafkagr

2018-02-03 20:01:38 335

原创数据处理七之匹配ip查找地区

数据样例（数据量太大无法提供全部） ip.txt 1.2.4.0|1.2.4.255|16909312|16909567|亚洲|中国|北京|北京||中国互联网信息中心|110100|China|CN|116.405285|39.904989 1.2.5.0|1.2.7.255|16909568|16910335|亚洲|中国|福建|福州||电信|350100|China|CN|119.3062

2018-01-27 21:51:07 690

原创数据处理六之全局分组TOPN

数据 http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn

2018-01-27 21:40:06 452

原创数据处理五之去重

数据 file1：2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 cfile2：2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-5 a 2012-3-6 c 2012-3-7 d

2018-01-27 21:30:17 503

原创数据处理四之平均温度

数据生成逻辑import java.io.{File, FileWriter}import org.apache.spark.util.randomimport scala.util.Randomobject DealDataExample4_1 { val random = new Random() val arr = Array("北京","上海","广州","

2018-01-27 21:25:03 1012

原创数据处理三之用户在线时长和登录次数统计

数据 2016-04-18 16:00:00 {“areacode”:”浙江省丽水市”,”countAll”:0,”countCorrect”:0,”datatime”:”4134362”,”logid”:”201604181600001184409476”,”requestinfo”:”{\”sign\”:\”4\”,\”timestamp\”:\”1460966390499\”,\”rema

2018-01-27 21:19:47 2447

原创数据处理案例二之数据汇总

数据 1010,华语剧场|剧情|当代|类型,1,0 1010,剧情|剧情|家庭剧|类型|热血,1,1 1011,华语剧场|剧情|当代|类型,1,0 1011,剧情|爱情|家庭剧|类型|热血,1,1 1012,华语剧场|剧情|当代|类型,1,0 1012,剧情|爱情|剧情|剧情|家庭剧|类型|热血,1,1 1011,华语剧场|剧情|当代|类型,1,0 1012,剧情|爱情|剧情|剧情

2018-01-27 20:57:14 705

原创数据处理案例一之"求同存异"

数据 a.txt: u1 12 zs u2 15 xx u3 18 aaa u4 20 xa1 u5 22 xa2b.txt u1 2016 9 m1 u2 2017 12 m2 u3 2017 1 m3 u3 2014 2 m4 u3 2012 3 m5 2. 需求两个数据集：数据集A id,age,name 数据集B id

2018-01-27 20:51:54 1895

原创 spark要点-01

一. Spark四种运行模式1.local 模式 spark-shelllocal模式没有指定master地址，仅在本机启动一个进程（SparkSubmit），没有与集群建立联系。但是也可以正常启动spark shell和执行spark shell中的程序2.standalone模式 Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到

2018-01-22 20:12:37 336

原创点击量与浏览量的数据处理

数据处理源数据样例 1010,华语剧场|剧情|当代|类型,1,0需求 1010,华语剧场|剧情|当代|类型,1,0 数据格式说明： id,关键字组合，使用的是|分割符，是否展示（0未展示，1展示），点击（0未点击，1点击））要求输出：1010 关键字展示量点击量输出示例：1010 华语剧场 3 2代码实现import scala.collection.

2018-01-20 13:38:55 1776

原创 sparkRPC通信框架模拟

业务需求 1,master worker 都要启动 2,worker在启动之后，需要向master发送注册请求附带信息 workerId, cores 内存可以使用 case calss 封装数据 3,master接收到worker的请求信息之后，保存worker的注册信息，向worker发送响应信息（注册成功） 4，worker收到注册成功的信息之后，要定时发送心

2018-01-19 22:11:57 295

原创多台客户端访问服务端简单实现

多台客户端访问服务端简单实现Serviceimport akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.ConfigFactoryclass Service extends Actor { override def receive: Receive = { case "start" => {

2018-01-17 21:44:21 455

原创 scala面向对象

1.数组反转object ExcuDemo { def swapArray(arr:Array[Int]) ={ //这里只能使用until for (i 0 until arr.length-1 if(i%2==0)){ arr(i) = arr(i)^arr(i+1) arr(i+1) = arr(i)^arr(i+1) arr

2018-01-17 00:30:55 436

原创 scala进阶

1.集合 Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质在Scala中集合有可变（mutable）和不可变（immutable）两种类型(两个不同的包)，包的全局路径：scala.collection.immutable默认使用的是该包中的集合如果想使用可变的集合，就需要导包scala.collection.mutableimmutabl

2018-01-16 08:57:20 482

原创 scala基础

**Scala概述** 1.什么是Scala 编程语言，java shell javascript 函数式编程：函数式编程是一种编程思想，主要的思想把运算过程尽量写成一系列的函数调用。 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。 Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。 scala是对ja

2018-01-14 00:03:41 248

原创面试题

id course 1,a 1,b 1,c 1,e 2,a 2,c 2,d 2,f 3,a 3,b 3,c 3,ecreate table student_course( num int, course string) row format delimited fields terminated by ‘,’;select num as 学号,course

2018-01-13 08:20:13 239

原创海量数据处理

需求分析1、数据预处理 –》 release_channel,device_id,city,device_id_type,app_ver_name 这几个字段如果缺失，则过滤 –》将数据整成字段,字段,字段,…… 这种形式 –》在每条数据中添加一个字段：user_id（值就是device_id)2、导入hive中的表的天分区 3、进行数据统计分析每天

2018-01-11 00:12:09 359

原创查询累计销售额案例（级联查询）

查询累计销售额案例（级联查询）店铺月份总销售额累计到当月的总销售额 a 01 350 350 a 02 5000 5350 a 03 600 5950 …….

2018-01-08 14:07:39 647

原创 LinkedList 去除集合中自定义对象的重复值(对象的成员变量值都相同)

package cn.edu360;import java.util.ArrayList;import java.util.Iterator;import java.util.LinkedList;public class Test1 {public static void main(String[] args) {// TODO Auto-gene

2017-11-13 08:24:02 1745

原创购物平台的搭建。

购物平台得搭建！import java.util.Scanner;public class ShopMenu{public static void main(String[] args){ProductManagement pMgmt=new ProductManagement();//利用商品工具为商品添加数据CreateSomeProducts.creat(pM

2017-11-06 14:26:38 442

AngellYue的博客