- 博客(5)
- 收藏
- 关注
原创 Spark(黑名单过滤)
11.transform以及广告计费日志实时黑名单过滤案例实战 最近看见一个Spark实战,用window做的,挺不错的! transform操作,应用在DStream上时,可以用于执行任意的RDD到RDD的转换操作。 它可以用于实现,DStream API中所有没有提供的操作。比如说,DStream API中,并没有提供 将一个DStream中的么个batch,与一个特定的RDD进行join的
2017-10-13 22:06:53 2565
原创 Kafka认识
1):Apache kafka介绍及架构详解假设一个场景: 数据源: 应用系统A 产生的用户访问数据和订单数据 10000 条一秒钟 push:推送数据 消息系统:队列 产生的数据量>数据量 pusll:拉取数据
2017-10-13 22:01:00 316
原创 Hive搭建(认识Hive)
Hive环境搭建:注意事项; 因为是Hive,他是基于Hadoop之上,所以我们在Hive基本的环境搭建中, 需要配置一台Hadoop伪分布式。。1):安装 解压安装(需要多次安装) tar -zxvf ./apache-hive-0.13.1-bin.tar.gz -C /opt/install/ 1.1)、yum命令安装(一次性安装即可)
2017-10-13 21:57:13 438
原创 认识Hive
什么是Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL类查询功能。Hive的认识:* Hive基于: 1):处理的数据储存在HDFS 2):分析数据底层的实现MapReduce 3):执行程序运行的YARN* 构建在Hadoop之上的数据仓库: 1)
2017-10-13 21:55:33 370
原创 Java基础(集合)
集合集合大概理论:List接口 ArrayList:实现了可变的数组,在内存中分配连续的空间,便利元素和随机访问元素的效率比较高。 LinkedList:采用链表储存方式,插入,删除元素时效率比较高! set接口 HashSet:唯一,重复,直接不能储存进去!无序的,是采用哈希吗储存的! Collection 是层次结构根接口List:
2017-10-13 21:54:04 303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人