- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark（黑名单过滤）
11.transform以及广告计费日志实时黑名单过滤案例实战 最近看见一个Spark实战，用window做的，挺不错的！ transform操作，应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作。 它可以用于实现，DStream API中所有没有提供的操作。比如说，DStream API中，并没有提供 将一个DStream中的么个batch，与一个特定的RDD进行join的
2017-10-13 22:06:53
2538
原创 Kafka认识
1）：Apache kafka介绍及架构详解假设一个场景： 数据源： 应用系统A 产生的用户访问数据和订单数据 10000 条一秒钟 push：推送数据 消息系统：队列 产生的数据量>数据量 pusll：拉取数据
2017-10-13 22:01:00
286
原创 Hive搭建（认识Hive）
Hive环境搭建：注意事项； 因为是Hive，他是基于Hadoop之上，所以我们在Hive基本的环境搭建中， 需要配置一台Hadoop伪分布式。。1）：安装 解压安装(需要多次安装) tar -zxvf ./apache-hive-0.13.1-bin.tar.gz -C /opt/install/ 1.1)、yum命令安装(一次性安装即可)
2017-10-13 21:57:13
410
原创 认识Hive
什么是Hive:Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL类查询功能。Hive的认识：* Hive基于： 1）：处理的数据储存在HDFS 2）：分析数据底层的实现MapReduce 3）：执行程序运行的YARN* 构建在Hadoop之上的数据仓库： 1）
2017-10-13 21:55:33
346
原创 Java基础（集合）
集合集合大概理论：List接口 ArrayList：实现了可变的数组，在内存中分配连续的空间，便利元素和随机访问元素的效率比较高。 LinkedList：采用链表储存方式，插入，删除元素时效率比较高！ set接口 HashSet:唯一，重复，直接不能储存进去！无序的，是采用哈希吗储存的！ Collection 是层次结构根接口List:
2017-10-13 21:54:04
286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人