- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark入门之WordCount
package com.coreimport org.apache.spark.{SparkConf, SparkContext} /** * Created by lxh on 2016/3/14. * 查看源码快捷键：CTRL + N * */ object WordCount { def main(args: Array[String]) { val conf =
2016-07-17 13:03:07
642
原创 Spark的广播和累加器的使用
广播和计数器的解释1.1 广播： 广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。Spark还尝试使用高效地广播算法来分发变量，进而减少通信的开销。 Spark的动作通过一系列的步骤执行，这些步骤由分布式的洗牌操作分开。Spark自动地广播每个步骤每个任务需要的通用数据。这些广播数据被序列化地缓存，在运行任务
2016-07-17 12:19:45
16809
2
原创 Spark的事务处理
一、什么是事务： 1.1 情形描述： task处理到一半，失败了。可是数据 已经在输出存储在数据库了。如果第二次继续重试task，数据是不是就重复输出了？ Spark Streaming 的任务失败，讲会自动进行重试， 数据会被多次写入到存储程序中。 1.2 事务的要求： 1.能够处理且处理一次。 2.能够输出且只输出一次。 Exactly one 举例：A 给B转账，A一定
2016-07-09 17:13:41
3126
1
原创 不重启tomcat服务器实现web工程“热部署”
遇到的问题最近做项目时，碰到一些情况，需要修改一小部分代码。而tomcat每次修改完代码都要重启才能生效。浪费了时间。在网上看到一些方法，都要改配置文件啊，或者加 JavaRebel插件啊才能实现热部署，比较麻烦。这里有个简单的小方法，实现不用重启tomcat服务器，修改方法里的内容（不包括类加方法，改结构喔），就能生效。达到快速调试的目的。解决第一步：点开tomcat服务器设置Modules。点击
2016-07-01 15:03:46
3779
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人