自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (8)
  • 收藏
  • 关注

转载 spark共享变量更新操作

1. 广播变量我们知道spark 的广播变量允许缓存一个只读的变量在每台机器上面,而不是每个任务保存一份拷贝。常见于spark在一些全局统计的场景中应用。通过广播变量,能够以一种更有效率的方式将一个大数据量输入集合的副本分配给每个节点。Spark也尝试着利用有效的广播算法去分配广播变量,以减少通信的成本。 一个广播变量可以通过调用SparkContext.broadcast(v)方法从

2017-12-19 16:53:05 4146 1

转载 sparkstreaming+kafka

这篇文章记录我使用 Spark Streaming 进行 ETL 处理的总结,主要包含如何编程,以及遇到的问题。环境我在公司使用的环境如下:Spark: 2.2.0Kakfa: 0.10.1这两个版本算是比较新的。业务从 Kafka 中读取数据,用 SQL 处理,写入 Kafka 中。 程序主要分为 3大块:从 Kafka 中读取数据。SQL

2017-12-14 16:09:35 774

转载 spark排错与优化

一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成spark ui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master自然也会因为这个原因失败。解决增加Master的内存占用,在M

2017-12-13 16:47:27 789

clickhouse中文文档

千辛万苦找到的中文文档资源,大家不要错过,clickhouse的查询速度,真的贼快,贼快。

2018-11-28

scrapy爬取豆瓣,携程代码,动态加载页面等

python的所有爬虫案例都有实现,动态加载页面,模拟火狐浏览器,各种高难度姿势爬取内容

2018-08-23

生产环境的停词表

这个资源非常好,包含了各类型的停词表,可谓非常全,公司生产环境就是这个,给满分

2018-08-22

jxl.jar解析2000以下Excel文件不会乱码

可以解析95-2000的Excel,别的jxl都解析不了,只有独此一个可以完整解析2000一下Excel

2018-06-28

java反编译工具

java的反编译工具,可以反编译Java的.class文件,可以看得到Java的代码,你值得拥有,开发者必备

2018-06-28

go语言开发实战特好用

第1章 关于Go语言的介绍 1 1.1 用Go解决现代编程难题 2 1.1.1 开发速度 2 1.1.2 并发 3 1.1.3 Go语言的类型系统 5 1.1.4 内存管理 7 1.2 你好,Go 7 1.3 小结 8 第2章 快速开始一个Go程序 9 2.1 程序架构 9 2.2 main包 11 2.3 search包 13 2.3.1 search.go 13 2.3.2 feed.go 21 2.3.3 match.go default.go 24 2.4 RSS匹配器 30 2.5 小结 36 第3章 打包和工具链 37 3.1 包 37 3.1.1 包名惯例 38 3.1.2 main包 38 3.2 导入 39 3.2.1 远程导入 40 3.2.2 命名导入 40 3.3 函数init 41 3.4 使用Go的工具 42 3.5 进一步介绍Go开发工具 44 3.5.1 go vet 44 3.5.2 Go代码格式化 45 3.5.3 Go语言的文档 45 3.6 与其他Go开发者合作 48 3.7 依赖管理 48 3.7.1 第三方依赖 49 3.7.2 对gb的介绍 50 3.8 小结 52 第4章 数组、切片和映射 53 4.1  数组的内部实现和基础功能 53 4.1.1 内部实现 53 4.1.2 声明和初始化 54 4.1.3 使用数组 55 4.1.4 多维数组 58 4.1.5 在函数间传递数组 59 4.2 切片的内部实现和基础功能 60 4.2.1 内部实现 60 4.2.2 创建和初始化 61 4.2.3 使用切片 63 4.2.4 多维切片 74 4.2.5 在函数间传递切片 75 4.3 映射的内部实现和基础功能 76 4.3.1 内部实现 76 4.3.2 创建和初始化 78 4.3.3 使用映射 79 4.3.4 在函数间传递映射 81 4.4 小结 82 第5章 Go语言的类型系统 83 5.1 用户定义的类型 83 5.2 方法 87 5.3 类型的本质 90 5.3.1 内置类型 91 5.3.2 引用类型 91 5.3.3 结构类型 93 5.4 接口 95 5.4.1 标准库 96 5.4.2 实现 98 5.4.3 方法集 99 5.4.4 多态 103 5.5 嵌入类型 105 5.6 公开或未公开的标识符 113 5.7 小结 121 第6章 并发 122 6.1 并发与并行 122 6.2 goroutine 125 6.3 竞争状态 132 6.4 锁住共享资源 135 6.4.1 原子函数 135 6.4.2 互斥锁 138 6.5 通道 140 6.5.1 无缓冲的通道 141 6.5.2 有缓冲的通道 146 6.6 小结 149 第7章 并发模式 150 7.1 runner 150 7.2 pool 158 7.3 work 168 7.4 小结 174 第8章 标准库 176 8.1 文档与源代码 177 8.2 记录日志 178 8.2.1 log包 179 8.2.2 定制的日志记录器 182 8.2.3 结论 186 8.3 编码 解码 187 8.3.1 解码JSON 187 8.3.2 编码JSON 192 8.3.3 结论 193 8.4 输入和输出 193 8.4.1 Writer和Reader接口 194 8.4.2 整合并完成工作 195 8.4.3 简单的curl 199 8.4.4 结论 200 8.5 小结 200 第9章 测试和性能 201 9.1 单元测试 201 9.1.1 基础单元测试 202 9.1.2 表组测试 205 9.1.3 模仿调用 208 9.1.4 测试服务端点 212 9.2 示例 217 9.3 基准测试 220 9.4 小结 224

2018-06-20

dubbo.2.5.8.war编译好的管理界面

dubbo编译好的管理界面,直接放到tomcat就可以使用,版本2.5.8,贼好用

2018-06-14

Java邮件smtp.jar和mailapi.jar

亲测,好用!!!!

2016-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除