- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark实现HashMap转RDD处理
使用Spark可以轻松实现分布式的查询处理，然而在做数据处理时得到的原始数据并非RDD结构而是HashMap时，就需要将其转换成RDD对象。
2020-05-28 16:04:41
3298
1
原创 Spark 连接mysql 执行数据查询操作实战--多表查询
系统环境：本地虚拟机(Ubuntu 14 6G内存，2核CPU)数据量：dat_order_item 240W记录，dat_order 1.4W记录操作：(1)dat_order_item 和 dat_order 通过表order_id进行连接 (2)对dat_order_item表按item_code,item_type , item_insu_type三个字
2017-02-15 15:43:12
6750
1
翻译 执行 hadoop checknative 报错 openssl: false Cannot load libcrypto.so
部署完Hadoop之后，执行 hadoop checknative 对本地库做检查，执行结果为17/02/09 10:02:41 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version17/02/09 10:02:
2017-02-09 10:11:53
5965
1
原创 Hadoop YARN中内存的设置
前两天将Spark(2.1)部署到YARN上之后，执行一个简单的分词程序，发现执行完Action 之后，Spark任务直接被Kill掉，然后退了出来。 查了资料，没有找到是什么原因。今天重新整理Ubuntu 14 x64环境，配置完YARN后，将Spark以--master yarn 的模式运行，发现报错：java.lang.IllegalStateException
2017-02-07 14:25:05
2411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人