![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
文章平均质量分 56
竹信之佳
风华是一指流砂,苍老是一段年华。
展开
-
Spark实现HashMap转RDD处理
使用Spark可以轻松实现分布式的查询处理,然而在做数据处理时得到的原始数据并非RDD结构而是HashMap时,就需要将其转换成RDD对象。原创 2020-05-28 16:04:41 · 3326 阅读 · 1 评论 -
Hadoop YARN中内存的设置
前两天将Spark(2.1)部署到YARN上之后,执行一个简单的分词程序,发现执行完Action 之后,Spark任务直接被Kill掉,然后退了出来。 查了资料,没有找到是什么原因。今天重新整理Ubuntu 14 x64环境,配置完YARN后,将Spark以--master yarn 的模式运行,发现报错:java.lang.IllegalStateException原创 2017-02-07 14:25:05 · 2419 阅读 · 0 评论 -
执行 hadoop checknative 报错 openssl: false Cannot load libcrypto.so
部署完Hadoop之后,执行 hadoop checknative 对本地库做检查,执行结果为17/02/09 10:02:41 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version17/02/09 10:02:翻译 2017-02-09 10:11:53 · 5981 阅读 · 1 评论 -
Spark 连接mysql 执行数据查询操作实战--多表查询
系统环境:本地虚拟机(Ubuntu 14 6G内存,2核CPU)数据量:dat_order_item 240W记录,dat_order 1.4W记录操作:(1)dat_order_item 和 dat_order 通过表order_id进行连接 (2)对dat_order_item表按item_code,item_type , item_insu_type三个字原创 2017-02-15 15:43:12 · 6767 阅读 · 1 评论 -
Scala 可变参数函数的灵活调用
Scala 可变参数函数的灵活调用原创 2017-11-23 16:40:34 · 2327 阅读 · 0 评论