scala与spark
dumb_man
这个作者很懒,什么都没留下…
展开
-
云相关各种单词说明
hadoop的框架最核心的设计就是:HDFS(分布式文件系统,有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序)和MapReduce(把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在原创 2017-11-20 17:46:41 · 375 阅读 · 0 评论 -
关于云打印业务,为什么没有什么好的初创出现?
云打印介绍:http://oa.zol.com.cn/477/4775735.html来源:http://www.zhihu.com/question/27747912#answer-29281687Brian Liu做了(自认为)最好用的校园云打印产品ortant;" rel="nofollow" href="http://www.zhihu.com/question/27747912#"原创 2017-11-20 17:47:13 · 437 阅读 · 0 评论 -
Scala Shell #! 惊叹号井号与!#
转自:http://www.winseliu.com/blog/2014/09/03/linux-shell-shebang-tanjinghao/工作中主要是写java代码,shell也只是用于交互性操作,写脚本的次数比较少。对于#!井号叹号仅仅是教条式的添加在脚本开头,并且基本上都是#!/bin/sh。今天在看scala官方的入门教程尽然发现!#的写法,很是困惑,Google查询也不知道怎么描原创 2017-11-20 17:47:51 · 1449 阅读 · 0 评论 -
异常解决:util.NativeCodeLoader: Unable to load native-hadoop library for your platform
先说一下我的环境:ubuntu14.04 64位系统hadoop 2.7.1spark 2.0.0java 1.8scala 2.11.8装好hadoop和spark后,执行spark-shell时,和执行spark程序时,会有一个WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform…原创 2017-11-20 17:47:54 · 968 阅读 · 0 评论 -
ERROR snappy.SnappyCompressor: failed to load SnappyCompressor解决
输入hadoop checknative -a时,提示ERROR snappy.SnappyCompressor: failed to load SnappyCompressor需要安装snappysudo apt-get install snappy libsnappy*之后把/usr/lib/libsnappy1.0 复制到$HADOOP_HOME/lib/native下。原创 2017-11-20 17:47:57 · 1779 阅读 · 0 评论