- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hadoop的本地库（Native Libraries）及相关问题总结
主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反）Hadoop的本地库（Native Libraries）介绍Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（...
2018-04-23 18:23:41
11724
原创 find删除历史文件方式
删除3天以前的无用*log文件：find ./log -amin +4320 -name "*log" | xargs rm 或者 find ./log/ -ctime +2 -name "*log" -exec rm -rf {} \;参数说明 :find 根据下列规则判断 path 和 expression，在命令列上第一个 - ( ) , ! 之前的部份为 path，之后的是 expre...
2018-04-23 12:05:52
813
原创 spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch...
前半部分转自：https://www.cnblogs.com/tibit/p/7337045.html （后半原创）spark-shell不支持yarn cluster，以yarn client方式启动spark-shell --master=yarn --deploy-mode=client启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn...
2018-04-17 09:50:52
6203
1
原创 Hadoop伪分布搭建
网上很多教程，但基本都漏介绍了hadoop-env.sh这个文件的配置export JAVA_HOME=${JAVA_HOME:-"/usr/java/jdk1.7.0_55"} 如果这里没写JAVA_HOME会导致启动的时候报找不到Java，然后容易误认为yarn-env.sh里面的JAVA_HOME设置未生效 集群硬件参考：https://www.cloudera.c...
2018-04-11 12:05:36
240
原创 virtual box装32位Ubuntu的黑屏bug
环境：Windows7专业版（64位）问题：virtual box中安装32位Ubuntu（12、16版本）出现黑屏，导致安装失败；（Ubuntu 10版本能装上，但是基本不能更新东西用了）；原因：设置（开机按F8，有的是F12，有的是Fn+F12，有的是F1等）BIOS没打开intel virtual technology，百度无果；（没打开enable时，虚拟机只有32位的linux安...
2018-04-11 11:54:48
2393
原创 免费版idea字体大小设置
问题：免费版idea字体大小设置，没效果；原因：字体设置有3个地方，容易搞混淆；网上大都是用的收费破解版idea，设置不一样；
2018-04-11 11:52:10
197
原创 Phoenix读写
/** * http://phoenix.apache.org/phoenix_spark.html官方api，可惜不懂像查mysql那样传sql * */ def loadPhoenixTable(sqlContext:HiveContext,table:String): DataFrame ={ sqlContext.load( "org.apache...
2018-04-11 11:50:28
622
原创 SAS ECC12版本问题记录
SAS ECC12版本问题记录：1.移除语句没有算nobreak的部分；2.节点名跟申明的concept字符串相同时候引用有问题；3.忽略大小写的时候有点问题（classifier还是concept？有点忘了）4. 导入Excel测试时候，单元格内容过长导致溢出问题，误以为没匹配上；5.软件安装路径不能有中文，R也一样。......其它问题忘得差不多了，这种收费的“人工特征”处理文本分类估计以后用...
2018-04-11 11:47:45
608
原创 spark1.6临时表uncacheTable内部bug，spark2.0后修复
问题：前面的无用临时表的uncacheTable会导致下次select后面其他临时表的时候出现unknown accumulator id；若是uncacheTable后面刚注册的临时表，再查前面的临时表则没问题。报错如下：18/04/04 03:53:56 WARN Accumulators: Ignoring accumulator update for unknown accumulator...
2018-04-11 11:43:15
1300
原创 spark1.6转到spark2.3总结（依赖、版本、初始化问题）
问题：pom里面不写spark版本（<spark.version>2.0.0</spark.version>）的话，可能会默认用spark1.6导致版本冲突异常——语法通过但无法编译运行问题（spark版本必须对应Scala版本）：参考https://mvnrepository.com/artifact/org.apache.spark/spark-hive上面的spar...
2018-04-11 11:32:55
8925
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人