- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive远程调试问题java.net.UnknownHostException: unknown host: master
解决办法如下：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加“如下“信息：192.x.x.x master注：之前我有遇到改下project中hdfs-site.xml下的master:10000改为ip:10000就好了，但是今天发现这招失灵了，ε=(´ο｀*)))唉。改了这个之后能够sqlContext.sql("show databases")等操作，...
2018-05-23 16:08:47
3964
转载 R语言kmeans实例
说明：根据table(iris$Species, kmeans$cluster);可以看出setosa花成功聚为1类（图中绿o），但是versicolor花和virginica有所交叉，但主体部分还是分的较明显的> df<-iris[,c(1:4)]> set.seed(252964) # 设置随机值，为了得到一致结果> (kmeans <- kmeans(na.om...
2018-05-23 13:40:28
2000
转载 Spark性能调优之合理设置并行度
Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！ 当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以...
2018-05-22 15:23:04
267
5
原创 ambari与hortonworks、apache易混淆关系
百度百科上ambari写的是apache的，并在网页后面附上了apache官网url，但是hortonworks官网上也挂着个ambari，初学者容易混淆；其实两者是差不多的，据我观察：apache ambari是原始版本，发行的最新版本会高于hortonworks官网里面的最新发行版本；但ambari2.7.1.0在hortonworks官网中已经有Ubuntu18的安装教程了，而apa...
2018-05-16 11:06:48
2838
1
原创 spark submit依赖jar批量添加小技巧
晾干货，不解释s=`ls ./lib/`strjar=`echo $s | sed "s/ /,/g"`
2018-05-16 09:24:30
1916
原创 SVM实例
数据源：R自带的iris三种花数据（R的e1071包没装下来，so用Scala写了）；spark mlib代码： def svmTest(sc:SparkContext,sqlContext:SQLContext): Unit ={ import org.apache.spark.mllib.classification.SVMWithSGD import org.apache.s...
2018-05-11 16:25:29
710
转载 SVM推导
先看 https://blog.csdn.net/TaiJi1985/article/details/75087742到二次规划了再看 https://blog.csdn.net/american199062/article/details/51322852 拉格朗日往后或者 https://blog.csdn.net/on2way/article/details/47729827 也好...
2018-05-09 11:01:26
238
原创 spark内存溢出问题
9090监控页面显示storage都没用（这里似乎只统计persist持久化的）：但是jmap -heap pid显示内存不够了：然后报错：SparkException: Kryo serialization failed: Buffer overflow解决办法：加大spark.driver.memory、spark.executor.memory、spark.kryoserializer.bu...
2018-05-08 11:18:15
3122
原创 转码
问题：(m & 0x7F) | 0x80) = x ，m >>> 7=y ；已知x、y，求唯一m=？注：scala> 0x80res0: Int = 128scala> 0x7Fres1: Int = 127解：数据仓库—可爱小猪(1967774718) 17:30:09y是m的第8位，x是128+m的低七位。 m=y*128+x-128参考Scala：def...
2018-05-04 09:43:27
210
原创 /root路径下启动hive问题RuntimeException: java.lang.NumberFormatException : For input string: "1s"
环境：hive0.13.0和Hadoop2.6具体现象：[root@master(3.100) ~]# hiveLogging initialized using configuration in file:/work/hadoop/hive/apache-hive-0.13.1-bin/conf/hive-log4j.propertiesException in thread "main" ja...
2018-05-03 10:55:19
1282
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人