大数据课程遇到的坑

  Server access Error: java.security.ProviderException: java.security.KeyException url=https://jcenter.bintray.com/org/scala-sbt/sbt/0.13.9/sbt-0.13.9.pom

...

:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
unresolved dependency: org.scala-sbt#sbt;0.13.9: not found
Error during sbt execution: Error retrieving required libraries
  (see /home/hadoop/.sbt/boot/update.log for complete log)
Error: Could not retrieve sbt 0.13.9

• 这是第一个比较麻烦的坑，我用林老师博客里推荐的方法发现都不管用。不过明白了是HTTPS认证的问题，所以就直接进行了两个步骤：

1.  unzip -q ./sbt-launch.jar

2.  nano ./sbt/sbt.boot.properties

3. 把里面所有https换成http

4. 重新打jar包：

rm ./sbt-launch.jar # 删除旧的

jar -cfM ./sbt-launch.jar . # 重新打包

ls | grep -v "sbt-launch.jar" | xargs rm -r # 解压后的文件已无用，删除

 

• 第二个坑，spark1.6.2 必须要import 很多包然后才能继续编程，有的必要的包还没有，于是老师让下spark2.4.3，最近apache官网的下载不好使啦，我就下了个bit的镜像，结果告诉我不支持 52.0 版本，也就是需要jdk1.8。令人难过的是机房电脑只能找到jdk1.7的软件包，所以呢，只好先更新第三方源，然后再apt update。下载完之后，有了心问题：报的错是jline和scala的问题，搜了一下有人说是bug。。。我不太信，于是我把朋友从官网上下的spark里面jars包拷过来，把我的jars替换了一下，于是我成功打开了spark-shell。
• 第三个坑，hive的安装和使用，博客里顺序有点问题，需要先建数据库才行，另外后面建立4个user表，建表的时候没有创建分区，但是后来又要新增分区，所以就会失败，删表，重建的时候建分区就好了。

先大概写一下，具体内容和解决方案等我有空了再来补充。