- 博客(12)
- 收藏
- 关注
RSS订阅原创 给Vim配置Scala语法高亮显示_vim粘贴模式防止复制粘贴的内容不一致（vim中无格式的粘贴方式）
执行下面这个脚本：mkdir -p ~/.vim/{ftdetect,indent,syntax} && for d in ftdetect indent syntax ; do curl -o ~/.vim/$d/scala.vim https://raw.githubusercontent.com/gchen/scala.vim/master/scala.vim; done...
2020-01-31 16:31:16
387
转载 VM虚拟机系统时间同步网络时间并登录用户自动校正时间
VM虚拟机大家都用，我在用完后，经常使用“挂起客户机”，但是这样一来，系统恢复启动很快，但是少了正常的系统自检，包括和网络同步时间。今天在虚拟机上测试“find /root/Text -mtime +3 -name “Service.log.*” -exec rm -f {} ;”，总是不成功，反复看了几遍，也对照网上格式，命令没写错，结果无意中发现系统时间是上次“挂起”的时间。为了时间准确，...
2020-01-31 11:55:56
1619
原创 Spark SQL学习笔记
Spark SQL概述MapReduce有Hive作为调用接口，可以不用每次都手写MapReduce，而是让Hive自动生成MapReduce代码自己执行那么Spark框架就有类似的产品，Shark（完全照搬Hive的设计Shark两个缺点因为完全照搬Hive，Hive是针对MapRudece开发的，所以Shark照搬了Hive就不好对Spark进行新增优化策略Spark线程级运行，M...
2020-01-30 16:52:11
255
原创 RDD编程学习笔记3_数据读写
本地读取scala> var textFile = sc.textFile("file:///root/1.txt")textFile: org.apache.spark.rdd.RDD[String] = file:///root/1.txt MapPartitionsRDD[57] at textFile at <console>:24scala> textFi...
2020-01-29 20:41:45
416
原创 HBase1.1.x部署在Hadoop2.6.0上(3台vm虚拟机的部分分布式)
HBase1.1.x部署在Hadoop2.6.0上(3台vm虚拟机的部分分布式)下载hbase.apache官网配置环境变量/etc/profile#hbaseexport HBASE_HOME=/usr/local/soft/hbase-1.1.5export PATH=$PATH:$HBASE_HOME/bin配置$HBASE_HOME/conf/hbase-env.shex...
2020-01-29 17:54:25
314
原创 RDD编程学习笔记2_键值对RDD_综合案例-计算每种图书的每天平均销量
常见操作reduceByKey和groupByKey的区别groupByKey只做分组，不会进行汇总reduceByKey会进行汇总求和(写过map，reduce函数框架的话应该很好理解)groupByKey可以通过利用Iterable的容器函数达到一些reduceByKey的效果以下三种操作是等价的综合案例-计算每种图书的每天平均销量scala> val rdd = sc...
2020-01-29 14:21:36
1522
原创 RDD编程基础学习笔记1_Spark优雅的wordCount
hdfs默认主目录是/user/用户名(可能要自己在hdfs中先创建好)所以在hdfs操作文件的时候,1.txt 等价于 /usr/用户名/1.txt ,也等价于 hdfs://localhost:9000/usr/hadoop/1.txt下面这句是因为自己下面的疑问，自己错操作成了 /usr 而非 /user直接在master的终端hadoop fs -cat 1.txt则不行，必须在s...
2020-01-29 11:16:08
362
原创 scp不覆盖同名文件，覆盖同名文件，彻底覆盖（个人实践所得）
# scp错误方式一（会导致src的opt复制到dst的/opt下，变成/opt/opt）: scp -r /opt root@du22:/opt# scp错误方式二（scp不会覆盖子文件）: scp -r /opt/bin /opt/include /opt/lib root@du22:/opt# 正确方式如下（覆盖子文件，但是文件夹日期不变）:scp -r /opt/bin /opt/include /opt/lib root@du22:/opt/
2020-01-28 16:44:39
29940
5
原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
失败源Spark的版本名称中的“without Hadoop”具有误导性：这意味着该版本不与特定的Hadoop发行版绑定，并不意味着没有hadoop即可运行：用户应指出在哪里可以找到Hadoop我看到的教程中都是在$SPARK_HOME/conf/spark-env.sh,添加下列行(这下面更具有误导性，也可能是我太笨了,2020春节期间困扰了我好几天)# 编辑spark-env.sh文件(...
2020-01-27 18:18:25
1961
1
原创 VM仅主机模式上网，使用非192.168.137.1
主机与虚拟机互相ping成功请参考vmware 虚拟机三种网络模式—“桥接、NAT 、仅主机”区别？ 的仅主机部分的内容有问题请看解决VMvare仅主机模式下宿主机与虚拟机互相ping不通的问题修改192.168.137.1成为已经使用的子网ip因为我们可能已经搭建了自己的虚拟机，然后后期要加访问外网的功能，但是windows网络共享默认指定共享的ip为192.168.137.1，因...
2020-01-25 19:32:28
1348
原创 You've added another git repository inside your current repository.解决方案
shell大法好# cd 到你的根仓库目录，一般也就是你报错的当前rm -rf .git && git rm --cache . -f
2020-01-13 21:50:49
8040
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人