2019年01月_s小菜鸟

原创 java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

在学习flink是出现以下错误：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho...

2019-01-03 21:50:11 31743 11

原创解决：Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

通过mapreduce 往hdfs包的错误原因是权限错误我使用的是hadoop用户在idea上修改权限为hadoop就可以啦-DHADOOP_USER_NAME=hadoop

2019-01-24 15:27:54 1141

原创 MongoDb快速安装

#配置mongo的yum源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo添加内容如下[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=1...

2019-01-22 13:14:55 216

原创史上最全spqrk性能调优

1、性能调优1.1、分配更多资源1.1.1、分配哪些资源？Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量1.1.2、在哪里分配这些资源？在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-sub...

2019-01-21 21:37:29 690

原创解决：com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat

spark读取文件的时候报的一个错误：Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat...

2019-01-16 13:18:18 4729 2

原创解决：Access denied for user ''@'localhost' (using password: YES)

在idea中通过hive on spark 读取hive中的数据，然后写入mysql 报的一个错误.Exception in thread "main" java.sql.SQLException: Access denied for user ''@'localhost' (using password: YES) at com.mysql.jdbc.SQLError.createSQL...

2019-01-09 21:33:40 8213 6

转载解决：bash: ./a.sh: /bin/bash^M: bad interpreter: No such file or directory的解决方法

一些人喜欢用vim来写linux shell script, 但是，有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好，然后拷贝文件到linux下，结果呢，在执行脚本a.sh的时候，会出现如下问题：什么原因呢，我们有理由怀疑是文件格式问题？我们用vim a.sh进入a.sh这个文件，然后在底部模式下，执行:set ff查看一下，结果发现f...

2019-01-09 16:27:33 1837

原创解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set

在hive表中通过子查询插入数据到分区表时报的错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...

2019-01-08 19:00:00 19946 1

原创 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

原因是：引入的scala版本和提交的版本不一致解决方案：同意scala的版本就行啦

2019-01-03 21:43:48 650

转载 windows环境下netcat的安装及使用

1.下载netcat。下载地址：https://eternallybored.org/misc/netcat/2.解压文件3.把nc.exe 复制到C:\Windows\System32的文件夹下4 、进去黑窗口使用nc开启两个黑窗口第一个执行nc -l -p 9999第二个执行nc localhost 9999执行结果转载地址：https://blog.c...

2019-01-03 21:05:51 10693 2

weixin_38842096的博客