- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark消费nc的数据 bug汇总
1.Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;pom导入这个依赖<dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>.
2020-06-30 18:53:37
162
原创 SparkStreaming Restarting receiver with delay 2000 ms: Error connecting to 192.168.43.101:9999 java.
使用官方实例连接sparkStreaming出错,一直连接不上。一会儿能行,一会儿不行。1.防火墙我关闭了,service iptables stop查看service iptables status ，已经关闭了dead了还是报错2.我用的是centos7centos7，有2个防火墙。systemctl status firewalld 他运行的呢service firewalld stop 关闭了，成功他有毛病,为啥有2个防火墙...
2020-06-30 17:33:12
5594
原创 docker不要使用centos7以下的版本
centos7以下的版本linux内核低于3.10而docker只支持3.10以上的你如果想用必须修改内核,修改内核不一定成功,失败后你的机器无法启动一直卡在这里
2020-06-27 14:24:52
885
原创 centos7桥接模式联网转发,亲测可用
https://blog.csdn.net/weixin_42209440/article/details/102759869
2020-06-24 20:38:10
413
原创 flume两种写法
1.全写bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console2.简写bin/flume-ng agent -n a1 -c conf -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console说明--conf conf...
2020-06-24 20:37:28
201
原创 shell脚本与crontab
啥是shell脚本,shell脚本是linux的一种脚本语言,可以以程序的形式使用linux命令,经常用于大数据中的环境搭建(统一启动）,并且很多linux软件都是由shell脚本封装聚合的。shell脚本的标识是后缀为.sh我的第一个shell脚本由于shell脚本在linux中直接操作,没有颜色标记,没有提示不好写。我们开发中一般用notepad++写shell脚本ps:如果具体操作不懂,如小白的问题, 例:windows10 如何打开 运行 窗口，答案安装win + r。这些请直接..
2020-06-24 00:47:41
325
原创 java -jar 运行出现错误
out\artifacts\untitled2_jar\untitled2.jarJava : 无法将“Java”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。所在位置 行:1 字符: 1+ Java -jar C:\Users\Lenovo\IdeaProjects\untitled2\out\artifacts\untitl ...+ ~~~~ + CategoryInfo : ObjectNo...
2020-06-23 20:17:34
2462
原创 crontab 控制shell写入文件,文件找不到
crontab我定位的是相对路径,所以log只会 在crontab的当前路径生成。我们进入crontab查看你用哪个工具执行,在Linux中就会以 工具的路径定位，而不是你启动的任务的jar的位置由于crontab 默认执行路径为 /root所以我们进入 rootcd /root查看到了相关的log日志...
2020-06-23 18:00:58
486
原创 crontab执行sh无法写入文件
我这里是因为写了一个相对路径,在jar中如果使用了crontab那生成的文件就在crontab的相对路径了。所以必须全部写绝对路径，问题解决sh能执行用了,crontab就不能执行。那么是环境变量的问题在shell中执行 source /etc/profile即可...
2020-06-21 00:19:46
838
原创 idea中运行没有问题,打成jar包,运行jar报错,提示没有主清单属性
因为,之前不熟悉idea 浪费了我2个小时。影响了我的文档，以及同事后续的工作。非常对不起。这个错误让我更加了解java中的jar包，我要铭记分析.首先打开你的jar.以zip的形式这是正常的这些target,out 代表你IDE jar里的文件,其实你根本不用打开jar，他们是一样的。看这里就知道,META-INF 中的MANIFEST.MF是指定jar包运行哪个主类，主类必须与包名一致打包的正确方式,首先进入项目的结构中设置主类文件选择主类(.
2020-06-20 22:37:04
4156
7
原创 Centos出现，配置静态ip后出现 connect：不可达
添加配置cd /etc/sysconfig/network-scripts/cd /etc/sysconfig/network-scripts/vi ifcfg-eth0 #这里的eth0是你自己的网卡设备名称,你的可能是eth1,ethXGATEWAY=192.168.1.1 #我采用的是桥接,桥接的网关要与你本机连接宽带的网关一致#本机网关cmd ipconfigBOOTPROTO=staticIPADDR=192.168.1.102ARPCHECK=no#注释掉#HW
2020-06-18 15:08:23
1284
原创 centos静态ip设置
序之前因为怕重复所以设置的动态ip，但是每次重启虚拟机ip会改变。每次ssh都得改ip相当麻烦，这里就设置成静态的vi /etc/sysconfig/network-scripts/ifcfg-(你自己的网卡)vi /etc/sysconfig/network-scripts/ifcfg-eth0：保存,重启网卡service network restart修改xshell连接进去，成功...
2020-06-18 11:23:35
177
原创 配置单节点hadoop 边搭边写（含hadoop集群搭建)
最近在复习hadoop知识,自从开始干大数据,已经两年了。集群现在都有点生疏了，今天来回顾一下。cdh版本的后面会给
2020-06-17 19:10:29
343
原创 vmware虚拟机安装教程-边搭边写
序我这里使用的是centos6.10虚拟机以及centos6.10下载地址网盘地址:链接：https://pan.baidu.com/s/1UeSjRY5oMjlZgL-bkEz7AQ提取码：0369jdk1.8x64网盘地址:链接：https://pan.baidu.com/s/1hbIsUTAv2ULldzCvHDY3uQ提取码：fy8n安装vmware后,点击左上角 文件 -> 新建虚拟机搭建选择典型,点击下一步选择稍后安装操作系统（.
2020-06-17 15:20:19
1711
3
原创 VMWARE虚拟网络配置 子网ip和子网掩码不匹配
如果子网掩码设成255.255.255.0 ,那么前面的子网ip就应该设成192.168.221.0,而不是192.168.221.128子网掩码:255.255.255.x子网ip:192.168.211.x这2个x必须相同
2020-06-16 10:19:17
23996
10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人