bigdata问题汇总

0.flink笔记

Flink/Flink超神文档.pdf · 海阔天空/BigData - Gitee.com

1.idea右键新建（new） 但是没有Scala class选项

参考：idea右键新建（new） 但是没有Scala class选项_xuebahuobao的博客-CSDN博客_idea new 没有scala1.首先是检测下自己是否有在idea上安装Scala插件，在File--Settings-Plugins中直接搜索Scala，如果没安装的话就直接install就好啦；2.查看下是否给项目配置好了Scala环境，至于有没有电脑上有没有安装并配置好Scala环境这个就不说啦。在File--Project Structure--Platform Settings--Global Libreries...https://blog.csdn.net/xuebahuobao/article/details/98207566

2.CentOS7出现Unit iptables.service could not be found

参考：CentOS7出现Unit iptables.service could not be found_天涯路的专栏-CSDN博客https://blog.csdn.net/tianya_lu/article/details/109157157 3.Namenode格式话多次，datanode无法启动

参考：【hadoop错误】Namenode格式话多次，datanode无法启动_星琳之梦的博客-CSDN博客https://blog.csdn.net/sinat_19628145/article/details/56491320

4. windows 和 lunix可以互相ping通,但 windows浏览器无法访问flink web页面

        CentOS7默认的防火墙不是iptables，而是firewalle.   

         #停止firewalld服务

        systemctl stop firewalld

        #禁用firewalld服务

        systemctl mask firewalld

5.命令提交flink程序

6.查看YARN任务日志的几种方式     yarn application -list -appStates ALL

查看YARN任务日志的几种方式_xyz的博客-CSDN博客_查看yarn日志

7. 为Linux服务器设置静态IP的方法

参考：为Linux服务器设置静态IP的方法 - 小得盈满 - 博客园

8.flink jar包运行在yarn上虚拟内存超过限制

参考：hadoop - Container is running beyond memory limits - Stack Overflow

在hadoop 的yarn-site.xml中添加配置

        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>

9.linux下vi或者vim查找关键字的方法

linux下vi或者vim查找关键字的方法_三人行，必有我师焉。-CSDN博客_vim查找关键字

10.scp传输文件的命令

scp传输文件的命令 - 龙恩0707 - 博客园

11.kafka启动报错   The Cluster ID doesn‘t match stored clusterId

修改kafka 配置文件logs目录下的meta.properties文件的cluster.id即可

kafka.common.InconsistentClusterIdException: The Cluster ID doesn‘t match stored clusterId Some()_雅冰石的专栏-CSDN博客

12.kafka 生产者 消费者key

参考这里 https://riptutorial.com/apache-kafka/example/27965/kafka-console-producer

13.kafka相关命令

./kafka-topics.sh --list --zookeeper hadoop03:2181

./kafka-topics.sh --create --zookeeper hadoop03:2181 --replication-factor 1 --partitions 1 --topic WordCount

./kafka-console-producer.sh --broker-list hadoop03:9092 --topic WordCount --property parse.key=true --property key.separator=,
消息示例：key k1, message v1

bin/kafka-console-consumer.sh --bootstrap-server hadoop03:9092 --topic WordCount --from-beginning --property print.key=true

可以参考：Linux安装Kafka - 请叫我头头哥 - 博客园

14.Centos7 安装 redis 6 编译错误Centos7 安装 redis 6 编译错误 | Limstash的博客https://www.limstash.com/articles/202005/1633

15.windows连接不上linux中的 Redis

windows连接不上linux中的 Redis_u014452148的博客-CSDN博客一般可以分为三个原因：第一:bind 127.0.0.1没有注释掉,不能被除了本机以外的ip地址访问第二:protected mode没有设置为 no 保护模式没有关闭第三：防火墙没有关闭防火墙不仅仅是linux中的防火墙，还有windows中的防火墙。linux中的防火墙关闭方法参照：...https://blog.csdn.net/u014452148/article/details/90938858 16.Redis设置用户名密码

ubuntu Redis安装测试、设置用户名密码_zhangaik的博客-CSDN博客_ubuntu 查看redis密码

17. linux nc命令使用

示例：nc -lk -p 7777

18.linux命令——init 的使用用法

linux命令——init 的使用用法_我的博客-CSDN博客_init命令https://blog.csdn.net/wd2011063437/article/details/78959365

19.mysql安装

MySQL 安装 | 菜鸟教程https://www.runoob.com/mysql/mysql-install.html如果仅作为学习用,建议安装mariadb。mysql安装坑太多,mariadb则简单得多，mariadb命令和mysql都是兼容的。mariadb安装在这里

systemctl start mariadb  #启动MariaDB
systemctl stop mariadb  #停止MariaDB
systemctl restart mariadb  #重启MariaDB
systemctl enable mariadb  #设置开机启动

19.Scala读取Resource文件

Scala找不到Resource目录下放置的TXT等文件的问题_江湖不忘的博客-CSDN博客

20.Scala中isInstanceOf 和 asInstanceOf,getClass和classOf

Scala中isInstanceOf 和 asInstanceOf_影密卫-CSDN博客_scala中asinstanceof

21.flink隐士转换无法导入错误java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeInformation_Mr.Zheng的博客-CSDN博客