Chrogean-CSDN博客

原创 Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: This type (GenericTy

在用flink做word_count练习时，代码如下：public class WordCount_Java { public static void main(String[] args) throws Exception{ //设置服务器地址和端口号，在master上执行命令“nc -lk 6666”，就能作为数据输入的端口 int port = 66...

2020-03-25 21:24:22 1285 1

原创 java.net.UnknownHostException: slave1: 未知的名称或服务

flink启动后，确认服务在线，想启动flink-scala-shell，但是只跑三行log4j:WARN就停住了，通过查看日志，第一次发现是namenode掉了，重启之后还是不行。再打开日志查看，发现报这个错：ERROR org.apache.flink.shaded.curator.org.apache.curator.framework.imps.CuratorFrameworkImpl ...

2020-03-25 19:37:37 1628

原创 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang. RuntimeExcep

升级hive之后建表使用时会有如下报错：这是由于升级之后元数据库需要重新初始化，而元数据苦是存在mysql中的。所以需要：第一步：删除旧的元数据库1.删除metastore_db文件(这一项是用derby做元数据库才会生成的，一般嫌它容量小不会使用，所以没有这个文件。)2.删除数据库中对应的database登录mysqlmysql -u root -p删除元数据库，可以从配置文件...

2020-03-18 16:40:56 2618

原创 MySQLSyntaxErrorException: Unknown column '贵州省' in 'field list'

用sparkcore写数据到mysql中，报错MySQLSyntaxErrorException: Unknown column ‘贵州省’ in ‘field list’。看有的博客说多半是因为字段和mysql表中的设计不一样：可能个数，类型等，但我这个属于奇葩的情况，如下第二处标记：...

2020-03-11 23:20:30 2037

原创 IllegalArgumentException：Pathname /E:/out from hdfs://supercluster/E:/out is not a valid DFS filena,

因为项目配置文件夹里有hdfs.site.xml文件，项目默认走这个配置里的路径前缀hdfs://supercluster:8020。如果要走本地文件系统，在路径参数处加file:///前缀

2020-03-11 17:13:44 322

原创 AccessControlException: Permission denied: user=Frankie, access=WRITE,

API写数据到hdf上，报错：Exception in thread “main” org.apache.hadoop.security.AccessControlException: Permission denied: user=Frankie, access=WRITE, inode="/dmp/output":hadoop:supergroup:drwxr-xr-x解决1：将操作用户修...

2020-03-11 14:19:50 1168

原创 web监听项目网页显示监听数据失败，无法显示

1.项目间的key名称不对应导致web端找不到数据：在web端部署数据时，这里设置的key值是serversCountMap,而数据处理模块生成的key指定名字时少个s:改正后依然不能显示数据，继续排查。2.web端找不到数据，要么是调用的key的名字和redis里不一样，上面已经纠正，要么就是redis没连上。再排查，发现是web项目端配置文件问题：如下显示地config.prope...

2020-02-29 10:58:10 707

原创 nginx、lua集成Kafka失败：send() failed (111: Connection refused) while resolving, resolver: 192.168.17.202

原因是kafka的server.properties没有配置监听（lua要把数据给kafka，kafka总得监听才能收到吧），如下：

2020-02-27 20:35:17 1603

原创 Kafka启动后创建主题失败：replication factor: 1 larger than available brokers: 0

创建kafka主题时，报错：ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 0.创建语句如下：/opt/apps/kafka_2.11-1.1.1/bin/kafka-topics.sh -...

2020-02-27 17:09:05 1993

原创 kafka启动失败之：ERROR Error while deleting the clean shutdown file in dir

kafka启动不了，查看日志，发现报错：环境说明：我在server.properties里配置log位置在/home/hadoop/log里，所以下面报错指向的位置都在这里，这个可能和读者的不一致。ERROR Error while deleting the clean shutdown file in dir /home/hadoop/log/kafka-logs java.io.File...

2020-02-27 14:31:56 3323 1

原创 Lua中的变量使用

一、三种变量Lua中在使用变量前必须声明，这一点和Java是一样的。因为编译程序执行代码之前，编译器需要给语句里的变量开辟存储区，用于存储变量所指的值。Lua的变量有三种类型：全局变量、局部变量、表中的域。Lua 中的变量全是全局变量，那怕是语句块或是函数里，除非用 local 显式声明为局部变量。局部变量的作用域为从声明位置开始到所在语句块结束。变量的默认值均为 nil。例：-...

2020-02-25 23:03:58 863

Chrogean的博客