- 博客(10)
- 收藏
- 关注
RSS订阅原创 Code:[HdfsReader-10], Description:[读取文件出错]. - 检查文件[hdfs://hdp7:8020/warehouse/gmall/000000_xxx
首先根据他给出的报错信息进行排查，根据指定路径去查看指定文件有一个文件是0KB的将文件下载到本地打开时一个空文件，以至于读不到数据。问题场景使用Datax将hdfs数据导入到clickhouse报错。解决方法将空的文件删除。...
2022-07-30 12:24:44
609
1
原创 DataGrip 连接Hive重复报用户错误
The specified database user/password combination is rejected: [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://hdp1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permis
2022-06-22 15:28:57
450
1
原创 java.sql.SQLException: Incorrect string value: ‘\xE9\x93\x...‘ for column ‘paytype‘ at row 1
错误信息：数据乱码我想到了两个可能会出现问题的地方1.创建数据库时编码集没有设置2.在连接数据库时编码集设置错误我去重新设置编码集还是报相同的错误，这时就百思不得其解还能有那出现错误呢？返回继续看报错信息突然发现报错信息有一个列出现了问题原来是建表的时候忽略了列的字符集将编码集改为UTF-8 再次测试问题解决。...
2022-03-23 15:26:02
1447
原创 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runn Hbase shell 无法执行命令
错误信息：这里多半是Hadoop进入了安全模式如何退出Hadoop安全模式使用 hadoop dfsadmin －safemode leave 强制退出。问题解决
2022-03-08 10:30:50
2431
1
转载 The reported blocks 7 needs additional 178 blocks to reach the threshold 0.9.90 of total blocks 186.
1 CDH环境，HDFS无法做任何操作，报错信息连接Namenode节点失败，处于safemode。 2 查看HDFS 实例，红色警告，不能创建/tmp/.cloudera..... 3 查看 namenode日志: /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-cdh00.log.ou...
2022-02-24 21:22:46
479
原创 Linux中Hadoop伪分布式安装及配置
将IP地址改为静态vim /etc/sysconfig/network-scripts/ifcfg-ens33不知道ip地址的小伙伴可以使用ip addr / ifconfig//查看ip地址
2021-12-14 09:03:32
2208
1
原创 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0)
错误信息:Java运行时环境内存不足，无法继续。#本机内存分配(mmap)映射986513408字节以提交预留内存失败。查看内存使用情况：free -h可用内存剩余73MB分析是tomcat项目启动太多查看Tomcat相关进程：ps -ef |grep tomcat有两个tomcat在运行杀死进程命令:kill -9 -再查看内存使用情况...
2021-12-01 09:25:15
4777
原创 Linux中安装Elasticsearch及简单测试
1. 简介：Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据2.安装官网下载linux版本:Elasticsearch：官方分布.
2021-11-25 21:35:51
1701
原创 redis命令合集
redis的五种类型string list set hash sorted_setString类型添加/修改数据set key value获取数据get key删除数据del key添加/修改多条数据mset key1 value1 key2 value2 ....获取多个数据mget key1 key2 ...获取value长度strlen key追加数据到原有数据后 (没有则新建)a[[end key va...
2021-11-22 23:50:15
497
原创 Linux中Kafka的安装配置及简单操作
kafka安装包可以通过官网下载：https://kafka.apache.org/downloads将压缩包上传到/opt/目录下解压缩文件tar -zxvfkafka_2.11-1.0.0.tgz配置kafka的配置文件在 config/server.proterties中要修改的参数如下启动Zookeepercd /opt/kafka/bin/zookeeper-server-start.sh -daemon ../config/zookeeper.pro...
2021-11-18 19:02:30
1931
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人