疑难解答
关注
分享
扫一扫
文章平均质量分 50
努力的凹凸曼
这个作者很懒，什么都没留下…
展开
-
gcc编译c源文件为so动态连接库时报错/mingw32/bin/ld.exe: cannot find -lpcap
最近，在做项目时需要抓取过网卡的数据包然后解析提取有用的字段值。由于前期项目都在应用层进行开发，所以是基于Java代码进行的，但现在要抓包分析，显然不能用Java代码实现了。经过思考，决定使用c++进行开发，然后编译为Java可执行的文件不就行了。说做就做！首先，由于本人没有学过c++，于是只能去找现成的代码进行修改。弄完代码，编译执行都没问题，接下开始进行so文件的编译。E:\Cprogram\TTL>g++ ttl.cpp -L.ttl.so -o mainC:\Users\147原创 2022-05-11 16:47:58 · 3029 阅读 · 0 评论 -
Zookeeper启动失败：java.net.BindException: Address already in use
错误日志如下：[hadoop@master zookeeper-3.4.5-cdh5.10.0]$ cat zookeeper.out 2018-05-15 01:29:21,036 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from: /opt/modules/zookeeper-3.4.5-cdh5...原创 2018-05-14 19:55:39 · 3592 阅读 · 0 评论 -
HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs{database}
今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege ‘Create’ found for outputs { database:default }的错误，日志如下。**org.apache.hive.service.cli.HiveSQLException: Error whil...原创 2018-05-24 15:53:36 · 13697 阅读 · 0 评论 -
Sqoop Import数据库时中文乱码解决方案
首先查看数据库参数编码：mysql> show variables like 'character%';+--------------------------+------------------------------------------+| Variable_name | Value ...原创 2018-06-21 16:59:03 · 2788 阅读 · 0 评论 -
sqoop导出hive数据到mysql错误： Caused by: java.lang.RuntimeException: Can't parse input data
Sqoop Export数据到本地数据库时出现错误，命令如下：sqoop export \--connect 'jdbc:mysql://202.193.60.117/dataweb?useUnicode=true&characterEncoding=utf-8' \--username root \--password-file /user/hadoop/.password \...原创 2018-06-21 21:07:56 · 4152 阅读 · 0 评论 -
IDEA右键新建时没有Java Class选项
今天在IDEA中新建了一个maven工程，但是在我想要新建Class时发件右键菜单里竟然没有Java Class选项！如下图所示：如上图红圈所示，我们可以根据对项目的任意目录进行这五种目录类型标注，这个知识点非常非常重要，必须会。Sources： 一般用于标注类似 src 这种可编译目录。有时候我们不单单项目的 src目录要可编译，还有其他一些特别的目录也许我们也要作为可编译的目...原创 2018-09-11 16:55:37 · 4691 阅读 · 0 评论 -
Flume启动错误之：Bootstrap Servers must be specified
今天测试项目的时候需要启动Flume，然而在启动时遇到了Bootstrap Servers must be specified错误，错误日志如下：[kfk@bigdata-pro01 flume-1.7.0-bin]$ ./flume-kfk-start.sh 2018-11-01 15:00:50,099 (conf-file-poller-0) [ERROR - org.ap...原创 2018-11-01 19:42:56 · 5937 阅读 · 0 评论 -
Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch
Spark on Yarn模式运行错误：bin/spark-shell --master yarn --deploy-mode client#报错查看8088页面上的工作日志错误原因：在执行任务时检测到虚拟机的内存太小，2.2g的虚拟内存实际值，超过了2.1g的上限，不能满足该任务所需的内存要求，于是Yarn就干掉了执行此任务的contrainer。解决办法：在y...原创 2019-04-18 17:20:00 · 1996 阅读 · 0 评论 -
Spark-HBase集成错误之 java.lang.NoClassDefFoundError: org/htrace/Trace
在进行Spark与HBase 集成的过程中遇到以下问题：java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spa...原创 2019-04-28 16:44:14 · 1264 阅读 · 0 评论 -
Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点
Hadoop完全分布式环境下，上传文件到hdfs上时报错：19/05/15 11:03:12 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc_input/file1.txt._COPYING_ could only ...原创 2019-05-15 11:20:43 · 2864 阅读 · 2 评论 -
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
转自：https://www.cnblogs.com/ivictor/p/5142809.html为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+--...转载 2019-05-15 17:38:38 · 399 阅读 · 0 评论 -
Python如何import其它.py文件及其函数
如上图所示，我想在test_1.py文件中import我在lstm_1.py中定义的LstmParam和LstmNetwork。我直接采用的是最简单的引用方法：from lstm_1 import LstmParam, LstmNetwork，但是很明显报错了，不能直接这样引用。因为，编译环境无法直接找到。当你import的时候，python解释器只会在sys.path这个变量（一个li...原创 2019-07-31 10:45:51 · 3502 阅读 · 0 评论 -
Hive启动失败：java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessio
错误日志如下：[hadoop@master hive1.0.0]$ bin/hiveLogging initialized using configuration in file:/opt/modules/hive1.0.0/conf/hive-log4j.propertiesSLF4J: Class path contains multiple SLF4J bindings.SLF4J:...原创 2018-05-17 10:50:47 · 15091 阅读 · 6 评论 -
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
该错误和我的上一篇博文ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary path一样是由于缺少文件引起的，错误日志如下：2018-04-11 16:32:28,514 INFO [org.apache.hadoop.mapreduce.JobSubmi...原创 2018-04-11 17:24:14 · 480 阅读 · 0 评论 -
CentOS系统中出现错误--SSH：connect to host centos-py port 22: Connection refused
这一批博文是博主由博客园搬移过来的，所以时间上可能存在混乱，希望大家见谅！错误提示如下： 我在第一次搭建自己的 hadoop2.2.0单节点的伪分布集成环境时遇到了此错误，通过思考问题和查找解决方案最终搞定了这个问题，其错误原因主要有以下几种： 1）SSH服务安装 此时，采用在线安装的方式就行下载安装，命令为：yum -y install openssh...原创 2018-03-26 10:30:56 · 50263 阅读 · 10 评论 -
数据库操作语法错误之两步走
这一批博文是博主由博客园搬移过来的，所以时间上可能存在混乱，希望大家见谅！ 今天在做web应用操作数据库时出现了语法错误，提示的是在“xxxxxxx”附近出现了语法错误：CODE:Error: You have an error in your SQL syntax. Check the manual that corresponds to your MySQL server versi...原创 2018-03-26 10:38:50 · 1207 阅读 · 0 评论 -
MySQL错误：2003-Can't connect to MySQL server on 'localhost'(10061 "unknown error")
这一批博文是博主由博客园搬移过来的，所以时间上可能存在混乱，希望大家见谅！ 今天数据库出了一点错误之后决定重装一下，结果卡在了一个问题上，连装了5遍，加上网上各种配置教程都没能结局，错误如下图所示： 第一种解决方案是开启本地的MySQL服务，这样很容易就可以解决这个问题了。如果这样无法解决问题您可以再尝试一下第二种解决方案。 第二种解决方案是后来想到...原创 2018-03-26 10:39:54 · 117326 阅读 · 24 评论 -
MapReduce错误之log4j.properties错误及配置详解
这一批博文是博主由博客园搬移过来的，所以时间上可能存在混乱，希望大家见谅！错误提示如下：当在Eclipse上运行MapReduce程序遇到以上问题时，请检查项目中是否有log4j.properties配置文件，或者配置文件是否正确。刚接触Hadoop的时候不太了解log4j.properties配置的含义和作用是什么，后来意识到了其重要性，但网上的内容大多太杂太单一，因此想整理一份出来供大家参考。...原创 2018-03-27 11:23:53 · 1380 阅读 · 0 评论 -
hadoop集群启动时DataNode节点启动失败
这一批博文是博主由博客园搬移过来的，所以时间上可能存在混乱，希望大家见谅！错误日志如下：************************************************************/2018-03-07 18:57:35,121 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX ...原创 2018-03-27 11:22:12 · 846 阅读 · 0 评论 -
解决Hadoop无法加载本地库的问题： Unable to load native-hadoop library for your platform
今天跑Hadoop程序时一直提示我无法加载本地库，然后就直接退出运行了，如下图所示。 原因是由于Apache提供的Hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。下载地址：http://dl.bintray.com/sequenceiq/sequenceiq-bin/。请下载好对应版本的.tar包，然后上传到Hadoop集群上，然后分别解压到$HA...原创 2018-04-14 20:31:56 · 3526 阅读 · 2 评论 -
No lease on /目录: File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-2059237550_1..]错误及解决方法
感觉程序员的世界真是一个变幻无常且精彩绝伦的世界，每次跑程序都会发现不一样的问题。今天跑MapReduce程序来统计邮箱次数时遇到了一个问题，明明一样的代码，别人能跑，我却跑不了。我相信，基本做这行的都遇到过这种问题。好了，话不多说，来聊聊今天的错误吧。 根据日志查看到报的错误为：No lease on /目录: File does not exist. [Lease. Holder: D...原创 2018-04-02 15:26:15 · 12225 阅读 · 0 评论 -
eclipse链接Hadoop集群时报错Error：Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on connection excep
今天用eclipse连接Hadoop集群的时候突然给我报了这样一个错误：Error：Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on connection exception:java.net.ConnectException:Connection refused:no further information;...如下图所示：...原创 2018-04-10 16:11:11 · 4413 阅读 · 2 评论 -
bash:haoop:command not found
今天重新搭建了一个3节点的Hadoop集群，想着在上面测试一个MapReduce实例，然后就出现了以下错误： [hadoop@master hadoop-2.6.0]$ hadoop -bash: hadoop: command not found 出现这个错误的原因是没有配置环境变量，操作过程如下。 vi /etc/profile //权限不够时再前面加上sudo 进入配置文件后...原创 2018-04-10 17:07:26 · 717 阅读 · 0 评论 -
Hadoop 3节点集群无法成功启动zookeeper
今天在集群上跑程序的时候遇到了zookeeper无法成功启动的问题，先分别启动了主节点和从节点的zookeeper进程，并且通过jps也看到zookeeper进程已经启动了，但通过指令查看进程状态的时候却提示的是没有启动。问题如下面几张图所示： 遇到问题后我立刻查看了进程的相关状态，并关掉进程重启，但是结果任然是不能成功启动。后来想到会不会是因为防火墙的问题，于是查看了以下防火墙的状态。果不...原创 2018-04-11 16:01:56 · 921 阅读 · 0 评论 -
hadoop操作权限问题：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... u
今天想从Eclipse向hdfs上传文件时遇到了一个权限问题，日志如下： ERROR hive.log: Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr...原创 2018-04-12 09:47:32 · 2148 阅读 · 0 评论 -
ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary pat
错误日志如下：2018-04-11 16:23:26,935 DEBUG [org.apache.hadoop.metrics2.lib.MutableMetricsFactory] - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetric...原创 2018-04-11 17:23:06 · 3417 阅读 · 0 评论 -
Eclipse Debug时出现Source not found错误
今天在Debug Java代码时报出了Source not found这个错误，如下图所示，经过查询资料得知这是由于缺少Hadoop源程序代码所导致的错误。 在此我建议了两种方法，可以先采用方法一，这种方法正对于已经成功导入了Hadoop源程序时使用。如果第一种不行请采用方法二。方法一： 点击“Edit Source Lookup Path”，然后选择Add，再选择Java Project...原创 2018-03-30 20:41:35 · 1662 阅读 · 0 评论