- 博客(63)
- 收藏
- 关注
RSS订阅
原创 Hadoop上传文件到hdfs报错:org.apache.hadoop.ipc.RemoteException(java.io.IOException)
搭建好Hadoop集群之后使用hdfs命令上传文件到hdfs报错：hdfs dfs -put jn_gaj_lgxx.csv /input报错内容如下所示：[root@master local]# hdfs dfs -put jn_gaj_lgxx.csv /input19/08/21 15:55:40 WARN util.NativeCodeLoader: Unable to load ...
2019-08-21 16:37:00
4067
原创 FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
启动hive之后执行查询语句报错如下：分析得知：hive的数据库MySQL在安装的时候没有初始化解决办法：初始化数据库schematool -dbType mysql -initSchema出现下面这个界面则表示初始化成功验证：...
2019-07-30 14:31:19
38008
29
原创 bash netstat 未找到命令
netstat命令查看端口使用情况报错：解决办法如下： yum -y install net-tools验证netstat命令是否可用：netstat -anp | grep 端口号 (查看端口号是否已被占用)netstat命令的功能是显示网络连接、路由表和网络接口信息，可以让用户得知目前都有哪些网络连接正在运作。...
2019-07-29 16:49:16
3892
2
原创 Hadoop集群查看数据节点是否正常启动报错
Hadoop集群查看数据节点是否正常启动报错原因之一：防火墙没有关闭防火墙关闭命令（临时）：systemctl stop firewalld关防火墙之前：关防火墙之后：
2019-06-11 15:53:37
1669
原创 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 357892096, 0) failed
Spark启动失败：OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 357892096, 0) failed。解决方法：先执行命令 free -m 查看内存是不是还有 最主要的是 看有没有交换空间 swap （这很重要）如果没有交换空间 或者交换空间比较小 要先安装交换空间 或者增大空...
2019-06-08 12:16:50
31266
4
原创 hbase创建表失败（2.1.9）
hbase(main):002:0> create "bayonet20211218","groupdata"ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2989) at org.apache.hadoop.hbase.
2022-04-13 15:43:30
1595
3
原创 hadoop3.2启动报错：hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected t
1. Hadoop3.2.0启动报错[ec2-user@master ~]$ sh $HADOOP_HOME/sbin/start-all.sh/usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<'/usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: ` done < <(
2022-02-24 10:31:16
3330
原创 Flume数据采集【从指定网络端口采集数据输出到控制台】
解压重命名为:flume-netcat配置环境变量vi /etc/profileexport FLUME_HOME_NETCAT=/usr/local/src/flume-netcatexport PATH=$PATH:$FLUME_HOME_NETCAT/bin#刷新环境变量source /etc/profile修改flume-env.sh配置文件#路径以自己的环境为准export JAVA_HOME=/usr/local/src/jdk配置agent配置文件vi .
2021-12-10 09:30:54
2396
原创 python Pulp求解线性规划问题
线性规划是研究线性约束条件下线性目标函数的极值问题的数学理论和方法。Python中有许多第三方的工具可以解决这类问题，这里介绍常用的pulp工具包。pulp能够解包括整数规划在内的绝大多数线性规划问题，并且提供了多种solver（解算器），每种solver针对不同类型的线性规划问题有更好的效果。1.安装pulp库这里讲的是在jupyter中安装python第三方库。格式：!pip install +包名!pip install pulp2. 使用流程我们解决线性规划问题一般是通过以下三
2021-04-26 15:15:04
2452
7
原创 linux中 $符号是什么意思
$0 这个程式的执行名字$n 这个程式的第n个参数值，n=1…9$* 这个程式的所有参数,此选项参数可超过9个。$# 这个程式的参数个数$$ 这个程式的PID(脚本运行的当前进程ID号)$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)$? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误)$- 显示shell使用的当前选项，与set命令功能相同@跟@ 跟@跟*类似，但是可以当作数组用...
2021-04-26 14:22:06
1258
原创 创建脚本文件
注：我的集群为：node1（主节点）、node2、node3 所有节点都要创建脚本文件，下面以node1为例：1. 创建xcall.sh文件touch xcall.sh在里面添加如下内容:#!/bin/bashparams=$@i=1for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do echo ============= node$i $params ============= ssh node$i "$params"done脚.
2020-10-20 10:46:08
2862
原创 The auxService:mapreduce_shuffle does not exist
执行mapreduce程序报错20/10/07 14:43:14 INFO mapreduce.Job: map 0% reduce 0%20/10/07 14:43:16 INFO mapreduce.Job: Task Id : attempt_1602052929665_0001_m_000000_0, Status : FAILEDContainer launch failed for container_1602052929665_0001_01_000002 : org.apache.h
2020-10-07 17:18:58
335
原创 从指定端口获取数据到spark进行统计
1. 环境spark2.2.0scala2.11.0centos7IntelliJ IDEA 2019.3.22. 代码package scala.sparkimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming...
2020-04-13 23:08:11
312
原创 Error: NETWORK_EXCEPTION (org.apache.kafka.clients.producer.internals.Sender)
报错详情：Kafka生产数据异常WARN [Producer clientId=console-producer] Got error produce response with correlation id 3 on topic-partition stream-0, retrying (2 attempts left). Error: NETWORK_EXCEPTION (org.apach...
2020-04-13 22:50:38
3073
原创 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - org.I0Itec.zk
报错详情ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server '192.168.235.131:218...
2020-04-13 22:46:57
4139
原创 Topic stream is marked for deletion. Note: This will have no impact if delete.topic.enable is not se
报错详情：删除topic失败[root@master config]# kafka-topics.sh --delete --zookeeper master:2181 --topic streamTopic stream is marked for deletion.Note: This will have no impact if delete.topic.enable is not s...
2020-04-13 22:43:47
1719
原创 kafka.common.KafkaException: Failed to parse the broker info from zookeeper: {"listener_security_pro
报错详情kafka.common.KafkaException: Failed to parse the broker info from zookeeper: {"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://master:9092"],"jmx_port":-1,"hos...
2020-04-13 22:41:09
1080
原创 Error:(21, 8) FlumePushWordCount is already defined as object FlumePushWordCount object FlumePushWor
报错详情Error:(21, 8) FlumePushWordCount is already defined as object FlumePushWordCount object FlumePushWordCount {原因及解决办法：在maven项目中设置了多个source目录，取消掉，只剩一个就可以了，例如我的是同时设置了src目录和scala目录为source目录，取消掉scal...
2020-04-13 22:37:17
726
原创 java.sql.SQLException: No suitable driver found for jdbc:mysql://192.168.235.129:3306/SparkStream
Spark连接mysql报错java.sql.SQLException: No suitable driver found for jdbc:mysql://192.168.235.129:3306/SparkStream原因分析：报错显示找不到mysql驱动解决办法：在maven中添加mysql驱动依赖<!--mysql驱动依赖--><dependency>...
2020-04-13 22:35:16
1272
原创 TypeError: sequence item 0: expected str instance, int found
报错详情原因：list包含数字，不能直接转化成字符串。解决办法： #把列表转换为字符串，即遍历list的元素，把他转化成字符串。print(" ".join('%s' %id for id in a2))...
2020-04-13 22:32:40
448
原创 Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)
把hdfs上的数据导到mysqlExport job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apac...
2020-04-13 22:27:36
3925
3
原创 java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets
运行spark streaming的时候突然报错Exception in thread “streaming-job-executor-0” java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets解析：这里指的是没有找到或者是无法定位到commons-io-2.1.jar当中的Charsets 类，我查看了一下我的mav...
2020-04-13 22:22:55
1002
转载 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission
在windows上运行spark程序，保存数据到hdfs时报错：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=86178, access=WRITE, inode="/":root:superg...
2020-04-11 02:54:05
1769
5
原创 ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger
报错详情 [root@node1 config]# kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181/kafka --replication-factor 1 --partitions 1 --topic kError while executing topic command : Replication...
2020-02-24 11:56:15
3093
原创 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL(Z)V
一、实验环境jdk1.8hadoop2.9.1zookeeper3.4.10flume1.6.0hbase1.2.1二、报错详情2020-02-15 12:32:47,584 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hbase.HBaseSink.process(...
2020-02-24 11:47:15
1222
原创 java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder
实验环境jdk1.8Hadoop2.9.1Zookeeper3.4.10Hbase2.1.1报错如下java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder at org.apache.hadoop.hdfs.DFSClient.<init>(DFSC...
2020-02-24 11:18:56
1915
原创 ping： baidu.com ：Name or service not known
问题描述：配置好静态ip之后，就出现如下问题：ping： baidu.com ：Name or service not known解决办法：1. 查看/etc/resolv.conf/文件，如果里面只有一条注释内容，就在里面添加：nameserver 8.8.8.82. 重启网络service network restart3. 测试是否成功...
2020-02-24 10:48:22
864
原创 -bash unzip command not found
报错：-bash unzip command not found原因分析：没有安装unzip解决办法：yum install unzip -y
2020-02-24 10:43:53
492
原创 flume：(conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks
flume启动失败(conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an error during configura...
2020-02-09 22:58:24
4266
原创 kafka：Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
kafka创建topic失败：[root@node1 config]# kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181/kafka --replication-factor 1 --partitions 1 --topic kError while executing topic command : R...
2020-02-09 22:51:57
602
原创 The auxService:mapreduce_shuffle does not exist
说明：基于Hadoop集群运行java.jar文件时，报The auxService:mapreduce_shuffle does not exist错误，具体报错如下：19/12/29 20:59:42 INFO mapreduce.Job: map 0% reduce 0%19/12/29 20:59:45 INFO mapreduce.Job: Task Id : attempt_15...
2019-12-30 10:18:21
1270
原创 spark中RDD的宽依赖和窄依赖
宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD一般对应父RDD的一个或者多个分区。（与数据规模无关）不会产生shuffle。下面的join也是窄依赖，虽然有两个父RDD，但是两个 RDD中每个分区都被一个子RDD的分区使用，即使父RDD的分区里面的内容并没有让子RDD的一个分区使用。宽依赖指父RDD的多个分区可能被子RDD的一个分区所使用，子RDD分区通常...
2019-12-20 14:45:50
331
原创 -bash ls command not found
&&-bash ls command not found原因：环境变量修改错误导致无法使用任何命令解决方法：在命令行输入：export PATH=/bin:/usr/bin:$PATH命令之后再去修改环境变量。...
2019-12-11 15:12:12
868
原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
用sqoop从MySQL把数据导到hive，报错：19/12/09 02:06:19 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `student` AS t LIMIT 119/12/09 02:06:19 INFO hive.HiveImport: Loading uploaded data into ...
2019-12-09 18:33:12
1173
1
原创 【Hive之Java api连接】
下面是基于hadoop的Hive数据仓库与JavaAPI简单调用的实例，hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI1. CLI，即Shell命令行2. JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似3. WebGUI是通过浏览器访问 Hive本文主要介绍的就是第二种用户接口.一、 首先先列出本文使用的hive的关键的配置信息（ ...
2019-11-28 14:13:58
2077
原创 【java 通过jdbc连接hive库，pom.xml的配置】
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
2019-11-27 20:52:26
1713
原创 Sqoop安装配置
1. sqoop简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存...
2019-11-15 14:17:17
136
原创 【Java】登陆注册
练习：使用集合实现注册登陆功能。做题思路：第一步要 提示用户选择功能，A（注册） B（登陆）；要求： 功能选择的时候要忽略大小写。注册：提示用户输入注册的账号（数字）与密码，如果输入的账号已经存在集合中，要提示用户重新输入。注册完毕之后，把集合中的所有用户信息打印出来。登陆：提示用户输入登陆的账号与密码，如果拥有这个账号与密码的用户存在集合中，就登陆成功，否则登陆失败。代...
2019-11-14 17:00:55
295
原创 【Java】控制流程语句之for循环语句
1. for循环语句的格式： for(初始化语句；判断语句；循环后的语句)2. for循环语句注意事项：1）for(;;)这种写法是一个死循环语句，相当于whie（true）；2）for循环语句的初始化语句只会在第一次循环的时候执行3. 对比一下while和for的用法需求：打印五句hello world1）for循环public class java02之for { ...
2019-11-14 01:43:08
139
原创 【Java】打印直角三角形（for循环）
需求1：在控制台上打印一个倒立的五行五列的直角三角形。代码：class Demo1{ public static void main(String[] args){ for (int i=0;i<5;i++){ // i 控制行数 for (int j=0;j<(5-i);j++){ // j 控制列数 ...
2019-11-14 01:34:53
1955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人