- 博客(14)
- 收藏
- 关注
RSS订阅原创 XShell连接虚拟机失败的问题
这里写自定义目录标题报错内容：Connecting to 192.168.2.111:22…Could not connect to ‘192.168.2.111’ (port 22): Connection failed.
2021-03-30 23:07:05
420
2
原创 测试删除hive表时出错
报错内容：hive (default)> drop table mail;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.IllegalArgumentException: Wrong FS: hdfs://bigdata111:9000/user/hive/external/mail, expected: hdfs
2021-02-24 21:47:21
397
原创 SparkSession中的大坑
报错内容：Make sure that term plans is in your classpath and check for conflicting dependencies with -Ylog-classpath.Error:(52, 15) Symbol 'term org.apache.spark.sql.catalyst.plans' is missing from the classpath.This symbol is required by 'value org.apache.s
2021-02-23 15:23:03
1911
原创 Spark 开发过程中的io.netty冲突问题
io.netty冲突问题下面展示一些 内联代码片。Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultUseCacheForAllThreads()Z at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:120) at org
2021-02-21 21:57:00
1073
原创 Kafka开发中的错误
Kafka开法的错误1：kafka报错内容：WARN clients.NetworkClient: [Consumer clientId=consumer-1, groupId=console-consumer-26747] Connection to node -1 (bigdatacdh1/192.168.1.101:9092) could not be established. Broker may not be available.kafka 的服务可能没有开启，从而导致Broker may
2020-08-21 12:26:07
2275
原创 【工具类】单例+读取配置文件
【工具类】单例+读取配置文件配置文件kafka-server-config.properties#brokerbootstrap.servers = bigdatacdh1:9092,bigdatacdh2:9092,bigdatacdh3:9092#zk.connect = bigdatacdh1:2181,bigdatacdh2,bigdatacdh3:2181#key.serializer = org.apache.kafka.common.serialization.StringDeser
2020-08-20 00:05:02
138
原创 Flume因粗心导致的错误
标题在使用Flume进行ETL过程中，遇到的错误。tail -f flume-cmf-flume-AGENT-bigdatacdh1.log日志报错如下ERROR org.apache.flume.node.PollingPropertiesFileConfigurationProvider: Failed to load configuration data. Exception follows.org.apache.flume.FlumeException: Unable to load so
2020-08-19 18:23:19
981
原创 【大数据】CDH6.3.X安装
CDH6.3.X安装基本设置1.修改网卡信息cd /etc/sysconfig/network-scriptsvim ifcfg-enXXXXXXXa.修改BOOTPROTO=staticONBOOT=yesb.在结尾增加IPADDR=192.168.1.101GATEWAY=192.168.247.2NETMASK=255.255.255.0DNS1=8.8.8.8DNS2=114.114.114.114 修改其他2台主机IP分别为 192.1
2020-08-19 00:56:05
246
原创 【MySQL】MySQL使用入门
MySQL使用入门SQL分类sql语句分为3类：1.DDL（Data Definition Languages）语句：数据定义语言。这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象的定义。常用的语句关键字：create、drop、alter等。【DDL语言是对数据库内部的对象进行创建，删除，修改的操作语言】2.DML（Data Manipulation Language）语句...
2020-08-19 00:33:07
154
原创 【idea的坑】maven仓库与CDH的镜像
总结：大数据CDH依赖问题。镜像下载会出现失败的情况时，使用下面的镜像解决方法：在maven仓库的conf里面修改settings.xml文件<mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name> <url> http://maven.aliyun.com/nexu
2020-08-19 00:32:06
865
原创 【大数据】【kafka】kafka生产者和消费者测试
参考：http://dblab.xmu.edu.cn/blog/1096-2/前提条件:启动zookeeper,kafka.1.启动zookeeper；bin/zkServer.sh start2.启动Kafka；bin/kafka-server-start.sh config/server.properties总结：kafka的topic测试过程需要三步，1.创建topic ；bin/kafka-topics.sh --create --zookeeper localhost:2181 --re
2020-05-21 02:06:22
639
原创 【数据库】修改MySQL密码
无法登录MySQL数据库_______ 安装完MySQL数据库，首次输入密码时，输入的密码错误，导致无法登录。 ! ! !1，更改/etc/my.cnf文件1、首先停止mysql服务进程：service mysqld stop2.编辑mysql的配置文件my.cnfvim /etc/my.cnf3.在/etc/my.cnf：最后一行,输入命令：skip-grant-tables ##忽略mysql权限问题，直接登录:wq ##保存退出。2，
2020-05-17 00:07:07
150
原创 【计算机基础知识】操作系统（进程调度策略+页面置换算法）
进程标题调度策略FCFS（先来先服务，队列实现，非抢占的）：先请求CPU的进程先分配到CPUSJF（最短作业优先调度算法）：平均等待时间最短，但难以知道下一个CPU区间长度优先级调度算法（可以是抢占的，也可以是非抢占的）：优先级越高越优先分配到CPU，相同优先级先到先服务，存在的主要问题是：低优先级进程无穷等待CPU，会导致无穷阻塞或饥饿。解决方案：老化。时间片轮转调度算法（可抢占的）：队...
2020-04-26 19:21:58
465
原创 【大数据】大数据之Hadoop（HDFS文件系统）
HDFS文件系统理解HDFS，它是一个文件系统，全称：Hadoop Distributed File System（分布式文件系统）组成HDFS集群包括：NameNode和DataNode以及Secondary NamenodeNameNode:负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。DataNode: 负责管理用户的文件数据块，每一个数据块都可以在多...
2020-03-14 14:46:01
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人