- 博客(38)
- 收藏
- 关注
RSS订阅原创 2021-03-29
添加链接描述去看这个链接的评论，有解决方案：我刚试了下按着win键去点击启动，结果进去了，你们也可以先试试这种方式，我想这种方式应该是给他管理员权限
2021-03-29 08:11:25
102
原创 Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: java.net.ConnectExcepti
添加链接描述
2021-03-28 10:42:15
1699
原创 “main“ org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0
“main” org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.添加链接描述
2021-03-28 10:33:44
308
原创 User: atguigu is not allowed to impersonate atguigu
一、如果是root外用户，可能存在权限问题，解决方法如下：在core-site.xml下<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property><property> <name>hadoop.proxyuser.hadoop.groups</name> &l
2021-03-28 10:21:08
1690
3
原创 Container exited with a non-zero exit code 143
Container killed on request. Exit code is 143[2021-03-28 09:34:25.568]Container exited with a non-zero exit code 1431.不靠谱的方式：多运行几遍代码。巧了就不会遇到这个问题了2.靠谱的方式：在yarn-site.xml中添加如下配置信息，然后重启yarn<property><description>Whether virtual memory limits
2021-03-28 09:46:38
6737
3
原创 (23000): Duplicate entry ‘%-root‘ for key ‘PRIMARY‘
如果执行update语句时出现ERROR 1062 (23000): Duplicate entry ‘%-root’ for key ‘PRIMARY’ 错误，说明有多个ROOT用户纪录在USER表中了.需要select host from user where user = ‘root’;查看一下host是否已经有了%这个值，有了就可以了.mysql> select host,user from user where user=‘root’;±----------------------±
2021-03-28 08:58:04
3941
1
原创 Access denied for user ‘root‘@‘hadoop102‘ (using password: YES)
将hive的元数据存放数据库由derby改为Mysql后启动时，报错信息如下Caused by: java.sql.SQLException: Access denied for user ‘root’@‘hadoop102’ (using password: YES)该错误信息为权限问题或者密码问题首先查看是否为密码问题，如果不是，一般即为权限问题。查询用户所拥有的访问权限信息的命令如下：mysql >select host,user,password from mysql.user;
2021-03-26 20:47:28
2219
原创 仓库 “CentOS-6 - Updates - mirrors.aliyun.com“ 的 GPG 密钥已安装，但是不适用于此软件包。请检查仓库的公钥 URL 是否配置正确。
添加链接描述
2021-03-25 16:32:34
1894
原创 解决执行MapReduce代码是报如下错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class cn.itcast.mapreduce.WordCountMapper not found错因：1.忘记导入jar 包路径https://blog.csdn.net/qq_43382641/article/details/1071593642.导包错误添加链接描述3.解决问题最根本的方案，还是看自己的log日志信息...
2021-03-20 14:54:03
2823
原创 Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.Connec
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;2021-03-20 08:41:20,294 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032java.net.ConnectException: Cal
2021-03-20 09:01:52
10761
7
原创 java.net.URISyntaxException: Illegal character in opaque part at index 2:
添加链接描述
2021-03-16 14:25:16
4384
1
原创 MapReduce 开发总结-尚硅谷
1）输入数据接口：InputFormat（1）默认使用的实现类是：TextInputFormat（2）TextInputFormat 的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为 value 返回。（3）CombineTextInputFormat 可以把多个小文件合并成一个切片处理，提高处理效率。2）逻辑处理接口：Mapper用户根据业务需求实现其中三个方法：map() setup() cleanup ()3）Partitioner 分区（1）有默认实现 Ha
2021-03-16 12:33:55
168
原创 MapReduce阶段常见错误及解决方案
1）导包容易出错。尤其 Text 和 CombineTextInputFormat。 2）Mapper 中第一个输入的参数必须是 LongWritable 或者 NullWritable，不可以是 IntWritable.报的错误是类型转换异常。3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4)，说明 Partition和 ReduceTask 个数没对上，调整 ReduceTask 个数。
2021-03-16 12:28:36
1226
原创 log4j.properties 尚硅谷hadoop3.x maven下 log4j的配置文件内容
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.Fi
2021-03-13 20:43:45
497
1
原创 尚硅谷IDEA常用快捷键-宋红康
1 执行(run) alt+r2 提示补全 (Class Name Completion) alt+/3 单行注释 ctrl + /4 多行注释 ctrl + shift + /5 向下复制一行 (Duplicate Lines) ctrl+alt+down6 删除一行或选中行 (delete line) ctrl+d7 向下移动行(move statement down) alt+down8 向上移动行(move statement up) alt+up9 向下开始新的一行(start n
2021-03-13 14:40:17
990
原创 HDFS 的 Shell 操作
1.1基本语法hadoop fs 具体命令 or hdfs dfs 具体命令（两个完全一样）1.2命令大全[atguigu@hadoop102 current]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp
2021-03-13 14:36:53
163
原创 运用线性回归的思想建立怀孕是否与患糖尿病之间的联系-机器学习
Python机器学习 第三章第4题据美国疾病预防中心数据显示，美国约1/7的成年人患有糖尿病…#!/usr/bin/python# -*- coding: utf-8 -*-import matplotlib.pyplot as pltimport numpy as npfrom sklearn import datasets, linear_model# Load the diabetes dataset 加载糖尿病的数据集diabetes = datasets.load_diabet
2021-03-12 19:40:18
516
1
原创 Hadoop 集群启停脚本
#!/bin/bashif [ $# -lt 1 ]then echo "No Args Input..." exit ;ficase $1 in"start") echo " =================== 启动 hadoop 集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.
2021-03-12 17:20:36
349
原创 循环复制文件到所有节点的相同目录下 xsync
hadoop 集群 自动分发同步脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo ==================== $host ==================== #3. 遍历所有目录，挨个发送 for file in $@ do #4. 判
2021-03-12 17:19:27
141
原创 非root权限下同时关闭多台虚拟机的shell脚本
#!/bin/bashif [ $# -lt 1]then echo "No Args Input..." exit;ficase $1 in"shutdown") echo "==================关机=================" for host in hadoop104 hadoop103 hadoop102 do echo "=============== $host =============" ssh $host "sudo shutdo
2021-03-12 17:10:18
236
原创 No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in t
问题：No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format : or :[:]:. Available lifecycle phases are: validate, initialize,解决方案：pom.xml(鼠标右键)Run As -> Maven build…->如下图...
2021-03-03 21:17:36
1504
1
原创 Failed to execute goal on project MakeFrientds: Could not resolve dependencies for project com.atgui
问题：Failed to execute goal on project MakeFrientds: Could not resolve dependencies for project com.atguigu.maven:MakeFrientds:jar:0.0.1-SNAPSHOT: Could not find artifact com.atguigu.maven:HelloFriend:jar:0.0.1-SNAPSHOT ->解决方案：由 Could not find artifact
2021-03-03 21:11:07
231
1
原创 XML配置STS(编写Spring配置文件时，标签无自动提示符解决)
在框中加入：qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM
2021-03-03 20:46:19
168
1
原创 springboot问题Description Resource Path Location Type Java compiler level does not match the version o
添加链接描述
2021-03-03 19:22:33
154
1
原创 Invalid project description. OK C:\eclipse-workspace overlaps the workspace location
添加链接描述
2021-03-03 18:54:14
327
2
原创 Description Resource Path Location Type Java compiler level does not match the version of the instal
添加链接描述
2021-03-01 23:35:54
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人