- 博客(8)
- 收藏
- 关注
原创 云服务器搭建Hadoop集群DataNode下没有current文件夹
云服务器搭建Hadoop集群DataNode下没有current文件夹搭建过程遇到情况说明:购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP,所以在配置hosts文件的时候本机hostname绑定内网IP,其他hostname绑定公网IP,即:内网IP地址 你的hostname公网IP地址 其他hostname通俗讲就是:bigdata111配置hostsbigdata111内网IP bigdata111bigdata112公网IP bigdata112
2020-09-19 22:23:29
4276
3
原创 SQL查询学生表最高分及同名同学
给一张学生表,有姓名,分数求:1、最高分同学的名字2、同名同学姓名1、SELECT student.sName FROM student GROUP BY student.sName ORDER BY MAX( student.score ) DESC LIMIT 12、SELECT sName FROM student GROUP BY sName HAVING count( sName ) > 1...
2020-08-11 21:39:17
8131
1
原创 flume实时数据解析
flume开发作用■ 实时解析处理传送过来的数据■ FTP文件备份■ FTP异常文件备份(查错和重跑使用)■ 数据清洗(拦截器)■ 数据标签生成■ 异常数据处理方便检测每天错误数据量。错误数据表里面去■ 推送清洗数据到kafka流程测试文件备份import org.apache.commons.io.FileUtils;import java.io.File;import java.util.List;import static java.io.File.separator
2020-06-04 22:11:40
687
原创 CentOS7搭建CDH5
CentOS7及Cloudera Manager此处省略两万字…………^_^环境要求1.1 内存分配觉得内存大的可以随性 ^_^1.2 本次安装需要的jar包jdk-8u144-linux-x64.tar.gzCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcelCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.shacloudera-manager-centos7-cm5.12.1_x86_64.tar.gzmanifest.json
2020-05-28 23:24:46
229
2
原创 hadoop打包上传报:Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///
hadoop打包上传报:Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file://///1、获取文件系统 Configuration con = new Configuration(); //2、连接集群 con.set("fs.hdfs.impl", "org.apache.had...
2020-01-24 01:52:11
1463
原创 maven-assembly-plugins 解决依赖第三方jar包,并可执行jar的打包
maven-assembly-plugins 解决依赖第三方jar包,并可执行jar的打包pom.xml配置如下:pom.xml配置如下:<build> <resources> <resource> <targetPath>${project.build.directory}...
2020-01-24 01:46:44
2084
原创 Hadoop第一坑:集群搭建只显示一个datanode
搭建hadoop集群时在主节点主机下,配置好hadoop,yarn,mapred三个env文件以及site文件和salves文件后,启动HDFS和YARN正常!也看不出问题访问主节点主机Ip:50070网站,发现如下问题显示结果只有一个节点。原因是因为bigdata02和03 从节点为bigdata01主节点搭建伪分布式后克隆而来,所以三台机器的data...
2019-08-28 22:36:58
3068
7
原创 mysql查询某一天迟到员工id
mysql查询某一天迟到员工idmysql数据库表查询语句mysql数据库表查询语句SELECT emp_id, emp_name, DATE_FORMAT( punch_time, '%H:%i' ) AS '打卡时间' FROM attendance WHERE DATE_FORMAT( punch_time, '%H:%i' ) > '09:00' AND D...
2019-07-25 09:08:45
1514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人