Arilk_QL-CSDN博客

原创云服务器搭建Hadoop集群DataNode下没有current文件夹

云服务器搭建Hadoop集群DataNode下没有current文件夹搭建过程遇到情况说明：购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP，所以在配置hosts文件的时候本机hostname绑定内网IP，其他hostname绑定公网IP，即：内网IP地址你的hostname公网IP地址其他hostname通俗讲就是：bigdata111配置hostsbigdata111内网IP bigdata111bigdata112公网IP bigdata112

2020-09-19 22:23:29 4276 3

原创 SQL查询学生表最高分及同名同学

给一张学生表，有姓名，分数求：1、最高分同学的名字2、同名同学姓名1、SELECT student.sName FROM student GROUP BY student.sName ORDER BY MAX( student.score ) DESC LIMIT 12、SELECT sName FROM student GROUP BY sName HAVING count( sName ) > 1...

2020-08-11 21:39:17 8131 1

原创 flume实时数据解析

flume开发作用■ 实时解析处理传送过来的数据■ FTP文件备份■ FTP异常文件备份（查错和重跑使用）■ 数据清洗(拦截器)■ 数据标签生成■ 异常数据处理方便检测每天错误数据量。错误数据表里面去■ 推送清洗数据到kafka流程测试文件备份import org.apache.commons.io.FileUtils;import java.io.File;import java.util.List;import static java.io.File.separator

2020-06-04 22:11:40 687

原创 CentOS7搭建CDH5

CentOS7及Cloudera Manager此处省略两万字…………^_^环境要求1.1 内存分配觉得内存大的可以随性 ^_^1.2 本次安装需要的jar包jdk-8u144-linux-x64.tar.gzCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcelCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.shacloudera-manager-centos7-cm5.12.1_x86_64.tar.gzmanifest.json

2020-05-28 23:24:46 229 2

原创 hadoop打包上传报：Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///

hadoop打包上传报：Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file://///1、获取文件系统 Configuration con = new Configuration(); //2、连接集群 con.set("fs.hdfs.impl", "org.apache.had...

2020-01-24 01:52:11 1463

原创 maven-assembly-plugins 解决依赖第三方jar包，并可执行jar的打包

maven-assembly-plugins 解决依赖第三方jar包，并可执行jar的打包pom.xml配置如下：pom.xml配置如下：<build> <resources> <resource> <targetPath>${project.build.directory}...

2020-01-24 01:46:44 2084

原创 Hadoop第一坑：集群搭建只显示一个datanode

搭建hadoop集群时在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件后，启动HDFS和YARN正常！也看不出问题访问主节点主机Ip：50070网站，发现如下问题显示结果只有一个节点。原因是因为bigdata02和03 从节点为bigdata01主节点搭建伪分布式后克隆而来，所以三台机器的data...

2019-08-28 22:36:58 3068 7

原创 mysql查询某一天迟到员工id

mysql查询某一天迟到员工idmysql数据库表查询语句mysql数据库表查询语句SELECT emp_id, emp_name, DATE_FORMAT( punch_time, '%H:%i' ) AS '打卡时间' FROM attendance WHERE DATE_FORMAT( punch_time, '%H:%i' ) > '09:00' AND D...

2019-07-25 09:08:45 1514

weixin_42133437的博客