今天也要学习呐-CSDN博客

原创大数据纠错笔记

在切分数据时，用“|”无法分割问题：上图这样是不行的，得转义：

2021-11-30 15:14:36 1050 1

-->只是为了自己方便所做的一些记录，仅供参考，欢迎指正<--启动脚本：#! /bin/bashcase $1 in"start")nohup flume-ng agent --conf /opt/installs/flume1.9/conf --name a1 --conf-file /opt/installs/flume1.9/job/mall2.conf >/opt/installs/flume1.9/out2.txt 2>&1 &;;"s.

2021-11-11 14:43:45 1863

原创好用宝藏网站

Sqoop（四）增量导入、全量导入、减量导入 - xiaolaotou - 博客园

2021-11-03 09:04:50 121

原创 SQL函数总结

函数名及使用函数求和 sum() A为空值返回B，A不为空值返回A NVL（表达式A，表达式B）

2021-10-27 10:45:24 83

原创大数据各种软件，命令，端口号

端口号：9870hadoop8088 yarn16010 hbase19888 jobhistory3306 mysql9092 kafka2181 zookeeper6379 redis4040 spark8081 azkaban启动关闭命令：start-dfs.sh >stop-dfs.sh >sta...

2021-10-19 20:20:53 270

原创在把数据从kafka写入sql时引发的莫名其妙的错误

今天在把数据从kafka写入sql时莫名写不进去，代码没有任何问题，找了很久的错误，在交换依赖的顺序后竟然奇迹般成功了，写篇文章提醒自己，今后先加重要依赖，再加辅助依赖以下为正确的依赖顺序：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins.

2021-10-19 11:18:00 179 2

原创 scala中得出time的一些方法

1.date与字符串间的转换val str = "2021/10/18 20:00"val sdf = new SimpleDateFormat("yyyy/MM/dd HH:mm") //和str的格式保持一致val date:Date = sdf.parse(str) //parse将字符串转换成dateval sdf2 = new SimpleDateFormat("yyyy/MM/dd")val str2 = sdf2.format(date) //format将date转换成字符串

2021-10-18 20:12:22 400

原创大数据纠错笔记——数据写入kafka

这里选择用JAVA代码实现将数据写入kafka：package work;import org.apache.commons.lang3.StringUtils;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerRecord;

2021-10-18 14:43:02 227

原创用JAVA写个简单的员工信息系统吧

闲来无事写个员工信息系统。连接的My SQL数据库，其中需要导一些jar包，大家自行百度maven repository下载吧~接下来上代码，有问题可以评论区讨论：test（测试）类：package empmanager.test;import empmanager.dao.EmpDao;import empmanager.dao.impl.EmpDaoImpl;import empmanager.model.Emp;import org.junit.Test;import

2021-07-06 10:28:24 798 1

原创用JAVA写个飞机小游戏玩玩吧

闲来无事写了个飞机小游戏。设定很简单，子弹打到飞机就结束游戏。实现步骤如下，有问题可以评论区讨论：首先建立一个PlayGame项目和它之下的包：MyGameFrame（游戏实现）类：package game;import javax.swing.*;import java.awt.*;import java.awt.event.KeyAdapter;import java.awt.event.KeyEvent;import java.awt.event.WindowAd

2021-07-05 15:47:31 237 4

原创万万的JAVA学习笔记01

前言写这一系列文章的初心是希望可以记录自己学习JAVA的过程，在CSDN平台与其他学习者分享自己的学习经验，也方便自己今后复习回顾所学知识。第一次在网上写博客，若有错误和不足，请读者们在评论区指出，我将采纳意见，加以改正。PS：具体操作步骤我都会用粗体进行加粗，未加粗字体一般是自己的理解以及查阅得来的资料。第一节 Java安装及配置环境JAVA之父为James Gosling，1995年美国Sun公司推出了JAVA程序语言，但2009年Sun公司被甲骨文公司收购，因此现在在下载时，我们可以.

2021-05-10 13:39:20 99 2