大数据
今天也要学习呐
加油程序媛
展开
-
大数据纠错笔记
在切分数据时,用“|”无法分割问题:上图这样是不行的,得转义:原创 2021-11-30 15:14:36 · 1054 阅读 · 1 评论 -
大数据一些启动脚本和采集脚本
-->只是为了自己方便所做的一些记录,仅供参考,欢迎指正<--启动脚本:#! /bin/bashcase $1 in"start")nohup flume-ng agent --conf /opt/installs/flume1.9/conf --name a1 --conf-file /opt/installs/flume1.9/job/mall2.conf >/opt/installs/flume1.9/out2.txt 2>&1 &;;"s.原创 2021-11-11 14:43:45 · 1871 阅读 · 0 评论 -
好用宝藏网站
Sqoop(四)增量导入、全量导入、减量导入 - xiaolaotou - 博客园原创 2021-11-03 09:04:50 · 126 阅读 · 0 评论 -
SQL函数总结
函数名及使用 函数 求和 sum() A为空值返回B,A不为空值返回A NVL(表达式A,表达式B)原创 2021-10-27 10:45:24 · 88 阅读 · 0 评论 -
大数据各种软件,命令,端口号
端口号:9870hadoop8088 yarn16010 hbase19888 jobhistory3306 mysql9092 kafka2181 zookeeper6379 redis4040 spark8081 azkaban启动关闭命令:start-dfs.sh >stop-dfs.sh >sta...原创 2021-10-19 20:20:53 · 280 阅读 · 0 评论 -
在把数据从kafka写入sql时引发的莫名其妙的错误
今天在把数据从kafka写入sql时莫名写不进去,代码没有任何问题,找了很久的错误,在交换依赖的顺序后竟然奇迹般成功了,写篇文章提醒自己,今后先加重要依赖,再加辅助依赖以下为正确的依赖顺序:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins.原创 2021-10-19 11:18:00 · 186 阅读 · 2 评论 -
scala中得出time的一些方法
1.date与字符串间的转换val str = "2021/10/18 20:00"val sdf = new SimpleDateFormat("yyyy/MM/dd HH:mm") //和str的格式保持一致val date:Date = sdf.parse(str) //parse将字符串转换成dateval sdf2 = new SimpleDateFormat("yyyy/MM/dd")val str2 = sdf2.format(date) //format将date转换成字符串原创 2021-10-18 20:12:22 · 409 阅读 · 0 评论 -
大数据纠错笔记——数据写入kafka
这里选择用JAVA代码实现将数据写入kafka:package work;import org.apache.commons.lang3.StringUtils;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerRecord;原创 2021-10-18 14:43:02 · 237 阅读 · 0 评论