2020年02月_杨鑫newlfe

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创深入浅出 Otter与Canal

第一、Otter基于数据库增量日志解析，准实时同步到本机房或异地机房的Mysql/Oralce数据库，一个分布式数据库同步系统；基本工作原理图如下：基于Canal开源产品，获取数据库增量日志数据；典型管理系统架构，manager(WEB 管理) + node(工作节点) manager运行时推送同步配置到node节点； ...

2020-02-28 20:54:20 3078

原创 Linux Shell实现判断文件大小并清空文件内容

这里我设置的阈值是10G（可以自行修改）#!/bin/bashif [ `/bin/ls -lt /xxxx/canal.log | head -1 | /bin/awk '{print $5}'` -gt $((1024*1024*10)) ]then echo > /xxxx/canal.logfils *.log | xargs -I x -n 1 sh -c ...

2020-02-27 17:55:32 1793

原创 Linux清空目录下多个文件

ls /data_file/*.log | xargs -I x -n 1 sh -c "echo > x"

2020-02-27 17:52:46 1067

原创 grep搜索文件内容和grep搜索.gz压缩文件的内容

这里我们以搜索8723183为例 grep搜索压缩文件的内容 gzip -dc ./文件名.gz | grep “8723183” grep模糊搜索 gzip -dc ./*.gz | grep “8723183” 搜索非压缩文件 grep -rin “8723183” ./文件名.log...

2020-02-26 16:17:15 19488 1

原创 Linux下Centos查看文件的前几行和最后几行

可以使用head（查看前几行）、tail（查看末尾几行）两个命令。例如：查看/etc/profile的前10行内容，应该是：# head -n 10 /etc/profile查看/etc/profile的最后5行内容，应该是：# tail -n 5 /etc/profile如果想同时查看可以将前10行和后5行的显示信息通过输出重定向的方法保存到一个文档，这样查看文档即可一目了然。例...

2020-02-26 14:52:15 3956

原创 Java实现MapReduce处理离线日志文件

Main函数这里的四个传入参数分别为日志文件路径输出数据路径（HDFS）表名产品名称 package xxxxx;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritabl...

2020-02-25 21:29:11 400

原创大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发

阿里巴巴的数据计算层包含两大体系：数据存储以及计算平台离线计算平台MaxCompute 实时计算平台StreamCompute 数据整合以及管理平台 OneData 研发岗位的大致包括为：了解需求模型设计 ETL开发测试发布上线 ...

2020-02-23 01:49:01 619

原创 JAVA线程学习（二）

共两个类：第一个：package com;//军队线程//模拟作战双方的行为public class ArmyRunnable implements Runnable {//volatile保证了线程可以正确的读取其他线程写入的值//可见性volatile boolean keepRunning = true;@Overridep

2020-02-21 16:10:52 1225

原创 Mac 中使用 iterm2 上传下载文件

配置rz、szbrew install lrzsz //可能会因为网络原因无法安装下载iterm2-zmodem,可以按下面的方式在线下载，也可以到https://github.com/mmastrac/iterm2-zmodem下载cd /usr/local/binwget https://raw.github.com/mmastrac/iterm2-zmode...

2020-02-21 16:09:30 2150

原创 Python实现接收企业微信接收消息

想接收企业微信的消息，首先得开启验证信息API（GET请求）以及接收消息服务（POST请求）。GET的请求参考：企业微信验证接口API第一部分解析POST请求：并且解析msg_signature, time, nonce和消息体数据Body（如下代码中POST的部分）@app.route('/blackcat/v1/receive_task', methods=['POST',...

2020-02-19 17:02:25 9780 4

原创 Error: java.io.IOException: SQLException in nextKeyValue&SELECT command denied to user 'xxxxx'@'xxxx

报错信息如下：Error: java.io.IOException: SQLException in nextKeyValueat org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)at org.apache.hadoop.mapred.MapTask$NewTr...

2020-02-11 23:17:58 2597