![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Java
东东的学习笔记666
保持学习。
展开
-
windows上后台启动jar包脚本记录
启动脚本原创 2022-08-24 15:25:25 · 373 阅读 · 0 评论 -
HDP聚合日志解析内容-ifile和tfile
解析hdfs上的聚合日志, 共4个类, 打包后上传到服务器, 将hdfs上的日志文件下载到本地, 使用命令java -jar 包名 日志路径名效果图:代码:package YarnLogFileReader;import org.apache.commons.lang3.SerializationUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;im原创 2021-11-08 00:46:44 · 1886 阅读 · 0 评论 -
阿里云Maven仓库完整版
阿里云Maven仓库完整版<?xml version="1.0" encoding="UTF-8"?><!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copy原创 2021-10-02 10:46:10 · 1923 阅读 · 1 评论 -
Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds
org.apache.kafka.common.errors.TimeoutException: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds while awaiting InitProducerId今天kafka集群坏了一块硬盘,导致flink疯狂重启, 找到报错如下:org.apache.kafka.common.errors.TimeoutException: o原创 2021-05-17 18:41:47 · 7538 阅读 · 0 评论 -
MapReduce排序问题
排序是MapReduce的灵魂,MapReduce在Map和Reduce的两个阶段当中,都在反复地执行排序。在MapReduce中有两种排序方式,分别是快速排序和归并排序——快速排序:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有数据都要小,然后再按此方法对这两部分数据分别进行快速排序,整个排序过程可以递归进行,以此达到整个数据变成有序序列。归并排序:归并排序(MERGE-SORT)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and原创 2021-05-06 12:48:46 · 822 阅读 · 1 评论 -
Hadoop多路径输入输出
需求描述当我们得意于 MapReduce 从一个数据输入目录,把数据经过程序处理之后输出到另一个目录时。可能你正在错过一些更好的方案,因为 MapReduce 是支持多路径的输入与输出的。比如,你一个项目中的多个 Job 产生了多个输出路径,后面又需要另一个 Job 去处理这些不路径下的数据。你要怎么办?暂停程序后,手动处理?设计思路写了这么多的 MapReudce 的程序,我想你一定已经了解了 MapReduce 是如何将输入的数据加载到程序中进行计算的了。一般情况下,我们是通过 FileInp翻译 2021-05-06 02:29:11 · 483 阅读 · 0 评论 -
hadoop异常:java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:197)解决方法:序列文件的问题,最后结尾的时候没有关闭write(),导致生成的序列文件有问题其实不是这个原因, 根本原因是mapper输出的数据没有序列化。是否使用了TEXT, 改成其它的bean,序列化一下就好了...原创 2021-05-05 03:17:52 · 672 阅读 · 0 评论 -
Maxcompute分区表操作
1.创建分区表create table aaa(id bigint,name string) partitioned by (address string);2.创建分区字段alter table aaa add if not exists partition (address = ‘fujian’);3.向分区表里插入数据insert into aaa partition(address = ‘fujian’) values(1,‘xxd’);4.查询分区表数据select * from a原创 2020-08-13 15:23:10 · 1479 阅读 · 0 评论 -
Java集合框架总结
Java集合框架总结Java基础中的集合框架(ArrarList/HashMap/concurrentHashMap等)。java集合Java基础中的集合框架(ArrarList/HashMap/concurrentHashMap等)。原创 2020-07-15 16:39:56 · 129 阅读 · 0 评论 -
记录docker部署rocketmq
docker部署rocketmq搜索RocketMQ的镜像,可以通过docker的hub.docker.com上进行搜索,也可以在Linux下通过docker的search命令进行搜索,不过最近防火墙升级后,导致国外的网站打开都很慢,通过命令搜索反而会更加方便,操作Docker命令一定要是root用户或者具有root权限的用户。查询操作如下:docker search rocketmq可以得到如下的结果:镜像倒是蛮多的,不过看来看去没有一个是官方发布的,我就随便选一个吧,如foxiswho/ro原创 2020-07-04 17:57:32 · 477 阅读 · 0 评论 -
ELK总结
文章目录1、 ELK 简介2、 Elastic Stack3、 安装部署3.1 ElasticSearch安装3.2 Kibana安装3.3 Elasticsearch-head 安装安装 gruntinstallGruntfile.js修改配置3.4 Logstash 安装3.5 Filebeat安装4.1栗子nginx日志Grok 模式1、 ELK 简介ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其原创 2020-06-23 11:00:03 · 740 阅读 · 1 评论 -
CentOS7上Mongodb安装与远程连接
CentOS7上Mongodb安装与远程连接安装wget下载命令wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.2.10.tgz下载完解压tar -zxvf mongodb-linux-x86_64-rhel62-3.2.10.tgz可选:将解压的文件夹放到/usr/local下(我的习惯),命mv mongodb-linux-x86_64-rhel62-3.2.10 /usr/local进入到mongodb原创 2020-05-28 16:59:20 · 545 阅读 · 0 评论 -
nginx路径匹配踩坑
nginx路径匹配踩坑页面403 Forbidden errors原因: 权限问题,查看日志:*1 open() “/root/a.jpg” failed (13: Permission denied)解决:nginx.conf 中加入user root;页面 404 Not Found原因: 这里我用的正则匹配, 表达式是location ~ .(gif|jpg|png|js|css)$匹配任意的以gif、jpg、png、js、css结尾的路径,我输入的地址是: ip:端口/原创 2020-05-20 23:48:21 · 2413 阅读 · 2 评论 -
将springboot项目打成jar包fastdfs初始化无法读取到配置文件问题
原因是打成java后路径变了解决方法: Properties pps = new Properties(); // 斜杠一定要,表示从当前本件的classpath开始读取 InputStream stream = FastDFSClient.class.getResourceAsStream("/fdfs_client.conf"); StringBuilder sb = new StringBuilder();原创 2020-05-18 11:02:14 · 984 阅读 · 0 评论 -
Jenkins部署在码云上的SpringBoot项目
Jenkins部署在码云上的SpringBoot项目介绍Jenkins 是一个开源软件项目,是基于 Java 开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。其实通俗来说,Jenkins 就是一个自动化部署项目的工具,提交代码就能自动部署项目,省去重复的运维工作。JDK Maven Git安装jdk maven省略…Git安装参考Git环境变量添加参考环境相关命令(回头查看用)vim /etc/profilesource /原创 2020-05-11 16:50:46 · 252 阅读 · 0 评论 -
Webmagic爬虫学习笔记
官方文档暂时了解的内容webmagic是参考Scrapy,实现由HttpClient,Jsoup等。组件:Downloader、pageProcessor、Scheduler、Pipeline组件合并完成多线程的任务。以实现对爬虫的功能进行定制。Scheduler: 1. 对待抓取的URL队列进行管理 2. 对已抓取的URL进行去重核心:...原创 2020-04-27 17:26:05 · 219 阅读 · 0 评论 -
阿里云文本反垃圾检测接口调用
阿里云文档开发准备文档调用阿里云文本反垃圾检测接口时报detect not success. code:596这里是由于没有授权。正确的创建过程:复制ID和密码编程访问打勾返回用户列表页时,点击授权,权限为AliyunYundunGreenWebFullAccessJava代码import com.alibaba.fastjson.JSON;import com.ali...原创 2020-04-22 16:11:27 · 2093 阅读 · 0 评论 -
Spring Cloud Alibaba Nacos Config 异常记录
java.net.ConnectException: [NACOS HTTP-POST] The maximum number of tolerable server reconnection errors has been reached at com.alibaba.nacos.client.config.http.ServerHttpAgent.httpPost(ServerHttpAge...原创 2020-04-13 11:00:39 · 24610 阅读 · 5 评论 -
支付宝第三方登录接口调用
支付宝第三方登录接口调用这个参考的是支付宝开放平台, 跟着文档一步步做, 可以做出来, 但是有个问题, 就是对新手来说文档不太容易读懂。我是调用过一次支付宝的支付接口,所以上手比较快。这里再做个记录,也给暂时不会的人铺个路。...原创 2020-03-30 17:47:07 · 11409 阅读 · 0 评论 -
docker常用命令总结
docker常用命令扯一句: docker可以看作是小型的Linux, 启动快、 方便, 由go语言开发。docker pull hello-world # 从远程仓库拉取一个入门镜像, 不写TAG默认是latest, 以下都是了docker images # 查看拉取的镜像docker tag hello-world xxd_hello_world:1.0 #给镜像打个标签注: ...原创 2019-11-08 17:44:54 · 1158 阅读 · 0 评论 -
rocketmq安装时内存溢出
rocketmq安装时内存溢出按照rocketmq官方文档安装,出现问题: Java HotSpot™ 64- Bit Server VM warning: INFO: os: commit memory 000000.00.0000 8589934592,0) failed; error= Cannot allocate memory’ (errno=12)此时调整runserver.s...原创 2019-10-21 15:49:30 · 719 阅读 · 0 评论 -
Java 日志系统总结
Java 日志系统总结常见日志系统与jar包关系如下图:Apache Commons Logging(JCL)Apache Commons Logging(JCL),即commons logging包, 其中包含Log4J、Avalon LogKit、JUL等几种日志, 对它们进行了封装。 commons logging运用了动态查找日志框架的方式使用日志框架。代码如下:程序运行时,c...原创 2019-10-15 17:49:54 · 226 阅读 · 0 评论 -
Jedis连接Redis报错: Could not get a resource from the pool
Jedis连接Redis报错: Could not get a resource from the pool最近在网上copy了一份Redis工具类以及配置相关配置, junit一下报错Could not get a resource from the pool, 以下是配置。开始找原因, 这里写几行代码作测试使用,如下运行报错意思是我的服务器上redis没有密码,但我代码中的配置...原创 2019-09-27 11:35:25 · 618 阅读 · 2 评论 -
mysql5.7报错Access denied for user 'root'@'xxxx.xxxx.xxxx.xxxx'(using password NO)
安装完mysql5.7后用navicat连接报错如下解决方法: 需要修改一下mysql库中user表里的root是密码。使用命令:vi /etc/my.cnf #在mysqld模块下添加在mysqld中添加后保存退出, 重启Mysql服务skip-grant-tablessystemctl restart mysqld #重启服务命令登录mysqlmysql使用mysql库u...原创 2019-09-20 15:18:35 · 929 阅读 · 0 评论 -
xxl-job简单使用踩坑
xxl-job简单使用踩坑xxl-job是一个任务调度框架,使用起来比较简单(现在觉得。。)。在官网学习时踩了几个坑, 这里做一下记录。遇到的问题一开始自己搭建xxl-job框架时, 将springboot的@SpringBootApplication标注的类写在了包外面(src下), 然后就扫不到组件了,导致程序就, 开始了吗? 已经结束了。解决方法:将标注的类移到包里。。(对...原创 2019-08-27 11:37:33 · 20569 阅读 · 2 评论