自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(83)
  • 资源 (5)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Linux文件操作高频使用命令

文章目录0.新建操作:1.查看操作2.删除操作3.复制操作4.移动操作:5.重命名操作:6.解压压缩操作0.新建操作:mkdir abc #新建一个文件夹touch abc.sh #新建一个文件1.查看操作查看目录:ll #显示目录文件详细信息查看文件内容:cat|head|tail命令cat abc.txt #查看abc的内容head -5 abc.txt #...

2019-08-28 16:47:38 175750 40

原创 Linux文件权限管理

序言:本篇主要讨论以下内容:Linux中文件权限文件的授权用户组文件权限ls -lh //可以查看目录详情,包括内存占用大小drwxr-xr-x 2 root root 21 Jun 19 17:51 fileIotServer-rw-r--r-- 1 root root 63M Jun 19 18:48 iotserver-0.0.1.jar-rw-r--r-- 1 r...

2019-06-22 17:50:25 7769

原创 2020让我慢下来

文章目录按下暂停深度思考一面镜子未来可期按下暂停​  我们这个时代,我们时常听到有人说自己“焦虑”,包括我自己。我害怕错过任何一个信息,手机二十四小时不离身。生活节奏快的令人窒息,以至我很少能够停下来深度思考一些事情,好像大家都在马不停蹄的往前飞奔,于是我也被裹挟进人群一起向前。​  但是深度反思的时刻,往往不期而遇,会突如其来。2020年春天的这一个月里,因为疫情,我们的社会好像突然“停摆”了,很多人会进入或者接近那种深度反思的时刻,就是跟平时忙忙碌碌的节奏拉开了距离,来思考我们忙碌的这一切到底是为

2020-12-24 18:02:07 19

原创 动态规划算法思考

文章目录从背包问题说起暴力求解动态规划求解问题升级问题补充动态规划解题思路基本特征求解思路算法练习目录杨辉三角硬币找零八皇后问题棋盘走位最长子序列其他资料从背包问题说起背包问题是一个非常经典的算法问题,它有多种版本,这里我先描述一种简单的:有一个背包,它能装的最大物品重量是 capacity, 有若干物品 ,重量分别不等(物品无法切分)。问:背包中能装入的最大重量是多少?这是一个0-1背包问题,即物品要么选择装入,要么选择不装入,不能装物品的一部分。暴力求解因为每种物品有放入、或不放入两种

2020-12-24 15:53:06 26

原创 map-reduce job执行过程和优化

文章目录提交 job到Yarn的流程Map-Reduce过程详解和优化通用优化常用优化参数列表本文将梳理一个MapReduce任务详细的执行过程,并通过图解的方式,说明中间我们可控的部分和常用的优化手段。提交 job到Yarn的流程在Hadoop1.x中map-reduce job通过job traker执行,多个任务便会有多个job traker。job traker 负责资源分配,任务执行状态的监控等等。它做了所有的事情,所以不利于扩展,并且job traker存在单点故障,一旦job trake

2020-11-20 16:45:14 46

原创 scala环境集成

文章目录scala和java的区别。scala环境搭建scala和java的区别。scala的基础是java,其作者也是java编译器的核心开发者。scala 在保留部分java语法的基础上,有自己特有的语法和类库,同时对部分java语法做了封装,让其更加简洁。所以scala 环境必须要有jdk。 下面通过一张图,说明scala和java的对比:可以看到scala 代码会调用 jdk 和 Scala SDK ,而scala SDK 封装了部分jkd库,所以依赖jdk。最终都会运行在JVM上。scal

2020-10-21 16:31:11 29

原创 Zookeeper笔记

文章目录什么是zookeeperzookeeper内部原理选举机制:节点类型:Stat结构体:监听器原理zookeeper使用本地模式安装分布式安装部署客户端命令什么是zookeeperzookeeper是一个分布式协调系统,它保存集群中大家关心的数据,通过观察者模式让各个节点了解这些数据。(比如配置文件,节点的在线情况,统一命名,负载均衡)zookeeper内部原理选举机制:1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。2)Zookeeper虽然在

2020-10-15 07:53:31 26

原创 Flume自定义组件(上篇)

文章目录Flume事务自定义拦截器自定义Source自定义sink在聊自定义组件前,先了解下Flume的事务。Flume事务自定义拦截器案例: 自定义拦截器,将不同内容发往不同Channel,然后分发到不同的分析系统Flume2 和Flume3。1.创建一个 maven 项目,并引入以下依赖。<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-cor

2020-09-30 16:03:11 35

原创 Flume常用拓扑结构

文章目录多个Flume串联多个Flume聚合复制和多路复用负载均衡和故障转移Flume 支持下面几种方式读取日志流数据:AvroThriftSyslogNetcatAvro source和Avro sink 对Flume灵活的拓扑结构至关重要。Avro source : 可以接受Avro Client 发送的 事件,或者Avro sink发送的事件。Avro Source被设计为高扩展的RPC服务器端,能从其他的Flume Agent的Avro Sink或者使用Flume的SDK发

2020-09-29 15:40:48 22

原创 Flume常用组件示例

文章目录安装定义监听端口数据写事件到控制台案例监控单个追加日志文件监控某个文件夹的新文件断点续传文件安装1) Flume 官网地址http://flume.apache.org/2)文档查看地址http://flume.apache.org/FlumeUserGuide.html3)下载地址http://archive.apache.org/dist/flume/第一步:apache-flume-1.7.0-bin.tar.gz 上传到 linux 并解压到/opt/目录第二步:将 flu

2020-09-29 15:34:32 29

原创 Hadoop排序算法笔记

文章目录归并排序代码实现:递归复杂度分析:是否是稳定算法:应用场景快排代码实现:递归复杂度分析是否是稳定排序:应用场景思考一堆排序概念:堆代码实现堆排序排序动态演示Hadoop的MapReduce阶段用到很多排序算法,这里总结做个记录。归并排序把一个要排序的数组,分为两部分,然后分别排序,最后将两个有序的集合再合并。而分开的两部分,可以采用同样的方法继续分解。这是一种典型的分治思想。代码实现:递归public class MergeSort{ //对数组a[p,r]区间的数进行排序

2020-09-28 11:00:25 24

原创 Hadoop乱码引发的思考

文章目录Reducer阶段的乱码如何编码为何UTF-8需要三个字节?Reducer阶段的乱码在Hadoop的Mapper阶段,我读入了一个有中文的txt文档。处理后,Reducer输出后乱码原因是txt文档是GBK编码格式,而我用下面方式读取后,在Reducer阶段使用UTF-8编码,就会乱码。@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, Inter

2020-09-09 17:34:17 40

原创 Http协议的Cookie

文章目录CookieCookie使用流程Cookie如何过期?SessionJAVA中Session的生成过程Session过期时间小结Cookie和Session会使用两个HTTP头,Set-Cookie` and `Cookie服务器端会使用Set-Cookie ,需要注意的是Set-Cookie 携带多个Cookie时,需要用 逗号 ,分隔,每个Cookie 是 name=value的形式,每个Cookie的属性用分号;隔开。例如:Set-Cookie: user_id=5; Expires=

2020-08-27 09:50:49 63

原创 HDFS的DataNode工作原理

文章目录工作原理超时设置添加新服役节点退役旧数据节点工作原理1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该

2020-07-31 15:16:47 56

原创 NameNode和SeconddaryNameNode工作原理

文章目录工作机制:1.第一阶段:NameNode启动2.第二阶段:Secondary NameNode工作NN和2NN工作机制详解:停止集群,重新格式化测试Fsimage和Edits的解析CheckPoint时间设置NameNode故障处理方法一:将SecondaryNameNode中的数据拷贝到NameNode存储数据的目录方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中。首先,我们做个假设,如果存

2020-07-16 16:55:04 65

原创 HDFS文件写入流程分析

文章目录视频介绍流程分析视频介绍 hdfs 流程分析1.客户端通过本地的DistributedFileSystem 调用create() 请求创建文件2.DistributedFileSystem 会发送一个RPC请求让namenode在命名空间创建文件,但是不会携带具体的块数据,namenode会做一系列检查:文件是否已经存在,是否具有权限,文件夹是否存在等,如果检查通过

2020-07-13 22:45:39 96

原创 HDFS-java客户端操作API
原力计划

文章目录客户端操作环境搭建常见错误:客户端常用API1.文件常见API操作2.流操作-分块下载客户端操作环境搭建1.环境准备工作:在windows使用java客户端调用HDFS集群时,会初始化一个本地的文件系统对象,期间会用到hadoop编译包的一些文件。所以我们需要将Hadoop安装包解压到某个目录,并配置HADOOP_HOME 环境变量同时在path中添加%HADOOP_HOME%/bin需要注意,要选择对应版本的windows编译包。如果用Linux包(即集群中安装的hadoop包)解压,则需

2020-07-04 07:31:52 117

原创 HDFS常用操作shell命令

文章目录常用命令:遇到问题:一般使用bin/hadoop fs 或 bin/hdfs dfs 命令dfs是fs的实现类。两个命令都是操作HDFS.常用命令:#查看hadoop fs -ls /#创建目录:-p创建多级目录hadoop fs -mkdir -p /zx/file #从本地剪切文件到HDFShadoop fs -moveFromLocal ./tt.txt /zx/file#从本地拷贝文件到HDFS 和-put命令功能一样hadoop fs -copyFromLocal

2020-07-04 07:26:47 128

原创 crontab语法和使用示例

文章目录基本语法执行规则特殊符号Linux定时任务一般使用crond服务,系统一般默认安装有定时任务crond服务:service crond status基本语法crontab [选项]-e : 编辑或添加定时任务-l : 查看系统的定时任务-r : 删除当前用户所有的定时任务示例:[root@hadoop103 xiaomao]# crontab -l*/10 * * * * /usr/sbin/ntpdate hadoop101有一个定时任务,是每过10分钟,执行/usr/s

2020-06-13 16:31:43 132

原创 Hadoop集群部署(最新版)
原力计划

文章目录准备工作部署计划1.安装JDK和Hadoop2.编写一个集群同步脚本3.配置Hadoop4.单节点启动5.配置SSH免登录6.集群启动7.访问准备工作三台虚拟机hostnamehosts配置文件ip用户hadoop101192.168.43.11 hadoop101192.168.43.12 hadoop102192.168.43.13 hadoop103192.168.43.11xiaomaohadoop102同上192.168.43.

2020-06-13 09:38:52 190

原创 Typora利用PicGo图片床自动上传图片

文章目录效果实现步骤1.下载配置PicGo2.配置Typora效果 Typora作为支持markdown语法的工具,是写博客记笔记的神器。但是本地插入图片后,在其他电脑打开,图片无法加载。借助PicGo,插入图片时自动上传网络并且插入链接,一次操作,处处方便。先看看效果:拖入图片到Typora后,会自动调用本地的PicGo上传该图片到配置的服务上。然后插入的路径就是该链接。实现步骤要实现该效果需要以下下面两步操作:1.下载配置PicGo下载地址:https://github.com/Molu

2020-05-26 21:31:57 269

原创 利用shell脚本自动更新部署SpringBoot项目
原力计划

文章目录背景脚本源码脚本说明脚本使用背景 因为项目中有多个模块,每个模块需要打包成一个jar运行。每次更新到服务器比较麻烦,所以就想到利用脚本一键实现代码的更新、编译打包、备份、和启动工作。项目中模块除了一个是用gradle编译,其他都是采用maven管理依赖。脚本源码deploy.sh#!/bin/bash#//////////////////////////微服务启动管理脚本//////////////////////////#模块列表,因为maven和gradle构建的差异

2020-05-15 20:51:33 345

原创 Hadoop3.1.2三节点环境搭建
原力计划

文章目录安装步骤问题总结搭建hadoop3.1.2 三节点完全分布式环境。安装步骤安装过程总体分为下面几个部分:(1)准备需要的主机(2)安装JDK 和hadoop(3)配置Hadoop。(4)配置SSH无密码连接。(5)格式化HDFS。(6)启动Hadoop并验证安装。(1)准备需要的主机本教程搭建三节点hadoop集群,需要三台主机。可以是虚拟机或者云主机。虚拟机需要配置好静态IP,并设置好主机名。(可以采用默认主机名,这里为配置管理方便使用下面主机名)IP主机名称

2020-05-08 22:29:06 150

原创 SpringBoot对不同Bean注解的区别和使用场景
原力计划

文章目录什么是Bean?注解@Bean @Component ..等都有什么区别?SpringBoot注入对象冲突如何解决?什么是Bean? 谈Bean的潜台词是在说Spring中的Bean,我们都知道Spring中的BeanFactory,而Bean这个概念也是由此而来。在Spring中,只要一个类能被实例化,并被Spring容器管理,这个类就称为一个Bean,或者SpringBean.除...

2020-04-01 16:11:21 867

原创 Kafka的三层消息架构

文章目录TopicPartitionRecordKafka 属于分布式的消息引擎系统,它的主要功能是提供一套完备的消息发布与订阅解决方案。Topic本质上一个Topic是命名的记录流。Kafka用log的方式记录这些主题数据。一个主题Log会分成若干个分区(Partition),而这些分区可以分布在不同的Kafka Server上或者不同的磁盘上。换句话说,我们可以认为一个主题是一个分类目录...

2020-03-08 19:32:52 580

原创 SpringCloud概览

本文主要讨论微服务的基本概念,SpringCloud的核心组成和SpringCloud的使用示例。文章目录什么是微服务SpringCloud是什么SpringCloud使用示例什么是微服务单体架构的困境单体架构我们可以理解为我们将所有的功能打成一个Jar包或者war包,放在一台服务器的tomcat里运行,在应用比较小时,还很合适,但是当业务扩张,很多问题就显露出来,比如应用职责过多,导...

2020-03-02 19:46:34 710

原创 2020java面试-Spring基础

文章目录什么是Spring使用Spring的好处Spring的组成模块核心容器(应用上下文)模块BeanFactory 实现举例Spring加载流程BeanFactory和ApplicationContext有什么区别说说你对 Spring 的理解你对Spring核心组件的理解本篇是继上篇java基础面试考点后的Spring系列的基础高频考点。整理成文。什么是Springspring是一个轻...

2020-02-10 20:40:07 1143

原创 2020java面试题-基础篇

2020年太难了,只能刷刷题了。后续会记录一些面试题方面的总结,方便复习查看。今天是基础篇的几个典型面试题。文章内容来源于自己的思考、书本、网络,如有雷同,不是巧合。文章目录1.HashMap的源码:2.Set的实现:3.List实现:4.讲解线程execute5.Runable和Callnable的区别6.使用泛型的好处7.JDK动态代理和Cglib的区别1.HashMap的源码:Hash...

2020-02-09 12:14:32 2037

原创 SSH无法登陆引发的思考

 本文将给出ssh无法登陆一些可能的原因及解决办法,并由此思考ssh的相关知识,以及不同发行版中服务启动方式和命令的区别。文章目录排查解决关于ssh几点总结:ssh和sshd的区别systemctl command不同Linux版本启动服务的方式OpenSSH Server 配置排查解决1.首先查看22端口是否启动,并看是否是ssh服务所用。netstat -ntlp|grep 22如...

2020-02-07 00:10:09 1108

原创 远程访问公司内网机器-高效率

文章目录需要安装:服务端:客户端:访问测试资源链接:受疫情影响,最近公司启动远程办公,用的是向日葵。公司家里客户端,一顿装,卡,模糊。所以这里采用另一种方法,只需要用windows自带的远程登录即可。安装完,效果很好。而且只要内网有一个机器装了客户端,其他都不用装。下面将完整的步骤分享出来:需要安装:客户端(在内网的某台机器上)装一个即可。服务端(在外网某个主机上,这里选用腾讯云的一台...

2020-01-31 23:12:23 1159

原创 如何写出高效的链表代码

文章的标题显然要分具体的场景,不同场景下答案不同。但如果你已经点进来了,不妨花5分钟看看下面的内容。文章目录链表和数组区别面试题常考的链表算法LeetCode练习题索引总结:链表和数组区别 我们在问两个事物的区别时,我们实质是在问这两者分别是什么?而非真的关注差别本身。数组:数组是一种线性表数据结构。它用连续的内存空间,存储相同类型的数据。** 数组因为申请内的存是连续的内存...

2019-12-22 16:12:40 1340

原创 Linux配置静态IP

文章目录在 RHEL/CentOS/Fedora 中配置静态IP:在Debian / Ubuntu中设置静态IPUbuntu18上的配置:参考文档:Ubuntu18以上的版本,之前的配置方法失效。在此统一整理在各个发行版Linux上的静态IP配置方法。本文的配置都基于IPv4版本。涉及信息详情:IP address: 192.168.1.252Netmask: 255.255.0.0Hos...

2019-12-17 11:13:30 936

原创 算法复杂度分析,一篇就够了

这篇文章你能得到哪些知识:1.复杂度分析方法大O表示法介绍2.常见的几种复杂度实例和拟合曲线3.详细分析Leetcode第一题的相关复杂度通过以上几点,让你对复杂度分析有一个全面的认知。文章目录为什么要进行复杂度分析?什么是大O表示法?几种常见的时间复杂度实例和拟合曲线:最好、最坏和平均情况下的复杂度分析LeetCode第一题实战分析:小结为什么要进行复杂度分析?讨论数据结构和算法,...

2019-11-27 01:02:34 1845 2

原创 TCP/IP的加冕之路

文章目录产生背景:今天我们熟知的TCP/IP是什么?文末彩蛋学习任何一项技术,最好先问自己一个问题:这个技术出现的背景、初衷和要表达什么样的目标或是要解决什么样的问题? 这个问题非常关键,因为这个技术的成因和目标是这个技术的灵魂。如果不知道这些的话,那么你会看不懂这个技术的一些设计理念。 但是对TCP/IP来讲,回答这个问题谈何容易。本篇文章不会涉及技术细节,只涉及背景和初衷相关的东西。希...

2019-11-20 13:42:54 1066 1

原创 Vim的几个高级玩法

文章目录vim的几种模式扩展命令模式命令:命令模式高频命令:命令模式进阶命令:vim高级玩法小结: 在Linux中编辑文件的场景非常之多,掌握一些关键命令和技巧。能够大大提高效率,使用体验也顺畅很多。 1976年由Bill Joy完成编写vi,并由BSD发布。从2006年开始,作为“单一UNIX规范”的一部分,vi或vi的一种变形版本一定会在类UNIX系统中找到。vim是vi的一个变形版本,...

2019-10-24 09:04:39 3067 2

原创 Https服务器配置-基于Nginx

 上篇 我们讨论了用阿里免费证书在SpringBoot项目中配置Https服务,实际网站部署中,我们往往有一个前置的Nginx反向代理服务器,因为后端服务可能也不是SpringBoot项目,比如nodejs等。配置在Nginx可以屏蔽后端的具体服务,客户端和Nginx之间通过TSL安全协议通信,Nginx在和后端服务通过一个http代理通信。 这样的好处有两个:第一是不用考虑后端服务的差异化配置...

2019-10-23 10:57:55 802 1

原创 Https服务配置-基于阿里云免费DV证书

文章目录第一步:申请免费证书第二步:下载证书第三步:部署配置第四步:通过https访问 阿里云免费证书是CA机构签发的,是合法的证书,浏览器会显示安全标识。部署方式和自签名证书一样。先看效果:第一步:申请免费证书首先需要申请一个域名用于和证书绑定,免费的DV证书就是认证指定域名的合法性。另需要一个云服务器,用于部署应用,这部分就不在赘述。第二步:下载证书可以看到针对不同服务器,分别有...

2019-10-23 09:07:34 640

原创 Https服务配置-基于jdk工具自签名证书

文章目录第一步:生成自签名证书:参数说明:证书说明:第二步:配置证书第三步:通过https访问接口第四步:同时支持Https和Http访问(非必须)在SpringBoot中访问Https接口:第一步:在Spring容器中注入RestTemplate第二步:使用第一步:生成自签名证书:利用jdk自带的keytool工具生成证书文件keytool -genkey -alias docprj ...

2019-10-23 08:39:48 504

原创 玩转Linux命令

 除去在Linux上做开发,平时使用Linux的80%操作都是一些命令操作,所以有必要花一些时间看看Linux命令的平时被忽略的东西。文章目录命令翻译官Shell:Linux中命令的分类:Linux中命令的格式几个冷门命令几个快捷键:获取帮助1.使用“man命令查看”2.使用帮助选项:3.使用help命令:4.使用info命令:命令翻译官Shell: Shell解释器在用户和内核之间相当于一...

2019-10-20 18:05:32 686

原创 计算机如何执行一条机器指令

文章目录指令运行过程:微程序控制基本概念:寻址方式:指令运行过程: 在上篇我们谈到,计算机处理一段程序,就会将程序翻译成机器指令,然后执行完成相应的任务。执行指令的过程分为取指令阶段、分析取数阶段和执行阶段。1.取指阶段:图中概念解释:PC(程序计数器),MAR(存储地址寄存器),CU(控制单元),IR(指令寄存器)AB(地址总线) ,DB(数据总线), CB(控制总线)。取指令...

2019-10-11 11:11:53 1529

HTT2_Indicator.zip

如何检测https网站正确使用了HTTP/2或SPDY? 1:chrome浏览器 下载该插件:HTTP/2 and SPDY indicator

2019-09-27

android开关按钮的多种实现方式

android开关按钮的多种实现方式,其中有多种方式,源码可以直接复制使用,android开关按钮的多种实现方式android开关按钮的多种实现方式

2017-09-04

commons-fileupload-1.2.1.jar和commons-io-1.3.2.jar文件上传下载jar包

commons-fileupload-1.2.1.jar和commons-io-1.3.2.jar文件上传下载jar包

2017-08-15

genymotion-arm-translation_v1.1

genymotion安装apk提示INSTALL_FAILED_NO_MATCHING_ABIS解决办法 拖入该工具类到模拟器,按提示点ok,最后重启即可

2017-08-14

安卓Service和AIDL使用示例代码

我的博客 安卓中本地服务和远程服务AIDL使用 中示例代码

2016-09-04

maven打包这个参数是什么?请教

发表于 2020-06-17 最后回复 2020-06-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除