- 博客(27)
- 收藏
- 关注
RSS订阅转载 Linux重定向与管道
程序执行时默认会打开3个流，标准输入、标准输出、标准错误。Redirection The shell interprets the symbols <,>, and >> as instructions to reroute a command's input or output to or from a file.Pipes...
2019-01-01 15:32:00
155
转载 Linux文件句柄数调整
首先介绍下Linux系统中"一切都是文件"。1. Linux系统文件句柄数概念文件句柄（Windows）文件描述符（Unix/Linux）：file discriptor，fd。对于内核而言，所有打开的文件都是通过文件描述符引用，文件描述符是一个非负整数，变化范围是0~(OPEN_MAX-1)。其中，OPEN_MAX解释为The maximum number of...
2018-12-24 23:20:00
636
转载 HDFS命令实现分析
HDFS命令概述HDFS命令涉及两类，一类是hadoop命令，一类是hdfs命令，功能也分为两类，第一类是HDFS文件操作命令，第二类是HDFS管理命令。二者都是shell命令，真正的命令只有hadoop和hdfs，而无所谓的ls/mv/cp/cat/mkdir…dfs/setQuota/fsck…等命令，后者都是以入参传递给hadoop和hdfs的。具体实现参考bin/ha...
2018-12-16 23:39:00
213
转载 IDEA主题设置
主题下载：Color Themes（个人倾向该网站，而不是http://www.riaway.com/）主题设置：打开IDEA，按下Ctrl+Alt+S，选择Editor-->Color Scheme-->General，导入上一步下载的主题jar包。设置效果：转载于:https://www.cnblogs.com/HopkinsCybn/...
2018-12-16 18:04:00
132
转载 Hadoop源码阅读环境搭建（IDEA）
拿到一份Hadoop源码之后，经常关注的两件事情就是1、怎么阅读？涉及IDEA和Eclipse工程搭建。IDEA搭建，选择源码，逐步导入即可；Eclipse可以选择后台生成工程，也可以选择IDE导入。二者工程也可以互相导入\到处。2、怎么构建？利用maven，生成安装包。二者均需配置maven，相关工具配置参考另两篇帖子《Hadoop源码编译环境搭建》和《IDEA配置mave...
2018-12-16 17:49:00
574
转载 IDEA配置maven中央库
分两步：STEP 1：配置maven；STEP 2：配置IDEA。区分默认配置和项目级配置。STEP 1：maven中央库配置国内常用的maven库主要是阿里云maven库、华为云maven。其中阿里云maven库配置如下：配置文件路径为conf/settings.xml<mirrors> <!-- mirro...
2018-12-16 17:31:00
152
转载 Hadoop源码编译环境搭建
准备工具：maven 3.0.0版本或者更高版本（配置中心库）protocbuff 2.5.0http://www.zlib.net/git bash（Windows环境可以用此工具执行编译命令）下载源码：http://hadoop.apache.org/releases.htmlhttp://mirror.bit.edu.cn/apache/had...
2018-12-16 11:41:00
167
转载 HDFS文件系统基础
HDFS架构实现Hadoop当前稳定版本是Apache Hadoop 2.9.2，最新版本是Apache Hadoop 3.1.1。http://hadoop.apache.org/docs/HDFS存储机制Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB，可以在hdfs-site.xml中设置dfs.block.s...
2018-12-15 23:53:00
60
转载 MapReduce任务学习系列
首先放一张官方图片，大致了解下整个MapReduce的处理过程。抛出如下疑问：1、MapReduce的基本原理是什么？即利用什么机制来实现的任务拆分处理？2、MapReduce任务执行过程是什么？任务怎么提交？如何运行？哪个组件或者模块可以监控任务的运行状态，比如YARN服务？数据存储（原始数据、中间数据、输出结果）依赖什么基础构件？3、输入数据怎么进行切割分片？即所...
2018-12-12 23:52:00
122
转载 Linux系统下搭建FTP/SFTP服务器
传输文件经常使用ftp和sftp服务器。Windows下有多种可视化工具，使用快捷。Linux经常需要自行搭建这两种服务器，当然搭建熟练的话，会更加快捷。1、检查Linux系统是否安装了vsftp和sftp服务。2、修改对应的配置项。3、重启生效。ftp/vsftp/sftp/ftps区别。转载于:https://www.cnblogs.com/HopkinsC...
2018-12-11 23:08:00
634
转载 Linux建立互信关系（ssh公钥登录）
Linux有多种登录方式，比如telnet、ssh。支持ssh登录方式：口令登录和公钥登录ssh登录方式：ssh [-l login_name] [-p port] [user@]hostname口令登录：输入密码登录。公钥登录：将本端设备的公钥加入到对端的公钥文件authorized_keys，可以免密码登录。本文只阐述如何使用公钥免密码登录。公钥登录原理：所谓...
2018-12-11 22:57:00
632
转载 Java中定时器相关实现的介绍与对比之：JCronTab
JCronTab转载于:https://www.cnblogs.com/HopkinsCybn/p/10091335.html
2018-12-09 15:20:00
127
转载 Java中定时器相关实现的介绍与对比之：Quartz定时器
Quartz定时器转载于:https://www.cnblogs.com/HopkinsCybn/p/10091331.html
2018-12-09 15:19:00
105
转载 Java中定时器相关实现的介绍与对比之：ScheduledExecutor
ScheduledExecutor转载于:https://www.cnblogs.com/HopkinsCybn/p/10091317.html
2018-12-09 15:17:00
70
转载 Spark任务执行期间写临时文件报错导致失败
spark任务在执行期间，有时候会遇到临时目录创建失败，导致任务执行错误。java.io.IOException: Failed to create local dir in ……spark执行过程的文件夹spark创建临时文件机制spark作为并行计算框架，同一个作业会被划分为多个任务在多个节点执行，reduce的输入可能存在于多个节点，因此需要shuffle将所有reduc...
2018-12-08 12:53:00
692
转载 Java接口获取系统配置信息
Java获取当前运行系统的配置信息接口：System.getProperty()参数描述java.versionJava运行时环境版本java.vendorJava运行时环境供应商java.vendor.urlJava供应商的URLjava.homeJava安装目录java.vm.specification.versionJava虚...
2018-12-02 22:43:00
241
转载 Java Language and Virtual Machine Specifications
Java Language and Virtual Machine Specifications转载于:https://www.cnblogs.com/HopkinsCybn/p/10051796.html
2018-12-01 23:54:00
115
转载 Java Basic&Security Tools
JDK Tools and UtilitiesBasic ToolsThese tools are the foundation of the JDK. They are the tools you use to create and build applications.Tool NameBrief DescriptionappletviewerRun and...
2018-12-01 23:48:00
134
转载 Java Monitoring&Troubleshooting Tools
JDK Tools and UtilitiesMonitoring ToolsYou can use the following tools to monitor JVM performance statistics. The tools described in this section are unsupported and experimental, and should be...
2018-12-01 23:09:00
179
转载 Java I/O介绍
Java I/O介绍转载于:https://www.cnblogs.com/HopkinsCybn/p/10051578.html
2018-12-01 22:59:00
92
转载 Java中定时器相关实现的介绍与对比之：Timer和TimerTask
Timer和TimerTaskJDK自带，具体的定时任务由TimerTask指定，定时任务的执行调度由Timer设定。Timer和TimerTask均在包java.util里实现。本文基于java version "1.8.0_191"展开分析学习。TimerTask负责实现指定的任务创建一个TimerTask实例。/** * Creates a new timer t...
2018-12-01 22:36:00
217
转载 markdown语法介绍
1. 标题类 每级标题用"# title"表示，共支持6级标题；2. 段落类1、建议用换行符控制；2、用"<p></p>"控制； 3. 列表无序列表用"+ "或者"* "表示，子项目用tab键进行缩进；abcedf有序列表用"1. "表示，列表项自动递增，与数字无关，子项目用tab键进行缩进；1234564. 字体样式...
2018-12-01 21:46:00
85
转载 Java VisualVM使用
Java VisualVMJava VisualVM官网Java VisualVM介绍Java VisualVM is a tool that provides a visual interface for viewing detailed information about Java applications while they are running on a Java Vi...
2018-11-25 10:06:00
95
转载 Linux系统负载查询
查询Linux系统负载情况，一般需要了解三个方面的信息：1、Linux系统配置。如Linux版本号、CPU、内存、网络、磁盘等；2、收集系统负载信息的手段。常用的工具包有sysstat和procps等。3、查询结果分析。通过工具包获取系统负载信息，要具体分析系统是否负载、某项指标参数是否超标、系统的瓶颈集中哪几项等。一、查询Linux系统配置 查询CPU配置：...
2018-11-24 23:30:00
109
转载 Kafka高性能吞吐关键技术分析
Apache Kafka官网提供的性能说明：Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)转载于:https://www.cnblogs.com/HopkinsCybn/p/10013966.html
2018-11-24 22:42:00
185
转载 HDFS源码文件过大，IDEA打开失败解决方法
问题现象：hadoop 3.1.0源码文件ClientNamenodeProtocolProtos大小4M+，IDEA打开时加载失败，ClientNamenodeProtocolPB报错找不到类。-----------------------------------------------------------------------------------------------...
2018-11-24 22:22:00
121
转载 Quartz定时器原理与使用
Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，是一个完全由java编写的开源作业调度框架。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的程序。转载于:https://www.cnblogs.com/HopkinsCybn/p/9902313.html...
2018-11-03 22:07:00
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人