- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java总结：常用的IO流
目录IO流的概念IO流的分类常用的IO流输入流的抽象基类 InputStream/Reader输出流的抽象基类 OutputStream/Writer文件字节输入/输出流 FileInputStream/FileOutputStream文件字符输入/输出流 FileReader/FileWriter缓冲字节输入/输出流 BufferedInputStream/B...
2019-03-30 12:09:06
492
原创 Hadoop：集群启动守护线程流程有关指令、脚本分析
目录sbin/start-all.shlibexec/hadoop-config.shsbin/start-dfs.shsbin/hadoop-daemons.shsbin/slaves.shsbin/hadoop-daemon.shbin/hdfs启动脚本的执行流程图总结sbin/start-all.sh#这个脚本已经被弃用，请使用start-dfs...
2019-03-26 17:11:27
1228
原创 Hadoop：四个默认配置文件及与分布式系统搭建有关的属性
目录core-default.xmlhdfs-default.xmlmapred-default.xmlyarn-default.xml默认配置文件Hadoop的底层是通过Java实现的，那么启动hadoop集群的守护线程实际上是加载并运行相关的class字节码文件，而配置信息是存储在相关的xml配置文件中的。hadoop-common-2.7.3-sources.ja...
2019-03-25 16:11:28
1978
原创 Hadoop：分布式集群搭建成功但livenode为0
背景是这样的：有3台虚拟机，master1、slave1、slave2。在master1上启动了所有守护线程，slave1和slave2中相关的守护线程也跑起来了，并且关闭了防火墙，但在master1上访问localhost:50070中的livenode始终为0，多次格式化后还是为0。首先在master机上查看端口使用情况，发现只有来自slave机的ssh连接我们再去slave...
2019-03-23 21:39:18
1741
1
原创 Java并发编程：ThreadPoolExecutor常用线程池
目录线程池的分类常用线程池(ThreadPoolExecutor)示例CachedThreadPoolFixedThreadPoolSingleThreadExecutorThreadPoolExecutor类分析三种线程池(返回ThreadPoolExecutor)构造方法ThreadPoolExecutor中的成员变量三种线程池(返回ThreadPoolEx...
2019-03-22 22:22:08
11242
原创 Hadoop：分布式集群多次格式化文件系统，导致datanode无法启动解决方案
关闭守护进程后再次格式化，导致datanode没有启动[jinge@master ~]$ jps3763 NameNode4166 Jps4059 SecondaryNameNode这是因为多次格式化导致clusterID不同，这就涉及到了namenode和datanode中的两个文件namenode：datanode：可见两者的clusterID不同，...
2019-03-20 15:21:55
1673
1
原创 Hadoop：伪分布式集群设置
伪分布式集群（pseudo distributedcluster）是指在一台主机上模拟多个主机；hadoop的守护程序在本地计算机(虚拟机)上运行，模拟集群环境，并且是相互独立的Java进程。在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由ResourceManager服务来管理的独立进程；与单节点模式相比，多了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的...
2019-03-19 23:32:12
577
原创 Hadoop：单节点集群设置
单节点集群（local/standalonemode），即安装在单节点(一台主机)的本地模式，也叫独立模式。所有程序都在单个JVM上执行。使用本地文件系统，而不是分布式文件系统。无需运行任何守护进程，hadoop不会启动NameNode、DataNode等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。目录准备工作详细步骤程序测试准备工作操作平...
2019-03-19 18:08:38
708
原创 Hadoop 运行 share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar 报错
今天在运行以下命令hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'因为之前我改了主机名为master1报错19/03/16 16:12:59 INFO Configuration.deprecation: session.id ...
2019-03-16 16:44:50
14175
1
原创 Linux系统：shell（三）：shell script
目录shell script概述shell编程规范shell字符串shell数组位置参数变量shell script中的常用命令流程控制语句函数script之间的引入shell script概述shellscript是利用shell中编程语言的功能所写的一个程序，该程序是一个纯文本文件，内含shell的相关语法和指令，搭配正则表达式，管道命令及其数据流...
2019-03-13 15:49:43
800
原创 Linux系统：shell（二）：数据流重定向
数据流重定向就是将命令执行后产生的数据从默认显示位置重定向到其他位置，比如重定向到文件或者是设备数据流重定向可以分成以下三类类型 默认位置 代码 符号 标准输出（stdout） 屏幕 1 > (1>) or >> or(1>>) 标准错误输出（stderr） 屏幕 2 2...
2019-03-12 23:42:56
334
原创 Linux系统：shell（一）：概述、bash、变量、环境配置
目录shell概述/bin/bash的功能shell中的变量1、命名规则2、使用规则3、只读变量和删除变量4、环境变量特殊的环境变量环境变量与自定义变量的区别5、键盘录入变量值shell环境配置login shellnon-login shellshell概述shell本意为"壳"，而"核"指的是计算机内核(kernel)；内核的作用是...
2019-03-12 15:50:44
645
原创 Java并发编程（三）：多线程安全分析(案例)
目录模拟数组库Vector与ArrayList源码对比VectorArrayList + synchronizedCollections工具类Lock的读锁和写锁ThreadLocal模拟数组库数据库就类似于一个集合，element其实就是相当于数据库中的一行记录。就比如有一个图书表，有人会去查阅、编辑或是添加信息，他们操作的都是一个图书表中的数据；这...
2019-03-08 17:58:39
365
原创 Java并发编程（二）：多线程交互(案例)
目录线程状态线程间交互线程间的排队：join()wait()、notify()、notifyAll()死锁信号量 SemaphoreCountDownLatch线程状态在jdk1.8中，线程可以处于以下状态之一：NEW ：尚未启动的线程处于此状态。 RUNNABLE ：在Java虚拟机中执行的线程处于此状态。 BLOCKED ：被阻塞等待监视器锁定...
2019-03-06 21:03:00
614
原创 八大排序算法浅析(Java)
目录一、选择排序1、直接选择排序2、堆排序二、交换排序1、冒泡排序2、快速排序三、插入排序1、直接插入排序2、希尔排序三、归并排序四、基数排序附：八大排序算法比较关于Java中的排序算法，此篇讨论的都是内部排序，所谓内部排序就是指通过计算机内存来实现的排序一、选择排序1、直接选择排序直接选择排序是每一次从待排序的数据元素中选出最小的一...
2019-03-01 12:24:32
438
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人