- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark中的术语图解总结
参考：http://www.raincent.com/content-85-11052-1.html1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。Spark应用程序，由一个或多个作业JOB组成，如下图所示:2、Driver：驱动程序Driver负责运行Appl...
2019-08-24 18:49:00
242
原创 Spark架构角色及基本运行流程
1. 集群角色Application：基于spark的用户程序，包含了一个Driver program 和集群中多个Executor Driver Program：运行application的main()函数并自动创建SparkContext。Driver program通过一个SparkContext对象来访问Spark，通常用SparkContext代表Driver。 Spark...
2019-08-24 17:03:00
211
原创 HashMap中确定数组位置为什么要用hash进行扰动
HashMap数据存储的过程先根据key获得hash值，通过(n - 1) & hash判断当前元素存放的位置（这里的 n 指的是数组的长度），如果当前位置存在元素的话，就判断该元素与要存入的元素的 hash 值以及 key 是否相同，如果相同的话，直接覆盖，不相同就通过拉链法解决冲突。其中，jdk1.8中扰动函数hash的源码：static final int hash...
2019-08-19 22:22:00
390
原创 Java中HashMap扩容机制思考
1.HashMap在什么条件下扩容判断HashMap的数组Size大小如果超过loadFactor*capacity，就要扩容。相关的类属性： capacity：当前数组容量，始终保持 2^n，可以扩容，扩容后数组大小为当前的 2 倍。 loadFactor：负载因子，默认为 0.75 loadFactor加载因子是控制数组存放数据的疏密程度，loadFactor越...
2019-08-19 21:54:00
142
原创 HashMap底层为什么一定用数组
HashMap源码数据结构：Entry[] table = new Entry[capacity];其中，Entry就是一个链表节点。如果将数组替换成LinkedList是否可行？如下：List<Entry> table = new LinkedList<Entry>();将数组替换成LinkedList是可以的，但是HashMap选用数组...
2019-08-19 21:18:00
1629
原创 大数据平台CentOS7+CDH5.12.1集群搭建
1.CM（Cloudera Manager）介绍1.1 简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。对比Apache / CDH / HDP：（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力...
2019-08-16 21:29:00
290
原创 部署CM集群首次运行报错：Formatting the name directories of the current NameNode.
1. 报错提示Formatting the name directories of the current NameNode. If the name directories are not empty, this is expected to fail.2. 问题原因之前的namenode格式化了，所以这次不能格式化，需要把原来格式化的删除。3. 解决方法1）在/...
2019-08-16 20:14:00
128
原创 CentOS7创建本地源过程
1）使用yum安装http服务（主节点）yum -y install httpd2）将httpd服务加入系统自启动服务并设置开机启动systemctl start httpd #启动apache服务器systemctl stop httpd #关闭apache服务器systemctl enable httpd #设置开机自动启动systemctl st...
2019-08-16 19:31:00
185
原创 CentOS7内网搭建集群NTP服务器及客户端同步时间
一、服务器配置1、查看服务器、客户端操作系统版本[root@hadoop101 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) 2、查看服务器是否安装ntp，系统默认安装ntpdate；[root@hadoop101 ~]# rpm -qa | grep ntpfontpackages-...
2019-08-15 11:55:00
527
原创 CentOS 7安装Python 2.6（与已有版本共存）
1.安装需要用到的包yum install -y zlib-devel bzip2-devel openssl-devel xz-libs wget2. 下载 Python 2.6.8 版本wget https://www.python.org/ftp/python/2.6.8/Python-2.6.8.tgz3.解压文件tar -xzvf Python-...
2019-08-14 20:45:00
760
原创 CM使用MySQL数据库预处理scm_prepare_database.sh执行报错：java.sql.SQLException: Access denied for user 'scm'@'...
1.报错提示：[root@hadoop101 ~]# /opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p000000 --scm-host hadoop101 scm scm scmJAVA_HOME=/opt/module/jdk1.8.0_1...
2019-08-14 16:00:00
1026
原创 CentOS7使用集群同步脚本对配置文件同步分发
1.介绍使用集群同步脚本对配置文件同步分发2.操作1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：[root@hadoop101 ~]$ mkdir bin[root@hadoop101 ~]$ cd bin/[root@hadoop101 bin]$ vi xsync在该文件中编写如下代码（其中第5步需要按自己集群情况配置分...
2019-08-14 11:00:00
447
原创 CentOS7关闭SELINUX
安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。为了避免安装过程出现各种错误，建议关闭，有如下两种关闭方法：1）临时关闭（不建议使用）[root@hadoop101 ~]# setenforce 0但是这种方式只对当次启动有效，重启机器后会失效。2）永久关闭（建议使用）...
2019-08-14 10:51:00
148
原创 CentOS7设置集群环境SSH免密访问
1.准备工作1）通过克隆或者其他方式获得可互相通信的多台节点（本文为3台虚拟机：hadoop101、hadoop102、hadoop103）2）配置节点的静态IP、hostname、hosts，参考：CentOS7设置hostname、hosts（永久更改）、静态IP地址[root@hadoop101 jdk1.8.0_121]# vi /etc/hosts127.0.0.1 ...
2019-08-13 21:12:00
156
原创 CentOS7安装jdk1.8
1.卸载现有jdk1）查询是否安装java软件：rpm –qa|grep jdk2）如果安装的版本低于1.7，卸载该jdk：rpm –e 软件包 --nodeps2.拷贝jdk用filezilla工具将 jdk-8u144-linux-x64.gz 导入到opt目录下面的software文件夹下面在linux系统下的opt目录中查看软件包是否导入成功。...
2019-08-13 18:11:00
151
原创 CentOS7中MySQL跨机器数据迁移
1.概况在CentOS7环境下，使用命令方式将MySQL数据从源端主机迁移到目标端主机上。2.迁移全部数据库1）源端备份：[root@hadoop102 /]# mysqldump -u root -p --all-databases > /backup/databasefile/102_all_databases_20190813.bak2）拷贝到目标端：...
2019-08-13 17:39:00
124
原创 CentOS7安装MySQL5.6
1.安装包准备（MySQL官网下载）（1）查看MySQL是否安装，如果存在就先卸载[root@hadoop101 桌面]# rpm -qa|grep MySQLmysql-libs-5.1.73-7.el6.x86_64[root@hadoop101 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64（2）查看mariad...
2019-08-13 17:09:00
117
原创 CentOS7设置hostname、hosts、静态IP地址、关闭防火墙
针对新安装或者克隆后的虚拟机配置1. 设置hostname方法1：centos7 里面修改hostname的方式有所改变，修改/etc/hosts和/etc/sysconfig/network两个文件已经不能生效。使用的新命令是：[root@hadoop101 mort]# hostnamectl set-hostname hadoop101.com[root@hadoo...
2019-08-13 16:48:00
250
原创 排序算法总结对比
0.十大经典排序算法冒泡排序（BubbleSort） 选择排序（SelectionSort） 插入排序（InsertionSort） 希尔排序（ShellSort） 归并排序（MergeSort） 快速排序（QuickSort） 堆排序（HeapSort） 计数排序（CountSort） 桶排序（BucketSort） 基数排序（RadixSort）1.排序算法分类...
2019-08-10 21:10:00
69
原创 Java——HashMap使用Demo
package map;import java.util.Collection;import java.util.HashMap;import java.util.Set;public class HashMapDemo { public static void main(String[] args) { HashMap<String, Strin...
2019-08-10 16:38:00
225
原创 Java——HashMap底层源码分析
1.简介HashMap 根据键的 hashCode 值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。HashMap 最多只允许一条记录的key为 null，允许多条value的值为 null。HashMap 非线程安全，即任一时刻可以有多个线程同时写 HashMap，可能会导致数据的不一致。（如果需要满足线程安全，可以用 Collecti...
2019-08-10 16:27:00
52
原创 Java——LinkedList使用Demo
package list;import java.util.Iterator;import java.util.LinkedList;public class LinkedListDemo { public static void main(String[] srgs) { //创建存放int类型的linkedList LinkedList&...
2019-08-10 15:21:00
92
原创 Java——LinkedList底层源码分析
1.简介LinkedList 是用链表结构存储数据的，很适合数据的动态插入和删除，随机访问和遍历速度比较慢。另外，他还提供了 List 接口中没有定义的方法，专门用于操作表头和表尾元素，可以当作堆栈、队列和双向队列使用。LinkedList是实现了List接口和Deque接口的双端链表。 LinkedList底层的链表结构使它支持高效的插入和删除操作，另外它实现了Deque接口，使得Link...
2019-08-10 15:20:00
121
原创 Java——ArrayList使用Demo
三种遍历方式通过迭代器Iterator遍历 通过get(索引值)遍历 for循环遍历ArrayList使用Demopackage list;import java.util.ArrayList;import java.util.Iterator;public class ArrayListDemo { public static void main(Strin...
2019-08-09 21:04:00
153
原创 Java——ArrayList底层源码分析
1.简介ArrayList 是最常用的 List 实现类，内部是通过数组实现的，它允许对元素进行快速随机访问。数组的缺点是每个元素之间不能有间隔， 当数组大小不满足时需要增加存储能力，就要将已经有数组的数据复制到新的存储空间中。 当从 ArrayList 的中间位置插入或者删除元素时，需要对数组进行复制、移动、代价比较高。因此，它适合随机查找和遍历，不适合插入和删除。线性表的顺序存储，插...
2019-08-09 20:59:00
86
原创 剑指Offer编程题（Java实现）——链表中环的入口结点
题目描述给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，输出null。思路一迭代遍历链表，利用HashSet将每个结点添加到哈希表中，如果添加失败（重复遍历了这个结点即遇到环），输出该结点为环入口实现/* public class ListNode { int val; ListNode next = null; ListNode(...
2019-08-08 19:21:00
104
原创 剑指Offer编程题（Java实现）——两个链表的第一个公共结点
题目描述：输入两个链表，找出它们的第一个公共结点。思路一：设 A 的长度为 a + c，B 的长度为 b + c，其中 c 为尾部公共部分长度，可知 a + c + b = b + c + a。当访问链表 A 的指针访问到链表尾部时，令它从链表 B 的头部重新开始访问链表 B；同样地，当访问链表 B 的指针访问到链表尾部时，令它从链表 A 的头部重新开始访问链表 A。这样就...
2019-08-08 19:12:00
79
原创 剑指Offer编程题（Java实现）——删除链表中重复的结点
题目描述在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5public class ListNode { int val; ListNode next = null; ListNode(...
2019-08-08 19:06:00
87
原创 剑指Offer编程题（Java实现）——复杂链表的复制
题目描述输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空）思路第一步，在每个节点的后面插入复制的节点。第二步，对复制节点的 random 链接进行赋值。第三步，拆分。实现/*publi...
2019-08-08 18:52:00
84
原创 剑指Offer编程题（Java实现）——链表中倒数第k个结点
题目描述输入一个链表，输出该链表中倒数第k个结点。注意：该题目不可以用先反转链表再输出第k个结点的方式，因为反转链表会改变该结点的next指向思路一使用栈Stack倒序存储，顺序pop第k个结点实现/*public class ListNode { int val; ListNode next = null; ListNode(int ...
2019-08-08 18:47:00
108
原创 剑指Offer编程题（Java实现）——反转链表
题目描述输入一个链表，反转链表后，输出新链表的表头。思路一使用头插法迭代进行反转实现/*public class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}*/public class Solutio...
2019-08-08 18:36:00
138
原创 剑指Offer编程题（Java实现）——从尾到头打印链表
题目描述输入一个链表，按链表值从尾到头的顺序返回一个ArrayList。解题思路思路一：使用头插法使用头插法可以得到一个逆序的链表。遍历链表，每次将所遍历节点插入到链表的头部。头结点和第一个节点的区别：头结点是在头插法中使用的一个额外节点，这个节点不存储值； 第一个节点就是链表的第一个真正存储值的节点。/*** public class ListNod...
2019-08-07 00:40:00
165
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人