MagicStarts的博客

原创 Cloudera Manager及CDH最新版本安装全程记录

Cloudera Manager及CDH最新版本安装全程记录大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。一、环境:...

原创 02_Python官方学习文档总结

02_Python官方学习文档总结文章目录02_Python官方学习文档总结2 深入流程控制2.1 if声明2.2 for声明2.3 range（）功能2.4 break 和 continue以及else循环字句2.5 pass声明2.6 定义函数2.7 有关函数的更多信息2.7.1 默认参数值2.7.2 关键字参数2.7.3 任意参数列表2.7.4 解压缩参数列表2.7.5 Lambda表达式...

原创 02_Nifi入门案例

Nifi入门案例step1.下载nifi：http://nifi.apache.org/download.htmlstep2.解压缩：[root@docker software]# tar -xzvf nifi-1.8.0-bin.tar.gz step3.进入conf目录修改配置文件修改nifi.properties我改为了我的主机ip，并设置了一个不会出现端口占用的端口号。# ...

翻译 01_Apache NiFi入门

Apache NiFi入门Apache NiFi团队dev@nifi.apache.org目录本指南适用于谁？本指南中使用的术语下载并安装NiFi启动NiFi对于Windows用户对于Linux / Mac OS X用户即服务安装我开始了NiFi。怎么办？添加处理器配置处理器连接处理器启动和停止处理器获取处理器的更多信息其他组件可用的处理器数据转...

原创 01_Python官方文档学习总结

01_Python官方文档学习总结文章目录01_Python官方文档学习总结1.1使用Python作为计算器1.1.1数字1.1.2字符串1.1.3其他链接1.1.4list1.2编程第一步1.1使用Python作为计算器1.1.1数字​ 解释器就像一个简单的计算器：可以再其中键入一个表达式，然后他将写入该值。表达是的语法是直接的。=，-，*，/，就像在大多数语言中的使用方法一样；括号（）...

原创 Spark面试近300题初始版本

1 - 40一、简答题1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状...

原创 Spark 性能调优小结

Spark 性能调优小结========== Spark 的监控方式 ==========1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息–重要）2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况–资源瓶颈–重要）3、Nmon 主机 CPU、网络、磁盘、内存（提供了单机信息）4、Jmeter 系统实时性能监控工具（提供了单机...

原创 Spark面试题修改版本

1 - 40一、简答题Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态...

原创 Python 入门

Python 入门2.1 什么是计算机语言计算机就是一台用来计算机的机器，人让计算机干什么计算机就得干什么！需要通过计算机的语言来控制计算机（编程语言）！计算机语言其实和人类的语言没有本质的区别，不同点就是交流的主体不同！计算机语言发展经历了三个阶段： 机器语言 - 机器语言通过二进制编码来编写程序。 - 执行效率好，编写起来太麻烦。 符号语言（汇编） ...

原创 解决网络不通的dos命令

1.ipconfig/release使计算机将自己目前租用的IP地址交还给DHCP服务器（只在动态配置IP地址的机器上起作用）2.ipconfig/renew向DHCP服务器申请新的IP地址3.ipconfig/displaydns显示DNS客户解析器缓存的内容，包括从本地主机文件预装载的记录以及由域名解析服务器解析的所有资源记录4.ipconfig/flushdns清理并重设DNS客户解析...

原创 03_Mybatis

03_MybatisMybatis事务控制工程准备：新建一个Maven类型的module：实现Mybatis保存用户功能，便于基于该功能的代码程序说明Mybatis的事务控制SqlMapConfig.xml中配置的type=“JDBC”：使用Jdbc的事务管理机制，connection的事务Mybatis默认把Jdbc的事务自动提交给关闭了Mybatis缓存缓存只能对的是CRUD中的R...

原创 05_Spring-AOP

文章目录05_Spring-Account的CRUD和AOPAccount表的CRUD实现思路分析半xml半注解纯注解AOP什么是AOP为什么叫AOP（面向切面编程）AOP的作用及优势Spring中AOP的实现方式05_Spring-Account的CRUD和AOPAccount表的CRUD实现Dbutils使用：​ 主要是QueryRunner对象的使用，提供了query和update（...

原创 04_Spring--ioc和di

04_Spring–ioc和di文章目录04_Spring--ioc和diSpring框架的地位Spring的介绍什么是Spring？Spring优势ioc的概念和作用自定义ioc实现解耦合使用SpringIOC实现程序解耦合Springioc的细节知识ApplicationContext接口的实现类Bean管理细节Bean标签依赖注入diset注入构造函数注入复杂对象注入Springioc和d...

原创 06_SpringAop使用和声明式事务

文章目录06_SpringAop使用和JdbcTemplateSpringAOP的使用AOP相关术语基于xml的AOP配置基于注解的AOP配置学习中的注意事项JdbcTemplate数据库操作工具的使用入门使用用于dao层开发定于JdbcTemplate为普通BeanSpring的声明式事务控制关于事务声明式事务配置（xml或者注解）基于xml基于注解06_SpringAop使用和JdbcTem...

原创 02_Mybatis

Mybatis文章目录Mybatis原生jdbc操作数据库分析Mybatis快速入门Mybatis的CRUD操作根据用户id查询用户根据用户名模糊查询用户列表小结实现添加用户添加用户的自增主键返回根据用户id修改用户名根据用户id删除用户名分析Mybatis解决了原生jdbc的哪些问题Mybatis开发Dao的两种方式原生方式Mapper方式Mybatis全局配置文件的使用properties文...

原创 01_Maven操作和框架入门

Maven操作和框架入门文章目录Maven操作和框架入门Maven快捷键Maven1。Maven介绍2。Maven相关概念（1）项目对象模型（POM）（2）生命周期（3）Maven项目标准目录结构（4）Maven插件（5）Maven仓库。．使用Maven的好处4．常见Maven命令（1）clean（2）compile（3）test（4）package（5）install依赖附件框架认识什么是框架...

原创 01_分布式文件系统HDFS

文章目录分布式文件系统计算机集群结构分布式文件系统的结构HDFS简介HDFS相关概念块名称结点和数据结点名称结点的数据结构FsImage文件名称结点的启动名称结点玉兴期间EditLog不断变大的问题解决：第二名称结点的工作情况：数据结点HDFS体系结构通信协议客户端HDFS存储原理冗余数据保存数据存取策略**数据存放****2.** **数据读取**数据错误和恢复**1.** **名称节点出错*...

原创 Linux笔记五

Linux笔记五磁盘管理vi 、vimyun命令Linux 磁盘管理Linux磁盘管理好坏直接关系到整个系统的性能问题。Linux磁盘管理常用三个命令为df、du和fdisk。df：列出文件系统的整体磁盘使用量du：检查磁盘空间使用量fdisk：用于磁盘分区dfdf命令参数功能：检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少...

原创 Linux笔记四

Linux笔记四文件与目录管理用户与用户组管理Linux 文件与目录管理我们知道Linux的目录结构为树状结构，最顶级的目录为根目录 /。其他目录通过挂载可以将它们添加到树中，通过解除挂载可以移除它们。在开始本教程前我们需要先知道什么是绝对路径与相对路径。绝对路径：路径的写法，由根目录 / 写起，例如： /usr/share/doc 这个目录。相对路径：路径的写法，不是由...

原创 Linux笔记三

Linux笔记三文件基本属性Linux 文件基本属性Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls –l命令来显示一个文件的属性以及文件所属的用户和组，如：[root@www /]# ls -ltotal 64d...

原创 Linux笔记二

Linux笔记二系统目录结构忘记密码的解决办法远程登录Linux 系统目录结构登录系统后，在当前命令窗口下输入命令： ls / 你会看到如下图所示:树状目录结构：以下是对这些目录的解释：/bin：bin是Binary的缩写, 这个目录存放着最经常使用的命令。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/...

原创 Linux笔记

Linux笔记Linux简介Linux启动过程系统目录结构忘记密码的解决办法远程登陆文件基本属性文件与目录管理用户与用户组管理磁盘管理vi/vimyun命令Linux简介​ linux 是使用一套免费使用和自由传播的类Unix操作系统,是基于POSIX和UNIX的多用户、多任务、多线程和多CPU的操作系统。Linux 的发行版Linux 的发行版说简单点就是将 L...

原创 List

ArrayListTest 和 LinkedListTest 和 ListCompareTest 和 VectorTest

原创 File

FileAttributeTest 和 FilesTest 和PathTest 和 SearchJPGFiles

原创 二进制文件读写

BinFileRead 和 BinFileWrite

原创 文本文件读写

TxtFileRead 和 TxtFileWrite

原创 Set

HashSetJudgeRuleTest 和 HashSetTest 和LinkedHashSetTest 和 ObjectHashSetTest 和 ObjectTreeSetTest 和 TreeSetTest

原创 Map

HashMapTest 和 HashtableTest 和 LinkedHashMapTest 和 MapCompareTest 和 PropertiesTest 和 TreeMapTest

原创 网络编程 TCP

package com.zgjy.demo2;import java.io.InputStream;import java.io.OutputStream;import java.net.Socket;/* * TCP客户端实现,要求,服务器端,必须开启,如果服务器没有开启,那么连接直接抛出异常Connection refused: connect * * 使用的类: S...

转载 mysql常用操作

/* 启动MySQL */net start mysql/* 连接与断开服务器 */mysql -h 地址 -P 端口 -u 用户名 -p 密码/* 跳过权限验证登录MySQL */mysqld --skip-grant-tables– 修改root密码密码加密函数password()update mysql.user set password=password(‘root’);...

原创 网络编程UDP

package com.zgjy.demo;import java.net.DatagramPacket;import java.net.DatagramSocket;/* * UDP的接收端,实现步骤 * * 1. 创建DatagramSocket,构造方法: * DatagramSocket(int port) 构造数据报套接字并将其绑定到...

原创 网络编程文件上传思路

原创 Day009(集合、list、set)

今日内容Collection集合Iterator迭代器List接口set接口Collection集合介绍Collection是单列集合类的根接口，用于存储一系列符合某种规则的元素，它有两个重要的子接口，分别是java.util.List和java.util.Set。List的特点是元素有序、元素可重复。Set的特点是元素无序，而且不可重复。List接口的主要实现类有jav...

转载 Day008(API使用、几个常用类的使用)

今日内容API使用Object类String类Date日期类System类包装类与字符串类型的装换BigDecimal大数据运算Java的APIJava 的API（API: Application(应用) Programming(程序) Interface(接口)）Java API就是JDK中提供给我们使用的类，这些类将底层的代码实现封装了起来，我们不需要关心这些类是如何实...

转载 Day007(关键字、匿名对象、内部类、权限、类作为参数和返回值进行参数传递)

文章目录基本内容final关键字定义静态常量匿名对象匿名对象：格式如下：匿名对象的使用场景：匿名对象的内存分析：注意事项内部类什么是内部类：匿名内部类定义方式权限（四种访问修饰符）类作为参数传递和返回值类作为参数进行传递：类作为返回值进行传递基本内容final关键字匿名对象内部类四种访问修饰符类和接口作为参数和返回值final关键字修饰变量: 被他修饰的变量不可改变。一旦赋了...

转载 Day006(抽象、接口、多态)

文章目录基本内容抽象类(关键字abstract)抽象方法：抽象类abstract关键字与哪些关键字无法共存接口定义（关键字interface）好处使用（关键字implements）默认方法静态方法多继承（多实现）实现类多实现接口多继承多态多态的要点向上转型向下转型多态的好处与弊端总结什么时候使用向上转型什么时候使用向下转型向下转型可能出现的问题instanceof运算符查找对象是否是类所创建的对象...

转载 Day005(ArrayList集合、数据共享、继承、重写、super、this)

文章目录内容介绍ArrayList集合包装类常用方法数据共享static关键字静态代码块继承（extends）重写super关键字this关键字构造方法的使用this的原理图解super关键字构造方法的使用内容介绍ArrayList集合static关键字集成this和super关键字ArrayList集合特点：​ 查询效率高，增删效率低，线程不安全。由于数组的长度不可变，所...

转载 Day004(类、类和对象、局部变量和成员变量、封装、构造方法)

文章目录基本内容引用数据类型（类）类和对象局部变量和成员变量的区别：与数据的类型无关封装this关键字构造方法为什么使用构造方法：有参构造和无参构造要点：基本内容自定义类面向对象封装引用数据类型（类）类，是引用数据类型。类的使用格式：导包：我们将所有的类放到同一个文件夹下，可以避免导包。创建对象：数据类型 变量名 = new 数据类型();调用方法：目前我们定义的自定义...

转载 Day003(数组、方法)

文章目录基本内容数组数组排序方法方法重载：基本内容数组方法数组数组是一个容器，可以存放任意类型的元素。但是同一个数组里面存放的元素必须一致。后期基本不用数组，虽说可以放但是大部分情况下放基本数据类型和String类型。定义：int [] arr = new int [];int[] arr = {3,5,7,8};空指针异常(NullPointerEx...

转载 Day002(运算符、引用数据类型)

文章目录基本内容运算符算术运算符基本的算术运算符自增自减运算符赋值运算符自动类型转换比较运算符逻辑运算符基本逻辑运算符逻辑异或短路逻辑运算符位运算符概述例子三元运算符Java运算符优先级引用数据类型基本内容运算符引用数据类型流程控制语句运算符算术运算符基本的算术运算符‘*’, ‘/’, ‘-’, ‘%’，’+’+:表示正数表示加法拼接：如果其中一个运算数是字符...