- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 类加载实践：读取jar包
类加载实践：读取jar包（在B站上视频学习记录）类加载机制实际上调用了 loadClass() -> findClass()1、从特定路径jar包中读取class（没有打破双亲委派机制，只是读取其他位置的jar包）：public class test { public static void main(String[] args) throws MalformedURLException { Double salary = 2000.0; Double m
2021-03-31 21:57:16
458
原创 设计模式之工厂模式的理解
设计模式之工厂模式的理解工厂模式是一种创建型模式，相信工作中大家都会接触过一些，下面将详细讨论一下讲解流程主要是：UML类图 + 代码实现 + 优势与劣势一、简单工厂模式：创建对象时做简单的封装1、UML类图：UML类图分析：1、创建一个产品接口 （AbstractProduct）2、产品的具体实现类（Product1 和 Product2）3、工厂类 （Factory）2、代码实现：// 产品接口public interface AbstractProduct { do
2020-11-02 00:52:51
119
原创 一天弄懂mysql数据库索引原理
弄懂mysql数据库的索引原理和底层一、从二叉树到B+树二、mysql的存储引擎->聚集索引和非聚集索引三、mysql的索引分类->数据结构、物理存储、逻辑结构一、树：1、满二叉树 https://blog.csdn.net/skylibiao/article/details/811952192、完全二叉树3、二叉搜索树：https://www.cnblogs.com/...
2019-10-13 21:54:41
207
原创 hive的表基本操作
hive表基本操作一、建表：1、内部表：即是普通表，保存在/user/hive/warehouse/create table t_student(id int,name string,sex string,age int,deptno string)row format delimitedfields terminated by ','lines terminated by '\n...
2019-10-11 21:30:01
418
原创 1、sqoop入门及基本操作
sqoop基本使用1、安装sqoop的前提是已经具备java和hadoop的环境下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.7/2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export H...
2019-10-11 15:22:37
304
原创 解决azkaban3.7执行job时一直处于preparing状态问题
安装azkaban3.7小白教程：https://blog.csdn.net/weixin_42179685/article/details/90716366解决azkaban3.7执行job时一直处于preparing状态问题：1.考虑内存问题：修改azkaban-web下的azkaban.properties配置文件去掉MinimumFreeMemory过滤器会检查 executo...
2019-07-24 17:13:27
5734
转载 flume进阶：
1、负载均衡：flume的负载均衡即每次按照一定的算法选择sink输出到指定地方，如果在文件输出量很大的情况下，负载均衡还是很有必要的，通过多个通道输出缓解输出压力flume内置的负载均衡的算法默认是roundrobin，轮询算法，按序选择在hadoop-001上的flume-client-loadbalance.conf配置#agent1 nameagent1.channels = c...
2019-04-04 19:15:48
187
原创 HIVE的 配置
HIVE的 配置问题一：为什么不同的会话hive显示数据不一致？Hive默认使用derby存储元数据；session01: /home/hadoop/bigdatasoftware/apache-hive-1.2.1-bin/bin 生成metastore_dbsession02: /home/hadoop 生成metastore_db问题二：元数据hive默认是什么方式存储？d...
2019-03-29 23:40:29
134
转载 HIVE与mysql整合
HIVE的 配置问题一：为什么不同的会话hive显示数据不一致？Hive默认使用derby存储元数据；session01: /home/hadoop/bigdatasoftware/apache-hive-1.2.1-bin/bin 生成metastore_dbsession02: /home/hadoop 生成metastore_db问题二：元数据hive默认是什么方式存储？d...
2019-03-24 10:12:23
3153
原创 mysql数据库基本操作
1、数据库CREATE TABLE b_DEPT(deptno INT PRIMARY KEY AUTO_INCREMENT,dname VARCHAR(100) NOT NULL,loc VARCHAR(100));CREATE TABLE b_EMP(empno INT PRIMARY KEY AUTO_INCREMENT,ename VARCHAR(5...
2019-03-20 23:19:13
152
转载 Hadoop的HA搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将编译好的6...
2019-03-20 00:42:15
113
原创 完全分布式部署Hadoop
完全分布式部署Hadoop分析：1） 准备3台客户机（关闭防火墙、静态ip、主机名称）a) 配置主机名及主机名与ip的映射vi /etc/sysconfig/network（修改主机名）vi /etc/hosts（配置主机名与ip的映射关系）2）安装jdk（rpm）3）配置环境变量 vi ~/.bash_profile 加入俩行： export JAVA_HOME=/u...
2019-03-19 00:53:47
238
原创 zookeeper配置
zookeeper配置1、获得软件包2、解压zookeeper软件包 tar -xzvf file.tar.gz -C 目录3、在/home/hadoop1主目录中新建：mkidr ~/zkdata4、进入zookeeper文件的conf中：cd /home/hadoop1/bigdatasoftware/zookeeper-3.4.13/conf先以zoo_sample.cfg为模板...
2019-03-18 01:10:59
259
原创 mapreduce
mapreduce1、概念：它是一个分布式并行计算的应用框架它提供相应简单的api模型，我们只需按照这些模型规则编写程序，即可实现"分布式并行计算"的功能。2、MAPREDUCE编程规范编程有三个部分组成：1、编写MapTask（负责map阶段的整个数据处理流程）2、编写ReduceTask（负责reduce阶段的整个数据处理流程）3、Driver：提供运行MapReduce环境...
2019-03-04 23:19:14
182
原创 客户端操作HDFS
客户端操作HDFS1、使用shell命令-help功能：输出这个命令参数手册-ls功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写–>hadoop fs -ls / 等同于上一条命令的效果-mkdir功能：在hdfs上创建目录示例：hadoop fs -mk...
2019-03-04 13:53:10
348
原创 HDFS的读写流程
HDFS的读写流程1、HDFS的写操作1、客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父父目录是否存在2、namenode返回是否可以上传3、客户端请求第一个block上传到哪几个DataNode服务器上namenode返回3个DataNode节点，分别为dn1，dn2，dn34、客户端请求dn1上传数据，dn1收到请求之后会继续调用dn2，dn2调...
2019-03-04 13:31:41
241
原创 hdfs的工作流程
hdfs分布式系统的工作流程1、NameNode功能管理元数据元数据格式：NameNode(FileName,replicas,block-ids,id2host…)NameNode对数据的管理采用了三种存储形式：内存元数据(NameSystem) 磁盘元数据镜像文件(fsImage) 数据操作日志文件（可通过日志运算出元数据）维护目录树接受客户端请求2、f...
2019-03-04 00:58:28
1833
原创 SSM框架
SSM框架1、Spring框架MVC开发模式：jsp+servlet+jdbcM：Model-模型层：jdbcV：View-视图层:jspC：Controller-控制层：ServletSSM：springmvc4+spring4+Mybatis3M：Model-模型层：mybatisV：View-视图层:jspC：Controller-控制层：Controller(sprin...
2019-03-02 22:25:12
241
转载 aop切面编程实现日志切面
1.2、AOPAOP（Aspect Oriented Programming）：面向切面编程，在不改变原程序的基础上增加新的功能。使用场景：做日志切面，权限切面。AOP的增强方式有5种：befor：前置增强，在执行目标方法前触发after：最终增强，不管异常是否发生都一定会触发afterReturn：后置增强，如果发生异常不会被执行afterThrowing：异常增强，如果发生指定...
2019-02-28 00:17:00
1041
转载 IOC控制反转，DI依赖注入
1.1、IOCIOC分别控制反转和依赖注入。所有的类都会在spring容器中登记，告诉spring你是个什么东西，你需要什么东西，然后spring会在系统运行到适当的时候，把你要的东西主动给你，同时也把你交给其他需要你的东西。所有的类的创建、销毁都由 spring来控制，也就是说控制对象生存周期的不再是引用它的对象，而是spring。对于某个具体的对象而言，以前是它控制其他对象，现在是所有对象...
2019-02-28 00:13:56
151
原创 Mybatis框架
1、Mybatis框架1.1、简介是apache的一个开源项目是与Hibernate都属于ORM框架小巧，简单易学1.2、开发步骤1.2.1、配置版在pom.xml中配置依赖<!-- mybatis orm related.....start --><dependency> <groupId>org.mybatis</gr
2019-02-28 00:10:52
78
转载 YARN上运行MapReduce程序
YARN上运行MapReduce程序主机名：hadoop101执行步骤（1）配置集群（a）配置yarn-env.sh配置一下JAVA_HOMEexport JAVA_HOME=/usr/java/default（java的 安装路径）（b）配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffleya...
2019-02-25 00:29:40
384
转载 hadoop搭建：历史服务配置启动
历史服务配置启动查看1）配置mapred-site.xmlmapreduce.jobhistory.addresshadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888### 2）查看启动历史服务器文件目录：[root@hadoop101 hadoop-2.7.2]# ls sbin/...
2019-02-25 00:19:26
2493
转载 centos升级glibc
CentOS6升级glibc库过程hadoop无法加载native库，可能原因是 glibc库版本过低，需要升级。第一：安装以下软件yum -y install zlib zlib-devel gcc gcc-c++ libtool openssl openssl-devel automake autoconf libtool pcre*第二、查看系统glibc版本库strings /l...
2019-02-25 00:09:33
1546
原创 配置hadoop（伪分布式模式）
配置hadoop（伪分布式模式）参考hadoop官网1. 配置免密钥登录2. 配置jdk配置jdk环境变量：使用 rpm -ivh安装jdk之后默认装在/usr/java/default3. 配置hadoop-env.sh文件4. 配置etc/hadoop/core-site.xml文件5. 配置etc/hadoop/hdfs-site.xml文件6. 配置etc/hado...
2019-02-24 14:58:27
301
原创 将VMware的linux虚拟机设置成静态ip
如何配置虚拟机下的Centos静态ip1、 配置虚拟机的虚拟路由器### 2、 配置物理主机的虚拟网卡（VMNET8）3、 配置虚拟主机Centos的网卡vi /etc/sysconfig/network-scripts/ifcfg-eth0，添加以下内容：ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=noneIPADDR=192.168.137.1...
2019-02-24 13:56:23
275
原创 使用VMware克隆虚拟机
使用 VMware实现克隆选中要克隆的虚拟机，虚拟机->管理->克隆解决克隆后eth0不见的问题第一步：直接修改 /etc/sysconfig/network-script/ifcfg-eth0删掉UUID HWADDR然后更改ip地址第二步：然后：rm -rf /etc/udev/rules.d/70-persistent-net.rules第三步：修...
2019-02-24 13:50:49
158
原创 在linux上搭建ftp服务器
搭建ftp服务器1）安装vsftpdyum install vsftpd2）配置vsftpd配置文件vi /etc/vsftpd/vsftpd.conf=》禁止匿名访问将配置文件中”anonymous_enable=YES “改为 “anonymous_enable=NO”=》所有的用户均不能通过cd切换到其他目录chroot_local_user=YESchroot_list_...
2019-02-24 12:44:03
103
转载 ssh免密钥登陆
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-02-24 12:41:09
228
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人