- 博客(20)
- 收藏
- 关注
RSS订阅原创 Hadoop复习(一)
Hadoop复习文章目录Hadoop复习前言一、简要描述如何安装配置apache的一个开源Hadoop二、Hadoop中需要哪些配置文件和其作用1.core-site.xml：2.hadoop-env.sh:3.hdfs-site.xml：mapred-site.xml：三.正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?(1）NameNode(2）SecondaryNameNode(3)DataNode(4）ResourceManager（JobTracker）(5
2020-12-23 09:34:45
344
原创 Kafka集群部署
集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafkajar包下载http://kafka.apache.org/downloads.htmlKafka集群部署1）解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/2）修改解压后的文件名称(看心情修改)mv kafka_2.11-0.11.0.0/ kafka
2020-12-17 10:26:02
78
原创 kafka概述
Kafka概述什么是消息队列？java高级工程师必备技能。消息中间件。来源----（队列）----处理大数据，高并发的时候，会用到。java类型的软件，小型的门户网站，不会用到。（1）点对点模式一对一，消费者主动拉取数据，消息收到后消息清除(2）发布/订阅模式一对多，数据生产后，推送给所有订阅为什么需要消息队列1）解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）冗余（kafka特性）：重复，多余，副本。消息队列把数据进行持久化直到它们已经被完全处理
2020-12-17 10:15:35
95
原创 Hive指令
创建表create table flowinfo(id string,phonenum string,mac string,ip string,url string,num1 string,num2 string,upflow int,downflow int,code string,datelong string)row format delimited fields terminated by " ";导入表load data local inpath “/home/waiwai/log0
2020-12-03 20:24:32
160
原创 zookeeper集群启动脚本
启动脚本zkStart.sh#!/bin/bashecho "start zkServer..."for i in master server01 server02doecho "start zk"+$i+"starting...loding..."ssh $i " source /etc/profile;/home/waiwai/modules/zookeeper-3.4.7/bin/zkServer.sh start"done查看运行状态#!/bin/shecho "status
2020-12-03 18:54:51
85
原创 小结
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。在运行mapperReduce之前 要先对数据进行清洗 清洗掉不符合用户要求的数据 清洗的过程只需要运行mapper程序,不需要运行reduce程序.一般用来清洗用户的行为日志文件.MapperReduce 总结1.输入数据接口 : Inputformat 默认使用的实现类是TextInputFormat使用逻辑是 : 一次读取一行文本 ,将该行的起始偏移量作为key 行内容作为va
2020-11-29 14:55:23
97
原创 spring自动装配
自动装配的概念手动装配：以value或ref的方式明确指定属性值都是手动装配自动装配：根据指定的装配规则，不需要明确指定，Spring自动将匹配的属性值注入bean中。装配模式1.根据类型自动装配：将类型匹配的bean作为属性注入到另一个bean中。若IOC容器中有多个与目标bean类型一致的bean，Spring将无法判定哪一个bean最合适该属性，所以不能执行自动装配。2.根据名称自动装配：必须将目标bean的名称和属性名设置的完全相同或3.通过构造器自动装配：当bean中存在多个构造器
2020-11-02 10:26:35
103
原创 Spring框架
Spring概述spring 是一个开源框架spring为简化企业级开发而生，使用Spring，JavaBean就可以实现很多以前要靠EJB(Enterprise JavaBean)才能实现的功能。Spring是一个IOC（控制反转）(DI)和AOP(面向切面编程)容器框架。Spring的优良特性1 非侵入式：基于Spring开发的应用中的对象可以不依赖于Spring的API（实现接口或继承类，又叫做轻量级的）2 依赖注入：DI——Dependency Injection，反转控制(IOC
2020-10-28 10:30:21
87
原创 MyBatis使用Dao实现SQL语句
先配置pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav.
2020-10-21 10:06:55
914
原创 myBatis基础
MyBatis简介MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架.MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集MyBatis可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO（PlainOld Java Objects，普通的Java对象）映射成数据库中的记录 是一个半自动ORM（Object Relation Mapping对象关系映射）框架 Hibernant是全自动的为什么用MyBatis?JDB
2020-10-19 22:08:45
85
原创 异常 DeBug
java将如何处理异常？Java通过面向对象的方法进行异常处理，把各种不同的异常进行分类，并提供了良好的接口。在Java中，每个异常都是一个对象，它是Throwable类或其它子类的实例。当一个方法出现异常后便抛出一个异常对象，该对象中包含有异常信息，调用这个对象的方法可以捕获到这个异常并进行处理。Java的异常处理是通过5个关键词来实现的：try、catch、throw、throws和f...
2019-10-29 19:56:33
227
原创 部分API
时间public class CalendarDemo { public static void main(String[] args) { Calendar cal = Calendar.getInstance(); Calendar cal1 = Calendar.getInstance(); System.out.println(cal); /...
2019-10-28 20:36:30
70
原创 String StringBuffer和 StringBuild
String 对象，以及方法。StringBuffer StringBuilderStringBuffer： 字符串缓冲类：程安全的可变字符序列。一个类似于 String 的字符串缓冲区StringBuilder: 一个可变的字符序列。此类提供一个与 StringBuffer 兼容的 API，但不保证同步.线程不安全。String 和 StringBuffer Strin...
2019-10-27 20:33:15
109
原创 方法的重载 继承 重写
方法的重载方法的重载方法的重载：在一个类中，方法名称相同，参数列表不同，与返回值无关的方法，叫做方法的重载.继承什么是继承：子类可以继承父类共有的属性和方法.继承关键字是：extends子类不能继承父类的构造方法.也就是说super()不是继承，是调用.继承的优点：实现类的重用，减少代码的冗余.子类继承了父类后：子类可以访问父类中的公有的属性，对象可以直接访问父类的属性[子类可以...
2019-10-22 17:06:00
230
原创 补:值传递 封装
值传递形式参数： 在定义方法时声明的参数叫做形式参数实际参数：调用方法时，传入的实际值，叫做实际参数。java中参数的传递java中有两种值传递的方式：一种是变量的值传递，一种是对象的引用传递。但是：java中只有一种传递，叫做值传递。如果是变量传递的是变量值，如果是对象，传递的是地址值。public class Test { public static void main(Str...
2019-10-22 16:59:12
82
原创 抽象类 和接口
抽象类什么是抽象类？abstract 修饰的类叫做抽象类,抽象类必须有子类继承.什么是抽象方法？使用abstract修饰的方法叫做抽象方法，抽象方法不能有具体的实现，子类必须重写。特征1： 抽象类不能实例化。2: 抽象类中有抽象方法，子类必须重写。3: 抽象类中可以有非抽象方法，不要求子类强制实现。4： 如果一个类中，有抽象方法，那么这个类一定是抽象类。5： 如果...
2019-10-22 16:51:47
63
原创 面向对象 封装 知识点
什么是面向对象？面向对象： 将现实生活中的事物，封装成对象，通过对象的实例化和调用，完成需求。面向对象，关注点是对象的属性和方法，而忽略事物执行的顺序或过程。面向过程： 将现实生活中的事物，按照发生的顺序使用代码顺序执行。面向过程，关注事物执行的顺序。面向对象的特征有哪些方面抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解...
2019-10-16 23:59:13
158
原创 对象中的对象10.15学习
对象中的对象在对象中拥有属性，其属性类型是其他类。对象数组：数组的类型是某个类。数组中的值是对象。package am1;public class Students1 {public String name;public String sex;public int age;public int stuNo;//学分 //引用教师类public Teacher1 tea...
2019-10-15 21:55:06
217
原创 类和对象
形式参数： 在定义方法时声明的参数叫做形式参数实际参数：调用方法时，传入的实际值，叫做实际参数。java中参数的传递java中有两种值传递的方式：一种是变量的值传递，一种是对象的引用传递。但是：你要记得。java中只有一种传递，叫做值传递。如果是变量传递的是变量值，如果是对象，传递的是地址值。public static void main(String[] args) { int a ...
2019-10-15 08:48:25
74
原创 10.12作业
package zuoye;import java.util.Scanner;/***由支付宝系统给出验证规则，需验证用户名密码，输入错误3次后锁定。*/public class Zhifubao {Scanner input = new Scanner(System.in);public void dengl(User p){ System.out.println(...
2019-10-12 21:12:25
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人