doom156-CSDN博客

原创 Elasticsearch安装部署

一、Elasticsearch配置流程1.上传并解压Elasticsearch安装包tar -xzvf elasticsearch-6.2.4.tar.gz2.在elasticsearch-6.2.4文件夹下新建data和logs文件夹mkdir datamkdir logs3.修改elasticsearch-6.2.4/config文件夹下的配置文件elasticsearch.yml（修改后每行代码前面不能有空格且：后有空格）vim elasticsearch.yml# ------

2020-10-14 19:12:33 199

原创 storm安装部署

一、前置环境准备：1.准备三台虚拟机2.配置ip并关闭防火墙3.配置主机名和ip映射4.ssh免密登录5.安装jdk和zookeeper二、安装流程：1.上传并解压storm安装包tar -xzvf apache-storm-1.1.0.tar.gz2.进入storm文件夹下创建data目录mkdir data3.进入storm/conf文件夹下编辑storm.env.shvim storm-env.shexport JAVA_HOME=/opt/module/jdkexpo

2020-10-14 18:56:18 536

原创 flume安装部署

一、flume安装1.上传安装包并解压缩（安装包可在官网下载）2.配置conf目录下的flume-env.sh.template：cp flume-env.sh.template flume-env.shvim flume-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_144flume安装完成。二、Telnet安装1.分别安装三个rpm包（可用yarn下载）：rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpmrp

2020-10-12 18:46:17 247

原创 Sqoop环境配置

1.上传并解压安装包tar -xzvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz2.修改配置文件sqoop-1.4.7/conf：cp sqoop-env-template.sh sqoop-env.shcp sqoop-site-template.xml sqoop-site.xmlvim sqoop-env.shexport HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2export HADOOP_MAPRED_

2020-09-29 19:06:17 298

原创 Hbase环境部署

一.前置条件：zookeeper和hadoop正常部署，并且启动zookeeper、hdfs、yarn后可以进行环境配置二.解压Hbasetar -xzvf hbase-1.3.1-bin.tar.gz三.配置Hbase1.hbase-env.sh文件配置export JAVA_HOME=/opt/module/jdk1.8.0_144export HBASE_MANAGES_ZK=falseexport HBASE_CLASSPATH=/opt/module/hbase/confex

2020-09-22 22:17:39 111

原创 HIVE表的优化

一.大表小表join将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。①：建大表、小表和join后表create table bigtable(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row for

2020-09-21 18:30:36 132

原创 HIVE安装说明

一.安装1.解压代码：tar -xzvf apache-hive-1.2.1-bin.tar.gz2.添加软连接ln -s apache-hive-1.2.1-bin hive3.修改hive-env.sh.template文件名为hive-env.shmv hive-env.sh.template hive-env.sh（conf）4.配置hive-env.shvim hive-env.sh（conf）export HADOOP_HOME=/opt/module/hadoop-2

2020-09-16 18:44:53 88

原创 zookeeper集群架构

一.集群规划：在hosts节点上部署zookeeper： vim /etc/hosts192.168.2.101 node1 192.168.2.102 node2 192.168.2.103 node3二.在node1节点上安装zookeeper并配置环境1.在安装根目录下新建zkdata文件夹mkdir zkdata2.重命名zookeeper-3.4.10/conf目录下zoo_sample.cfg为zoo.cfgmv zoo_sample.cfg zoo.cfg3.配置

2020-09-15 18:54:00 200

原创 hadoop编译源码

1.确保网络正常2.安装jar包：依次安装下列jar包，确保安装成功。通过网络使用yum安装glibc-headers gcc-c++ make cmake openssl-devel ncurses-devel svn gcc*autoconf automake libtool cmake（一行）3.解压hadoop并编译①解压hadoop后进入src文件夹②输入mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/

2020-09-08 19:45:27 475

原创 linux快捷键和常用命令

快捷键：①Ctrl+c：停止进程运行②Ctrl+l：清理屏幕代码（将旧代码移到最上面）③tab：补全文件名④Ctrl+alt切换Linux和Windows常用命令①pwd：显示当前位置②mkdir：创建新目录③rm：删除目录④cd：切换目录⑤cp：复制文件⑥mv：移动或重命名文件⑦cat：查看文件内容⑧useradd:添加新用户⑨passwd：设置用户密码⑩userdel：删除用户...

2020-09-06 17:07:27 88

原创 Linux学习day4

1.本地yum仓库配置①挂载centos镜像到/mnt/cdrom目录②安装httpd（yum install -y httpd）并启动httpd服务（service httpd start）③配置yum源到httpd中④备份本机yum源并进行配置将源指向自己`[root@node1 /]# cd /etc/yum.repos.d/[root@node1 yum.repos.d]# cp CentOS-Base.repo CentOS-Base.repo.bak[root@node1 yum.

2020-09-03 18:04:34 92

原创 linux学习day3

1.Linux下Tomcat安装①使用xftp上传Tomcat安装包②解压缩（tar -xzvf tomcat-2.8.2.tar.gz -C /opt/module/）③找到confr文件夹中的server.xml文件复制备份并进行配置④修改端口配置完成2.Linux下nginx安装①将nginx导入系统。②将四个压缩包解压缩③在解压后的文件目录下找到configure/conf文件运行，确定环境是否适合安装。④输入make && make install即可进行

2020-09-02 22:37:22 94

原创 java登录页面

①超链接中添加class="mini-button"可做为超链接按钮② 账号/密码输入错误提示function onPwdValidation(e) { if (e.isValid) { if (e.value.length < 5) { e.errorText = "密码不能少于5个字符"; e.isValid = false;

2020-08-28 18:40:30 154

原创 java项目（复习）day1

mybatis自动生成文件①需要数据库连接jar包和generator插件②在任意盘符下新建目录（bat）③将两个jar包放入新建目录（bat）中并在该目录下新建src目录（用于存放生成的文件）④在目录（bat）下新建generatorConfig.xml文件，输入以下内容<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD

2020-08-27 18:17:48 110

原创 javaEE学习day3

1.springMVC①MVC处理流程：②MVC优点：*多视图共享模型，提高了代码的可重用性。*耦合度较低。*控制器提高了应用程序的灵活性和可配置性。完美的系统架构 = 松耦合+高重用性+高扩展性③springMVC框架：2.springMVC拦截器①拦截器（Interceptor）：依赖于web框架，由于拦截器是基于web框架的调用，因此可以使用Spring的依赖注入进行一些业务操作，同时一个拦截器实例在一个controller生命周期之内可以多次调用。但是缺点是只能对contro

2020-08-23 15:26:53 143

原创 javaEE学习day2

**1.面向切面编程AOP**①AOP原理：* 将复杂的需求分解出不同方面，将散布在系统中的公共功能集中解决。* 采用代理机制组装起来运行，在不改变原程序的基础上对代码段进行增强处理，增加新的功能。②AOP是一种思想，并非具体的技术，通过java动态代理机制就能很容易的实现AOP思想。③横切关注点的特点就是：他们经常发生在核心关注点的多处，而各处基本相似，比如权限认证、日志、事务处理。AOP的作用在于分离系统中的各种关注点，将核心关注点和横切关注点分离开来。2.AOP相关术语①增强：用于

2020-08-18 16:23:50 133

原创 javaEE学习day1

1.MVC：①MVC优点：*代码耦合度较低*代码可复用*对开发者水平要求低②MVC模型：首先用户的请求会到达 Servlet，然后根据请求调用相应的 Java Bean，并把所有的显示结果交给 JSP 去完成，这样的模式我们就称为 MVC 模式。③：MVC原理图2.spring①结构图：核心框架由Core、Context和Beans组成，bean是其中最重要的核心。②：spring依赖注入机制，所有注入关系在 Ico中存放和管理。③spring优点：*基于Spring开发的应用

2020-08-17 18:31:17 153

原创 mysql驱动使用教程

1.获得mysql驱动2.eclipse——>file——>new——>other输入java找到javaproject点击next3.选择使用的jdk版本4.创建文件夹lib，将mysql驱动放入文件夹5.右键点击驱动选择build path，点击add to build path6.ok...

2020-08-16 15:53:52 565

原创 javaweb学习day6

1.图片滚动：网上可以搜索到大量不同格式的滚动效果。html：css：2.bootstrap:网址：https://www.bootcss.com/好用的web开发框架，下载解压后添加进eclipse即可使用。**3.销毁session：**①直接销毁：session.invalidate();②清除session数据：session.removeAttribute(“username”);4.更改网页图标：像是这样的网页图标更改：打开Tomcat文件夹下web.

2020-08-12 18:43:26 112

原创 javaweb学习day4

1.HTTP：①状态码：200：成功404：丢失或访问权限不够302：重定向500：后台异常②：http在一次响应后会关闭连接，再次请求时会打开新的连接。2.Cookie和Session①：cookie将数据存在本地，session将数据存在服务器上。②：不同的浏览器访问同一个服务器，服务器也会根据浏览器的不同，返回不同的Cookie。③：回话级cookie会在浏览器关闭时释放。持久化级cookie会一直保存在本地，到达指定时间时释放。④：只有在服务器端调用request.ge.

2020-08-10 18:54:08 160

原创 javaweb学习day2

1.tomcat安装1.下载压缩包2.解压缩3.点击bin目录下的startup。bat启动（启动成功）4.打开网页输入localhost：8080或127.0.0.1:8080启动网页2.xml1.文档构成：2.转义字符：

2020-08-06 18:50:04 142 1

原创 java web 学习 day1

1.超链接<title>网页名</title></head><body> <a href="pages/target.html">网页内容</a></body>2.插入图片<body> <img alt="加载图片失败" src="img/a.jpg"></body>3.列表：无序列表使用有序列表使用使用包裹数据4.CSS常用样式字.

2020-08-05 17:31:07 149

原创重温经典——java学习day6

1.接口：使用接口可以解决抽象类中一个类只能使用一次继承关系的问题。注意：在定义接口的时候，接口中的所有方法和常量自动定义为public。接口中定义的变量默认是public static final 型，且必须赋初值。2.IO流与文件读写1.字节流在操作时不需要使用缓冲区，字符流则需要缓冲区。3.字符串使用new开辟新的内存空间String str1 = “Hello”;String str2 = new String(“Hello”);String str3 = s.

2020-08-04 17:59:11 900

原创重温经典——java学习day5

1.抽象类：由于部分类没有实例对象，所以需要使用引用指向它的实例类。抽象类需要注意以下几点：abstract放在class前，指明该类是抽象类abstract放在方法声明中，则该方法是抽象方法，抽象方法没有方法体一个抽象类可以含有多个抽象方法，也可以含有已实现的方法抽象方法必须在子类中被实现，除非子类是抽象类抽象类不能实例化，但可以指向一个实现它的子类对象；abstract不能与final同时修饰一个类；abstract不能和static、private、final或na.

2020-08-03 16:48:57 112

原创重温经典——java学习day4

分层开发：分层开发是一种化大为小，分而治之的软件开发方法。***分层的特点：每一层都有自己的职责。上一层不用关心下一层的实现细节，上一层通过下一层提供的对外接口来使用其功能。上一层调用下一层的功能，下一层不能调用上一层功能。分层开发的好处：各层专注于自己功能的实现，便于提高质量。便于分工协作，提高开发效率。便于代码复用。便于程序扩展。...

2020-07-31 16:22:50 125

原创重温经典——java学习day3

1.异常处理：异常原因：1.用户输入了非法数据。2.要打开的文件不存在。3.网络通信时连接中断，或者JVM内存溢出处理流程：java异常分类结构图：2.jdbc1.JDBC是Java数据库连接技术的简称，提供连接各种常用数据库的能力2.工作原理：***使用流程：try {//1.加载JDBC驱动Class.forName(JDBC驱动类);}… …try {//2.与数据库建立连接Connection con=DriverManager.getConnecti.

2020-07-29 18:18:39 136

原创重温经典——java学习day2

1.访问修饰符***Java中定义了private（私有的）、protected（受保护的）和public（公共的）的访问修饰符，同时也定义了一个缺省的访问级别，用于声明类、属性、方法的访问权限。使用public访问修饰符，类的成员可被同一包或不同包中的所有类访问，也就是说，public访问修饰符可以使类的特性公用于任何类；使用protected访问修饰符允许类本身、同一包中的所有类和不同包中的子类访问；如果一个类或类的成员前没有任何访问修饰符时，它们获得缺省的访问权限，缺省的可以被同一包中.

2020-07-28 15:59:40 132

doom156的博客