weixin_41507573的博客

原创 XML约束详解

1. 引言什么是约束？在XML技术里，可以编写一个文档来约束一个XML文档的书写规范（与xml语法无关），这称之为XML约束。为什么需要XML约束？为了保证数据的规范性和安全性。 2. 约束DTD约束：语法简洁，共能比较单一。Schema约束：语法复杂，功能比较强大。 3. 学习目的 要求能看懂，并且能根据约束写出正确的xml文档。 4. DTD4.1导入（1）内部导入DTD约束和xml写在一个文...

原创 安装Anaconda常见问题

安装Anaconda常见问题一.无法安装Jupyter notebook拓展windows系统mac系统二.安装anconda完成后目录下的文件很少并且无法启动anconda三.Jupyter notebook无法跳转四.jupyter 如何自定义启动目录五.在加载Jupyter Notebook Extensions时出错六.mac zsh环境下无法安装拓展1.zsh切换到bash环境后执行安装拓展命令七.启动jupyter notebook报错一.无法安装Jupyter notebook拓展wind

原创 小白学shell

--------------------------shell script部分------------------------一、什么是shellshell是c程序写一门脚本语言，它主要承担是用户和linux系统使用的桥梁。shell编程指两方面，一个是对shell程序进行编程。一个是使用shell进行编程。二、shell有那些解释器？/bin/bash/bin/sh/bin/tcsh/bin/ksh (需要安装)三、shell运行的环境、运行方式.shell运行的环境:shell需

原创 Zookeeper分布式锁原理

分布式锁介绍 分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问，以达到保证数据的一致性。分布式锁获取思路 1．获取分布式锁的总体思路 在获取分布式锁的时候在locker节点下创建临时顺序节点，释放锁的时候删除该临时节点。客户端调用createNode方法在locker下创建临时顺序节点，然后调用getChildren(“locker”)来获取locker下面的所有子节点，注意此时不用设置任何Watcher。客户端获取到所有的子节点path之后，如...

原创 Kafak优化思路

主要优化原理和思路kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点：利用了磁盘连续读写性能远远高于随机读写的特点； 并发，将一个topic拆分多个partition。要充分发挥kafka的性能，就需要满足这两个条件kafka读写的单位是partition，因此，将一个topic拆分为多个partition可以提高吞吐量。但是，这里有个前提，就是不同partition需 要位于不同的磁盘（可以在同一个机器）。如果多个partition位于同一个磁盘，那么意味着

原创 Kafka原理基本组件

Kafka一、Kafka是什么 Kafka是一种高吞吐量的分布式发布--订阅消息系统。它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消...

原创 Kafka集群搭建

----------------------------------------------------------KafKa环境的搭建-------------------------------------1.需要安装JDK1.8以上2.安装zk集群3.安装kafka4.核心配置文件： consumer.properties #配置消费者属性 producer.properties # 生产者属性 server.properties #服务broker消息...

原创 YARN工作流程总结

yarn 工作流程1.client 向resourceManager申请提交一个Application2.resourceManager返回资源提交的路径给client3.client 提交job运行所需要的资源文件到路径4.client 资源提交完毕后，向resourceManager申请运行AppMaster5.resourceManager 将client的请求初始化成一个task（FIFO调度策略队列：先进先出）6.nodemanager 领取 resourceManager 发送的t

原创 HDFS的工作机制

hdfs的工作机制4.1 概述HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件系统的元数据管理、负责客户端用户的请求 DataNode 负责管理用户的文件数 据块 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并存放在不同的datanode上 Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量 .

原创 jupyter notebook 拓展安装

jupyter notebook 拓展安装1. 打开cmd2. 输入conda activate base3.pip install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simple/4.pip install jupyter_nbextensions_configurator -i https://pypi.tuna.tsinghua.edu.cn/simple/5.jupyter c...

原创 sql练习题（经典）

CREATE DATABASE student;USE student;SELECT * FROM student;-- 学生表CREATE TABLE student(    sid INT PRIMARY KEY AUTO_INCREMENT,    sname VARCHAR(20),    sage INT,    ssex CHAR(1));INSERT INTO student (sn...

原创 UBEN模式的好处

1、mapreduce.job.ubertask.enable=true 首先你要启用uber模式，默认是false2、map数量<=9,3、reduce<=1,4、所有输入文件的总长度<=默认块大小（128M），5、mapreduce.map.memory.mb（默认1024）<=内存需求(内存需求的大小由yarn.app.mapreduce.am.resource.mb...

原创 MapReduce大量小文件问题

1.默认情况下，TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给maptaskz这样，如果有大量小文件，就会产生大量的maptask，处理效率及其低下2.优化方法：最好的办法：在数据处理系统的最前端（预处理/采集），就将小文件合并成大文件，再上传到HDFS做后续分析补救措施：如果已经是大量小文件存在hdfs中了，可以使用另一种Iinput...

原创 LINUX ifconfig没有ip

前提是：当你的网卡什么的都配置好的情况下：NAT方式上不了网时，应该是与VMware相关的服务没有打开，开启服务：点开始菜单-》运行-》键入以下三条命令：net start "VMware Authorization Service" net start "VMware DHCP Service"net start "VMware NAT Service"...

原创 NameNode格式化失败问题的解决

NameNode格式化失败问题的解决15/04/08 10:05:43 INFO namenode.NameNode: registered UNIX signal handlersfor [TERM, HUP, INT]15/04/08 10:05:43 INFO namenode.NameNode: createNameNode [-format]15/04/08 10:05:43 WARN ...

原创 XML解析

Xml解析一、方式1. DOM解析JAXP sun公司JDOM 第三方DOM4J 第三方 最好用2. Sax解析原装SAX解析 sun公司 二、DOMDOM树  理解：将文档解析成文档对象，并且文档中的各项内容都被封装成了单独但有关系的对象节点（node）,通过对树中节点的操作就能实现对文档的操作。 三、DOM4J使用方法1. 在项目根目录下添加lib文件夹2. 将dom4j-1.6.1.jar复...

原创 会话详解

 1. 引言 生活中的会话：人和人之间一次沟通的过程。Web技术中：打开浏览器访问资源结束后关闭浏览器，这个活动的周期则为浏览器和服务器的会话。 2. Cookie 常用方法 //创建cookie对象Cookie cook = new Cookie("name","xxx");//响应信息中添加Cookie//res.setHeader("Set-Cookie", "name=lisi");res...

原创 JSP核心标签

核心标签库 1. 引用标签库（tld文件） 1. 在jsp文件中添加taglib指令<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c" %>2. 找到标签库文件路径：项目类库JSTL1.2.2Library -> jstl-impl.jar -> META-INF -> c.tld3. tagli...

原创 JSP笔记

1. 引言 Servlet: 一种java小程序，开发动态web资源的技术。JSP: 开发动态web资源的技术（跟html结合）。 综合：jsp是Servlet，但是Servlet不能说是jsp。 2. jsp运行原理 第一次访问jsp或修改后访问jspA) 将jsp翻译成java文件B) 将java文件编译成class文件C) 通过反射创建对象D) 执行init方法E) 执行Service方法 ...

原创 HadoopHistoryServer

原创 Hadoopresourmanger

原创 hadoop集群成功

原创 HTTP协议详细介绍

 1. Http协议http协议就是规范浏览器和服务器之间通讯数据格式的一个标准。 2. 浏览器和服务器通讯示意图 请求html中的图片有多少个不同的图片（资源），就有多少次请求（html一次，每个图片各一次） 2. HTTP请求#请求行 GET /books/java.html HTTP/1.1协议版本：HTTP/1.0：每请求和响应一次，就关闭连接。HTTP/1.1：可以在一次连接中，可以多次...

原创 servlet超详细笔记

 1. 引言Servlet是一种小型的Java程序，它扩展了Web服务器的功能。（作用：收集数据，处理请求，跳转页面） 2. 创建详见代码 3. 路径<url-pattern>/demo</url-pattern>注意：1.url-pattern中的路径前面必须加/或*2.优先级：精确匹配优先级最高，模糊匹配次之。模糊匹配中*.xxx优先级最低。A. 精确匹配路径前加 / ...

原创 JDBC总结

JDBC *****连接数据库*首先需要 //定位一个地址 //jdbc协议名：子协议（数据库协议名）：//服务器IP地址 private String url="jdbc:mysql://localhost:3306/day15"; //数据库用户名 private String user="root"; //数据库密码 private String password="root";1.得到驱动...

原创 IO流总结

IO流    |-IO:input output 输入输出（一内存为基准，从外围设备读取数据到内存，叫input,反之叫output）    |-流：数据的流动（系统资源）    |-IO流：同过调用系统资源，实现数据流动的一种技术    数据在计算机中的表现为文件File类：所在包：java.io意义：文件和目录路径名抽象的表示形式注意：File对象表示任意文件，可以存在，也可以不存在文件路径书...

原创 集合体系图

原创 集合总结

1.为什么出现集合类？2.因为我们经常使用大量的对象，根据对象的数量或操作(增，删，改，查)的不同3.集合就是存储对象最常用的一种方式4.我们使用不同的容器(数组已经不能满足需求)，所以要学习不同的集合 * 集合类和数组的区别： *         相同点：都是容器，都可以存储对象 *         不同点：数组中可以存储基本数据类型，长度是固定的，而集合只能存储对象 *         集合长...

原创 java面向对象总结

/*1.this关键字    this代表其所在函数所属对象的引用(哪个对象调用函数，this就代表哪个对象)    什么时候使用this关键字呢？    当方法中的参数和属性名相同时，使用this加以区分    当方法中访问了对象的数据时，方法持有thisthis内存图理解：    1.首先main方法进栈然后Person p 进栈    2.然后在堆内存中开辟了一块空间new 了一个Perso...

原创 Throwable和Exception

Throwable 类是 Java 语言中所有错误或异常的超类。只有当对象是此类（或其子类之一）的实例时，才能通过 Java 虚拟机或者 Java throw 语句抛出。类似地，只有此类或其子类之一才可以是 catch 子句中的参数类型。两个子类的实例，Error 和 Exception，通常用于指示发生了异常情况。通常，这些实例是在异常情况的上下文中新近创建的，因此包含了相关的信息（比如堆栈跟踪...

翻译 JAVA 整数溢出问题

JAVA 整数溢出问题int 类型在 Java 中是“有符号”的。所谓“有符号”就是有正负。在计算机中用二进制表示所有的信息，这个符号的区别就看首位。首位如果是 0，就是正的，1 就是负的。正与负的区别也因此就在于取反加一。这不仅在 Java，在任何语言中都是这样的。所谓数值溢出就会出现这个现象。Java 中的 int 总共就 32 位，正数上限的情况首位也只能是 0，其他位都可以是 1（就是 2...

原创 hadoop环境配置

集群笔记：添加用户hadoop配置防火墙：Service iptables start -- 开启防火墙Service iptables status -- 查看防火墙的状态Service iptables stop -- 关闭防火墙Chkconfig iptables --list -- 查看防火墙设置状态Chkconfig iptables off -- 下次开机的时候关闭防火墙 1. 需要j...

原创 String类

String类的一些方法：返回值        方法名                    参数        char        charAt(int index)        index - char 值的索引。char[]        toCharArray()            将此字符串转换为一个新的字符数组。int            length()         ...

原创 StringBufferl类

StringBuffer类的一些方法：返回值            方法名                    参数StringBuffer    append(boolean b)         将 boolean 参数的字符串表示形式追加到序列。char             charAt(int index)         返回此序列中指定索引处的 char 值。    String...

原创 java中字符串的比较

java中字符串的比较1 总体来说java中字符串的比较是==比较引用，equals 比较值的做法。（equals 对于其他引用类型比较的是地址，这是因为object的equals方法比较的是引用），但是不同的声明方法字符串的比较结果也是不同的。    例如：  String str1=new String(a);        String str2=new String(a);        ...

原创 java中接口的作用

java接口的用处主要体现在下面几个方面： 　　（1）通过接口可以实现不相关类的相同行为，而不需要了解对象所对应的类。 　　（2）通过接口可以指明多个类需要实现的方法。 　　（3）通过接口可以了解对象的交互界面，而不需了解对象所对应的类。  　　Clkrst给出了更详细的解释：　　类描述了一个实体，包括实体的状态，也包括实体可能发出的动作。 　　接口定义了一个实体可能发出的动作。但是只是定义了这些...