2019年09月_乔治大哥

原创异常处理——Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.4/lib/hive-comm

启动hive一直：Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.4/lib/hive-common-2.3standby异常：两个namenode节点都是Standby关闭集群，重启zkServer.sh...

2019-09-30 22:30:04 5464

原创异常处理——MysqlCan't connect to local MySQL server through socket '/v ar/lib/mysql/mysql.sock'

启动服务，没错就这么简单。。。。

2019-09-30 21:38:50 216

原创 Hadoop 00_hadoop伪分布式，完全分布式，HA搭建

伪分布式（single node setup）---------------------------安装jdk、配置环境变量，测试rpm -i jdk-7u67-linux-x64.rpmcd /usr/java/jdk1.7.0_67/vi + /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 PATH=$PA...

2019-09-30 17:04:37 194

原创 Hadoop _HDFS_JavaAPI进行读写创建

package com.henu.first;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;im...

2019-09-30 16:49:31 199

原创异常处理——上传文件到HDFS，put: `.': No such file or directory

【猪猪猪猪】看看自己的目录设置的正确吗？。。。。。。。。。。。。。。。。

2019-09-30 15:22:55 20209 4

原创异常处理——zookeeper启动成功,但是zkfcunexpected error, closing socket connection and attempting reconnectjava

Session 0x0 for server null,unexpected error, closing socket connection and attempting reconnectjava.net.ConnectException: Connection refused讲真，找了很长时间。。。网上说什么用阿里云服务器。。。额，表示不会，只好寻找更好的方法...

2019-09-29 22:05:11 4762

原创异常处理——namenode启动成功但是没有namenode进程

别乱找，记住先看日志：你会问日志在哪？我会不说？然后根据你的错误去百度。。。。。。。如果是这个错误，嗯重新格式化就好了。2019-09-29 19:24:30,527 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem:Encountered exception loading fsimageorg.apache...

2019-09-29 13:23:20 2576 4

原创 Hbase 01_初学必知

Hbase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库-利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务-主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）HBase 数据模型...

2019-09-28 22:43:31 233

原创 Hive 01_初学必知

HiveHive的产生：非java编程者对hdfs的数据做mapreduce操作Hive : 数据仓库。Hive：解释器，编译器，优化器等。Hive 运行时，元数据存储在关系型数据库里面。Hive架构：Hive的架构（1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副...

2019-09-28 22:31:10 196

原创异常处理——Another app is currently holding the yum lock

解决方案：

2019-09-28 21:35:00 1246 3

原创 java设计模式——工厂方法模式

工厂方法模式：为工厂类定义了接口，使用多态来削弱工厂类的职责。* 将简单工厂创建对象的职责分担到子工厂类中，子工厂相互独立，互相不受影响。* 工厂方法模式也有他的局限性，当面对有复杂的树形结构的产品时，就必须为* 每个产品创建一个对应的工厂类，当达到一定数量级就会出现类爆炸。* 整体结构： 1.创建产品接口* ...

2019-09-28 21:14:09 110

原创 Hadoop 06_MapReduce2.0（YARN）

Hadoop YARN （MRv2）MapReduce2.0MRv2：On YARNYARN：解耦资源与计算ResourceManager-主，核心-集群节点资源管理NodeManager-与RM汇报资源-管理Container生命周期-计算框架中的角色都以Container表示Container：【节点NM，CPU,MEM,I/O大小...

2019-09-28 14:45:03 286

原创 Hadoop 05_MapReduce1.0

MapReduce1.0为什么叫MapReduce?MR原语：map + reduce输入(格式化k,v)数据集àmap映射成一个中间数据集(k,v)àreduce (sql)“相同”的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算 (类似的sql)排序比较遍历计算各种维度花销，音乐, 其他MapReduce：MapT...

2019-09-27 22:28:48 491

原创 Hadoop 04_Hadoop2.0

Hadoop1.0的弊端导致人们再次改进技术Hadoop 2.0产生背景Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景 HANameNode压力过大，且内存受限，影扩展性 FMapReduce存在的问题响系统JobTracker访问压力大，影响系统扩...

2019-09-27 22:10:06 192

原创 Hadoop 03_核心：读写流程

Hadoop1.0核心HDFS读写流程：写流程：读流程：------------------------------------------------------------------------------安全模式namenode启动的时候，首先将映像文件(fsimage)载入内存，并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立...

2019-09-27 22:08:21 386 2

原创 Hadoop 02_初学必知

Hadoop简介：http://hadoop.apache.org分布式存储系统HDFS（Hadoop Distributed File System ）POSIX分布式存储系统提供了高可靠性、高扩展性和高吞吐率的数据存储服务分布式计算框架MapReduce分布式计算框架（计算向数据移动）具有易于编程、高容错性和高扩展性等优点。分布式资源管理框架YARN（Y...

2019-09-27 21:47:43 179

原创 Hadoop 01_基础知识

1.1 Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构集群：若干机器共同完成任务分布式：应用的拆分，独立部署和运行集群不一定是分布式，分布式一定是集群2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈1.2Hadoop的优势（分布式基础架构）技术选...

2019-09-26 22:27:32 265

原创 HiveSQL

2019-09-26 17:13:18 292

原创 cron表达式详解

Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式：　　（1）Seconds Minutes Hours DayofMonth Month DayofWeek Year　　（2）Seconds Minutes Hours DayofMonth Month DayofWeek一、结构corn从左到右（用空格隔开）：...

2019-09-25 21:32:48 863

原创 yml语法

在Springboot中，推荐使用properties或者YAML文件来完成配置，但是对于较复杂的数据结构来说，YAML又远远优于properties。本文就快速介绍YAML的常见语法格式。先来看一个Springboot中的properties文件和对应YAML文件的对比：#properties(示例来源于Springboot User guide):environments.d...

2019-09-25 21:32:14 2370 3

原创 springboot的核心

1、SpringBoot核心原理1.基于SpringMVC无配置文件（纯Java）完全注解化+内置tomcat-embed-core实现SpringBoot框架，Main函数启动。2.SpringBoot核心快速整合第三方框架原理:Maven继承依赖关系。2、SpringBoot重点1.快速整合第三方依赖：maven子父依赖关系。springboot通过引用spring-b...

2019-09-25 21:28:59 7233 1

原创 springboot入门程序

（1）设置spring boot的parent<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.0.RELEASE</vers...

2019-09-25 21:26:12 298

原创 springboot环境搭建及入门必知

springboot环境搭建导入springboot父项目依赖，目的是统一当前整合技术版本<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent&...

2019-09-25 21:21:47 541

原创无招胜有招之NIO

用户空间和内核空间Linux系统将自身划分为两部分，一部分为核心软件，即是kernel，也称作内核空间，另一部分为普通应用程序，这部分称为用户空间。我比较喜欢的一种解释话语：计算机硬件由运算器、控制器、存储器、输入输出设备等设备组成，而能让机箱中各种设备各司其职的东西叫做系统内核。内核负责驱动硬件，管理活动和分配管理硬件资源，所以它不能直接让用户操作。因为用户不能直接控制硬件...

2019-09-25 19:10:23 150

原创 Spring的Java配置

Spring的Java配置Java配置是Spring4.x推荐的配置方式，可以完全替代xml配置。1、注解Configuration 和注解@BeanSpring的Java配置方式是通过 @Configuration 和 @Bean 这两个注解实现的：1、@Configuration 作用于类上，相当于一个xml配置文件；2、@Bean 作用于方法上，相当于xml配置中的...

2019-09-25 16:40:05 258

转载 SpringBoot 注解大全

一、注解(annotations)列表@SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。@Configuration等同于spring的XML配置文件；使用J...

2019-09-25 16:09:55 139

转载大数据系列 -- 用户流失率计算

有同学问：用户流失该怎么分析？用户流失率的数据可以算，可算出来以后呢？只看数据似乎完全看不出什么流失原因，只知道用户已经X个月没有来了，也不知道看到这个能干啥。今天系统解答一下。用户流失分析常见错误☆错误1：试图挽留每一位用户。这是运营最常见的错误，很多新人都会踩这个坑。不购物了就发券，不登录了摇转盘。结果空烧经费，养出来一帮无利不起早的羊毛客。实际上，用户流失是不可避免的，天...

2019-09-24 23:03:30 5100

原创无招胜有招之Java进阶JVM（九）HotSpot

Java 版本1.8.0_121Java SE 运行环境：也就是我们所说的jre.至于hotspot：（两个字讲究）#翻译的官方文档Java HotSpot虚拟机是Java SE平台的核心组件。它实现了Java虚拟机规范，并在Java运行时环境中作为共享库交付。作为Java字节码执行引擎，它在各种操作系统和体系结构上提供Java运行时工具，例如线程和对象同步。...

2019-09-24 20:36:19 235

原创无招胜有招之Java进阶JVM（八）类加载机制

6.1.ClassLoader的两个作用和一个任务作用：1.将Class加载到JVM中2.审视每一个类应该由谁加载。任务：将Class字节码重新解析成统一要求的对象格式6.2上级委托接待机制又称双亲委托机制6.3JVM提供的三层ClassLoader 1、Bootstrap ClassLoader 根类加载器/引导类加载器负责Jav...

2019-09-24 18:50:22 196

原创无招胜有招之Java进阶JVM（七）对象模型

Java对象前言：在jvm的内存结构中，对象保存在堆中，而我们在对对象进行操作时，其实操作的是对象的引用。Java对象包含三个部分：一个Java对象可以分为三部分存储在内存中，分别是：对象头(Header)、实例数据(Instance Data)和对齐填充(Padding)。1.对象头（包含锁状态标志，线程持有的锁等标志）2.实例数据3.对齐填充对象头：...

2019-09-24 16:26:14 176

转载大剑无锋之HashMap全考点

1、为什么用HashMap？ HashMap是一个散列桶（数组和链表），它存储的内容是键值对(key-value)映射 HashMap采用了数组和链表的数据结构，能在查询和修改方便继承了数组的线性查找和链表的寻址修改 HashMap是非synchronized，所以HashMap很快 HashMap可以接受null键和值，而Hashtable则不能（原因就是eq...

2019-09-24 09:27:13 203

转载无招胜有招之Java进阶JVM（六）JVM 参数及调优

辅助信息JVM提供了大量命令行参数，打印信息，供调试使用。主要有以下一些：-XX:+PrintGC：输出形式：[GC 118250K->113543K(130112K), 0.0094143 secs] [Full GC 121376K->10414K(130112K), 0.0650971 secs]-XX:+PrintGCDetails：输出形式：[GC [DefNew...

2019-09-23 23:08:52 78

转载无招胜有招之Java进阶JVM（五）垃圾回收

垃圾检测、回收算法垃圾收集器一般必须完成两件事：检测出垃圾；回收垃圾。怎么检测出垃圾？一般有以下几种方法：引用计数法：给一个对象添加引用计数器，每当有个地方引用它，计数器就加1；引用失效就减1。好了，问题来了，如果我有两个对象A和B，互相引用，除此之外，没有其他任何对象引用它们，实际上这两个对象已经无法访问，即是我们说的垃圾对象。但是互相引用，计数不为0，导致无法回收，所以还有另一种方...

2019-09-23 23:02:11 170 1

转载 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'

故障描述：启动mysql报错：ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)1.先查看mysql启动状态#/etc/rc.d/init.d/mysqld status2.mysql.sock位置查找与验证？# fi...

2019-09-23 20:03:45 679

原创无招胜有招之Java进阶JVM（四）内存模型plus

一、计算机内存模型：在多CPU的系统中，每个CPU都有多级缓存，一般分为L1、L2、L3缓存，因为这些缓存的存在，提供了数据的访问性能，也减轻了数据总线上数据传输的压力，同时也带来了很多新的挑战，比如两个CPU同时去操作同一个内存地址，会发生什么？在什么条件下，它们可以看到相同的结果？这些都是需要解决的。所以在CPU的层面，内存模型定义了一个充分必要条件，保证其它CPU的写入动作对该C...

2019-09-23 19:14:04 153

转载无招胜有招之Java进阶JVM（三）内存模型

为什么要有内存模型在介绍Java内存模型之前，先来看一下到底什么是计算机内存模型，然后再来看Java内存模型在计算机内存模型的基础上做了哪些事情。要说计算机的内存模型，就要说一下一段古老的历史，看一下为什么要有内存模型。内存模型，英文名Memory Model，他是一个很老的老古董了。他是与计算机硬件有关的一个概念。那么我先给你介绍下他和硬件到底有啥关系。CPU和缓存一致性我们应该...

2019-09-23 18:29:06 142

原创 springMVC各种注解及解释和使用

3、@RequestMapping 注解Spring MVC 使用 @RequestMapping 注解为控制器指定可以处理哪些 URL 请求，@RequestMapping把请求与处理请求的方法映射在一起。Spring MVC 使用 @RequestMapping 注解为控制器指定可以处理哪些 URL 请求，@RequestMapping把请求与处理请求的方法映射在一起。4、窄化请求...

2019-09-23 18:23:44 1332

原创大剑无锋之HTTP连接、Tcp三次握手四次挥手、Tcp状态

Http请求：总的来说：DNS解析 TCP连接发送HTTP请求服务器处理请求并返回HTTP报文浏览器解析渲染页面连接结束【补充】三次握手和四次挥手：保证数据安全和完整性。坦白来说就是为了双方的接收和发送都正常。打个比方：A是客户端，B是服务器端。A向B寄了一封信，此时A的发送和接收都不能确定正常。然后B收到后，...

2019-09-22 13:51:51 238

原创无招胜有招之Java进阶JVM（二）

堆与栈的区别： 1.栈内存存储的是局部变量而堆内存存储的是实体； 2.栈内存的更新速度要快于堆内存，因为局部变量的生命周期很短； 3.栈内存存放的变量生命周期一旦结束就会被释放，而堆内存存放的实体会被垃圾回收机制不定时的回收。问题：java中的对象一定在堆上分配吗？不一定，在Java中，典型的对象不再堆上分配...

2019-09-22 12:36:55 152

原创无招胜有招之Java进阶JVM（一）

Class文件格式：Java虚拟机中定义的Class文件格式。每一个Class文件都对应着唯一一个类或接口的定义信息，但是相对地，类或接口并不一定都得定义在文件里（譬如类或接口也可以通过类加载器直接生成）。我们只是通俗地将任意一个有效的类或接口所应当满足的格式称为“Class文件格式”，即使它不一定以磁盘文件的形式存在。推荐：https://blog.csdn.net/tyyj90/...

2019-09-22 11:52:10 173

MyScala.rar

基于servlet&jsp;&mysql;的表格增删改查操作.rar

tomcat03.rar

空空如也