weixin_42821133的博客

转载 MySql备份工具mysqldupm和mysqlhotcopy

1).Mysql备份类型1）按照备份时对数据库的影响分为Hot backup（热备）：也叫在线备份。指在数据库运行中直接备份，对正在运行的数据库没有任何影响。Cold backup（冷备）：也叫离线备份。指在数据库停止的情况下备份。Warm backup（温备）：在数据库运行时备份，会加一个全局锁以保证数据的一致性，会对当前数据库的操作有影响。2）按照备份后的文件内容分为逻辑备份：指备...

转载 Oracle忘记用户名和密码解决办法及授权指令

Oracel忘记用户名密码怎么办？打开cmd窗口命令工具以系统身份登录：输入sqlplus用户名：sys 密码：manager as sysdbaC:\Users\Administrator>sqlplusSQL*Plus: Release 19.0.0.0.0 - Production on 星期六 4月 18 10:37:19 2020Version 19.3.0.0...

原创 hive行转列、列传行、侧视图使用案例

直接上干货！数据explode_lateral_view.txt：a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{“source”:“7fresh”,“monthSales”:4900,“userCount”:1900,“score”:“9.9”},{“source”:“jd”,“monthSales”:2090,“userCount”:789...

原创 hive表脏数据和null值处理方案

hive表脏数据情况及解决方案：1.制表分隔符和数据列分割符不一致案例：本地文件导入hive表出现查询数值为null值本地导入数据入hive表sql：hive> load data local inpath "/home/01/temp/employee.txt" overwrite into table employee;Loading data to table emp.emp...

原创 spring_mvc.xml关于http://www.springframework.org/schema/mvc/spring-mvc.xsd 报错解决方案

报错提示：Referenced file contains errors (http://www.springframework.org/schema/mvc/spring-mvc.xsd). For more information, right click on the message in the Problems View and select “Show Details…”解决办法...

原创 web.xml 关于web-app_2_5.xsd 报错 的解决方案

报错前web.xml内容：<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.s...

原创 通过反射获取类的属性并赋予属性值方法

在开发中使用反射获取类的属性，然后做其他的操作，使用getFields()获取的时候没有任何的值，查询了一下自己以前的代码，发现getDeclaredFields()，区别如下：相同点 ：getFields()方法和getDeclaredFields()方法都是获取类的属性;不通点：getField()是获取的类的public声明的属性，包括集成而来的public修饰的属性； ...

转载 基于Oracle数据库的PLSQL编程以及存储过程的创建和使用

前言本文简单记录下oracle数据库中，如何用plsql编程、以及存储过程的创建和使用。相关的概念我就不列举了，大家不清楚的可以自行搜索，本篇主要列举实际的sql语法。那plsql编程，大家可以使用windows的命令行，也可以使用工具进行编写调试，我这边主要使用Oracle Sql Developer来举例。1 plsql编程1.1 程序结构首先说说plsql的程序，可以分为3个部分...

原创 明明新建了个mysql的数据库，但是当你往这个数据库里的表里插入数据时，却提示找不到这个数据库

下面的fluxdb是我新建的数据库mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || fluxdb || hive || mysql ...

转载 HttpServletRequest 和 HttpServletResponse详解

用HttpServletRequest，现在整理如下，以便以后查阅请求与响应相关的类和接口非常多，下表是主要的与请求和接口相关的类以及接口。主要的与请求和接口相关的类及接口方 法说 明ServletInputStreamServlet的输入流ServletOutputStreamServlet的输出流ServletRequest代表Servl...

转载 IDEA创建javaWeb以及Servlet简单实现

准备：安装jdk1.7安装tomcat1.8一、创建并设置javaweb工程1.创建javaweb工程File --> New --> Project…设置工程名字：创建完成后工程结构如下：Web工程设置2.1 在WEB-INF 目录下点击右键，New --> Directory，创建 classes 和 lib 两个目录classes目录用于...

原创 Spring框架1---一个简单的spring项目

Spring框架：官方网站: http://spring.io官方网站的开发包下载: http://repo.spring.io/release/org/springframework/spring/spring框架主要包含:核心技术:inversion of control 简称IOC 控制反转dependency injection 简称DI 依赖注入AOP 面向切面的编程数据...

转载 Spring之三种注入方式及集合类型注入

本文主要讲解Spring开发中三种不同的注入方式，以及集合数据类型的注入，仅供学习分享使用，如有不足之处，还请指正。概述Spring的注入方式一共有三种，如下所示：通过set属性进行注入，即通过属性的geter,seter方法进入，如果没有对应的方法，就会报错。通过构造函数进行注入，通过类的构造函数进行注入，如果参数个数和构造函数对应不上，也会跑异常。通过p标签进行注入，通过引入p标签的...

转载 Spring的各个jar包的作用介绍

spring4中各个jar包的介绍:Spring AOP：Spring的面向切面编程，提供AOP（面向切面编程）的实现Spring Aspects：Spring提供的对AspectJ框架的整合Spring Beans：Spring IOC的基础实现，包含访问配置文件、创建和管理bean等。Spring Context：在基础IOC功能上提供扩展服务，此外还提供许多企业级服务的支持，有邮件服...

转载 Shell脚本

shell脚本使用考虑到Shell脚本的命令限制和效率问题，下列情况一般不使用Shell：l 资源密集型的任务，尤其在需要考虑效率时（比如，排序，hash等等）。l 需要处理大任务的数学操作，尤其是浮点运算，精确运算，或者复杂的算术运算（这种情况一般使用C++或FORTRAN 来处理）。l 有跨平台（操作系统）移植需求（一般使用C 或Java）。l 复杂的应用，在必须使用结构...

转载 Linux常用的命令

命令提示符[root@localhost ~]#root 当前登录用户localhost 主机名~ 当前所在的目录（家目录）超级用户的提示符普通用户的提示符是$相对路径和绝对路径相对路径：参照当前目录绝对路径；从根目录开始 查找，一级一级递归查找linux 可以识别目录补全 和命令补全命令格式命令 [选项] [参数]注意：个别的命令不遵循这个规定当有 多个选项...

原创 Spark连接MySQL遇到的问题

在Xshell上Spark通过命令行读取MySQL库里的数据遇到的问题在执行下面代码前我已经将mysql驱动的jar复制粘贴到Spark安装目录下jars目录里代码先附上：scala> import org.apache.spark.sql.SQLContextimport org.apache.spark.sql.SQLContextscala> val sqc=new ...

转载 Spark连接MySQL的几种方式

一、spark连接mysql数据库的第一种方式：def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master("local").appName("createdataframefrommysql") .config("spark.sql.shuffle.p...

转载 spark集群模式下textFile读取file本地文件报错解决

前言如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。但是如果spark-shell --master指定spark集群的话，这样运行就会有问题，会报找不到文件的错误。解决方案那么解决的方案其实也比较简单，就是在所有的集群节点上相同的path下上传该文件。然后在textFile(“fi...

转载 hive设置map和reduce数量,可参考

hive的map和reduce数量如何确定map的数量确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的 文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种举例：文件不足128M则当做一个块，大于128M则拆分 input目录下有七个文件，大小均为64M，则共7个mapinput目录下有...

转载 MYSQL高可用解决方案

注：本文转载自新浪微博_Mr-Data，感谢博主分享！转载地址：http://blog.sina.com.cn/one2nine什么是高可用性？很多公司的服务都是24小时*365天不间断的。比如Call Center。这就要求高可用性。再比如购物网站，必须随时都可以交易。那么当购物网的server挂了一个的时候，不能对业务产生任何影响。这就是高可用性。高可用性2个问题：如何共享数据或同步...

转载 Kryo序列化介绍

Spark序列化概述在Spark的架构中，在网络中传递的或者缓存在内存、硬盘中的对象需要进行序列化操作，序列化的作用主要是利用时间换空间：分发给Executor上的Task需要缓存的RDD（前提是使用序列化方式缓存）广播变量Shuffle过程中的数据缓存使用receiver方式接收的流数据缓存算子函数中使用的外部变量​ 上面的六种数据，通过Java序列化（默认的序列化方式）形成一个...

转载 Scala类的使用详解

本问转载自：http://www.mamicode.com/info-detail-942754.html感谢博主分享！Scala中的类摘要:在本篇中，你将会学习如何用Scala实现类。如果你了解Java或C++中的类，你不会觉得这有多难，并且你会很享受Scala更加精简的表示法带来的便利。本篇的要点包括：类中的字段自动带有getter方法和setter方法你可以用定制的get...

转载 [Java源码解析] -- String类的compareTo(String otherString)方法的源码解析

声明：本文转载自https://www.bbsmax.com/A/ZOJPwjlPzv/特此感谢大佬的分享！String类下的compareTo(String otherString)方法的源码解析一. 前言　　近日研究了一下String类的一些方法, 通过查看源码, 对一些常用的方法也有了更透彻的认识, 也让我更加理解了设计者的算法思想.我也推荐大家多读读源码, 我相信大家也会有意想不...

转载 Scala中Ordered和Ordering的区别

本文转自：https://my.oschina.net/u/2963604/blog/2251373特此感谢大佬分享！在做视图界定的时候，希望比较两个参数的"大小",代码如下：class VBPair2[T <% Ordering[T]](val first:T,val second:T){ def bigger = if(first > second) first els...

原创 Hive参数设置及优化

Hive参数设置及优化：1.动静态分区属性设置2.Set hive.map.aggr=true 通过设置属性hive.map.aggr值为true来提高聚合的性能，这个设置会触发在map阶段进行的‘顶级’聚合过程。（非顶级的聚合过程会在执行一个GROUP BY后进行。）不过，这个设置需要更多的内存3.本地模式设置大多数情况下查询都会触发一个MapReduce任务（job）,hive中某些...

转载 jsp访问servlet时出现404 The requested resource is not available错误，该如何调试？

本文转自：https://blog.csdn.net/SkjEndZhq/article/details/89397067，感谢博主分享最近在写项目时，总是会碰到这个错误，今天来总结一下调试方法。1、判断是不是地址写错了。查看地址栏中的地址书写是否正确，（是否是想要跳转的地址），如果确定是地址写错了修改地址即可，这里要注意相对地址和绝对地址的选择（服务端程序互相访问时用相对路径，客户端访问服...

转载 HBase列族高级配置

HBase列族高级配置转自：http://blog.sina.com.cn/s/blog_ae33b83901018euz.htmlHBase有几个高级特性，在你设计表时可以使用。这些特性不一定联系到模式或行键设计，但是它们定义了某些方面的表行为。本节我们讨论这些配置参数，以及你可以如何使用它们。1 可配置的数据块大小HFile数据块大小可以在列族层次设置。这个数据块不同于之前谈到的HD...

转载 HIVE使用insert into插入中文数据乱码

hive中文数据乱码hive中直接使用insert into table value插入中文数据会导致乱码问题。sql语句如下insert into mac_dict partition(create_time_p='20190616') values ('1','F2-DB-E2-BE-69-F7','余金科','70211134','true','余金科','2','1559808057'...

原创 HDFS上误删表或者文件找回方法

转载 HIve实战调优

这里写自定义目录标题 原 Hive 实战优化策略 ...

转载 MYSQL分表分库到主从

注：本文转载自新浪微博_Mr-Data,感谢博主分享！转载地址;http://blog.sina.com.cn/one2nine记得大学的时候搭建一个网站，数据库，开发环境，web服务一股脑全部在一台机器上，用几个数M的大图片做webpage的背景，觉得很cool。没有访问就没有数据库优化问题。以MySQL为例，当一个table中有数百万条记录的时候，查询自然就会越来越慢。这时通常做...