2020年04月_掌控自己就能掌控世界

原创 Linux系统Nginx安装

安装步奏：1.安装gcc执行指令：yum install gcc-c++[root@hadoop03 gcc_package]# yum install gcc-c++Loaded plugins: fastestmirror, refresh-packagekit, securitySetting up Install ProcessLoading mirror speeds fro...

2020-04-30 20:39:42 296

原创 Linux系统下tomcat安装

1.下载Linux系统tomcat安装包官网下载地址：https://tomcat.apache.org我这里下载tomcat8版本的2.上传解压大概9.83MB下载下来后rz命令上传至服务器解压[root@hadoop02 software]# tar -xvf apache-tomcat-8.5.54.tar.gz 3.启动进入tomcat解压后的文件目录切换到bin目录执行...

2020-04-30 10:38:15 133

1.A list of partitionsRDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的list；将数据加载为RDD时，一般会遵循数据的本地性（一般一个hdfs里的block会加载为一个partition）。总结RDD具有分区性2.A function for computing each split一个函数计算每一个分片，RDD的每个partition上面都...

2020-04-29 09:53:09 261

原创 Hadoop高可用集群搭建遇到的问题

1.格式化zookeeper异常[root@hadoop03 bin]# hdfs zkfc -formatZKException in thread "main" org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on t...

2020-04-28 09:26:29 2640 3

转载 Spark join和cogroup算子

join下面的代码包括RDD和DataFrame的join操作, 注释中有详细描述import org.apache.spark.sql.types.{DataTypes, StructField, StructType}import org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.{SparkConf, Spar...

2020-04-27 22:20:03 246

转载 Spark的shuffle算子

一、去重def distinct()def distinct(numPartitions: Int)二、聚合def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(...

2020-04-27 22:17:40 144

转载 Spark性能优化--数据倾斜调优与shuffle调优

一、数据倾斜发生的原理1. 原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。数据倾斜只会发生在shuffle过程中。常用的并且可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregat...

2020-04-27 22:09:51 186

转载如何避免HBase因写入过快引起的各种问题

首先我们简单回顾下整个写入流程client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==>write WAL ==> write memstore ==> flush to filesystem整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通...

2020-04-27 21:17:59 197

转载 RPM包命令使用方法

rpm命令是RPM软件包的管理工具。rpm原本是Red Hat Linux发行版专门用来管理Linux各项套件的程序，由于它遵循GPL规则且功能强大方便，因而广受欢迎。逐渐受到其他发行版的采用。RPM套件管理方式的出现，让Linux易于安装，升级，间接提升了Linux的适用度。RPM包与源码包的区别1、软件包分类源码包：C源代码包rpm包：编译之后的二进制包2、源码包优点：开源；可以自...

2020-04-25 09:41:37 303

转载 Zookeeper集群启动后查询状态提示Error contacting service. It is probably not running.

看到这个问题我就去找zookeeper的日志文件zookeeper.out查看报错原因：2020-03-30 21:03:06,726 [myid:3] - WARN [QuorumPeer[myid=3]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@400] - Cannot open channel to 1 at election address /49...

2020-04-24 18:40:05 291

原创大数据各集群管理地址

1.zookeeper：2.hadoop集群查查看namenode的信息：http://192.168.234.22:50070，查看namenode的信息和状态3.查看yarn资源的管理地址：http://192.168.234.21:8088（节点01的8088端口）4.HBase管理页面：hbase1.0之前版本是http://xxxxx:60010；1.0版本之后是16010端口，必...

2020-04-23 11:24:39 646

原创关于HBase集群启动起来Hmaster节点几秒后又悄悄的挂点问题处理

今天启动HBase集群后查看集群节点没问题一切OK，Hmaster和HRegionServer都起来了，可是回头没几秒再次jps查询是却发现Hmaster就这么的没了看病先看症状：我立马去hbase日志查看了下（hbase日志在hbase安装目录下的log文件夹下）注意上面的报错关键字： Operation category READ is not supported in state s...

2020-04-23 11:14:05 1239

原创 Mysql数据库表数据备份

方式一、Linux下mysqldump导入导出命令备份数据库数据1.导出数据和表结构–本地导数据mysql -u[用户名] -p 数据库名 > 导出数据存放路径/导出文件名.sql (回车后输入密码即可,也可以直接将密码输在p后面，只是不安全)–远程导数据mysql -h[ip] -P[端口号] -u[用户名] -p 数据库名 > 导出数据存放路径/...

2020-04-22 20:04:02 812

原创 Linux 系统centOS6.7安装mysqlhotcopy遇到的各种问题记录

关于mysqlhotcopy安装在网上找了很多参考，总结安装mysqlhotcopy前需先安装perl-DBI 和 perl-DBD-MySQL，否则在运行mysqlhotcopy时会报错[root@hadoop02 temp]# mysqlhotcopy fluxdb /home/01/temp/cccCan't locate DBI.pm in @INC (@INC contains: /...

2020-04-22 11:57:04 420

转载 mysql一主多从配置详情

https://www.cnblogs.com/zgx/archive/2011/09/13/2174823.html1、准备好3台虚机，一台master，两台slave且都安装好mysql2、主服务器上登录mysql，创建要同步的库及表mysql> mysql -uroot -p111111; mysql> CREATE DATABASE NAME; mysql> use...

2020-04-20 20:45:27 273

转载 MySql备份工具mysqldupm和mysqlhotcopy

1).Mysql备份类型1）按照备份时对数据库的影响分为Hot backup（热备）：也叫在线备份。指在数据库运行中直接备份，对正在运行的数据库没有任何影响。Cold backup（冷备）：也叫离线备份。指在数据库停止的情况下备份。Warm backup（温备）：在数据库运行时备份，会加一个全局锁以保证数据的一致性，会对当前数据库的操作有影响。2）按照备份后的文件内容分为逻辑备份：指备...

2020-04-20 08:29:44 234

转载 Oracle忘记用户名和密码解决办法及授权指令

Oracel忘记用户名密码怎么办？打开cmd窗口命令工具以系统身份登录：输入sqlplus用户名：sys 密码：manager as sysdbaC:\Users\Administrator>sqlplusSQL*Plus: Release 19.0.0.0.0 - Production on 星期六 4月 18 10:37:19 2020Version 19.3.0.0...

2020-04-18 19:24:15 1382

原创 hive行转列、列传行、侧视图使用案例

直接上干货！数据explode_lateral_view.txt：a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{“source”:“7fresh”,“monthSales”:4900,“userCount”:1900,“score”:“9.9”},{“source”:“jd”,“monthSales”:2090,“userCount”:789...

2020-04-17 00:12:13 407

原创 hive表脏数据和null值处理方案

hive表脏数据情况及解决方案：1.制表分隔符和数据列分割符不一致案例：本地文件导入hive表出现查询数值为null值本地导入数据入hive表sql：hive> load data local inpath "/home/01/temp/employee.txt" overwrite into table employee;Loading data to table emp.emp...

2020-04-16 21:45:34 1525

原创 spring_mvc.xml关于http://www.springframework.org/schema/mvc/spring-mvc.xsd 报错解决方案

报错提示：Referenced file contains errors (http://www.springframework.org/schema/mvc/spring-mvc.xsd). For more information, right click on the message in the Problems View and select “Show Details…”解决办法...

2020-04-14 12:25:16 2657

原创 web.xml 关于web-app_2_5.xsd 报错的解决方案

报错前web.xml内容：<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.s...

2020-04-14 12:18:42 1636 1

原创通过反射获取类的属性并赋予属性值方法

在开发中使用反射获取类的属性，然后做其他的操作，使用getFields()获取的时候没有任何的值，查询了一下自己以前的代码，发现getDeclaredFields()，区别如下：相同点：getFields()方法和getDeclaredFields()方法都是获取类的属性;不通点：getField()是获取的类的public声明的属性，包括集成而来的public修饰的属性； ...

2020-04-13 08:43:47 666

转载基于Oracle数据库的PLSQL编程以及存储过程的创建和使用

前言本文简单记录下oracle数据库中，如何用plsql编程、以及存储过程的创建和使用。相关的概念我就不列举了，大家不清楚的可以自行搜索，本篇主要列举实际的sql语法。那plsql编程，大家可以使用windows的命令行，也可以使用工具进行编写调试，我这边主要使用Oracle Sql Developer来举例。1 plsql编程1.1 程序结构首先说说plsql的程序，可以分为3个部分...

2020-04-10 16:09:07 550

weixin_42821133的博客