hello world

原创 误关资源管理器,电脑黑屏的解决办法

系统:win101、Ctrl+Shift+Esc 启动任务管理器；2、任务管理器界面 ->左上角“文件”->新建任务(运行)3、在对话框里输入下方英文explorer.exe 按回车

转载 HashMap要点概括

1.关于HashMap的一些说法：a) HashMap实际上是一个“链表散列”的数据结构，即数组和链表的结合体。HashMap的底层结构是一个数组，数组中的每一项是一条链表。b) HashMap的实例有俩个参数影响其性能： “初始容量” 和 装填因子。c) HashMap实现不同步，线程不安全。 HashTable线程安全d) HashMap中的key-value都是存储在Ent...

原创 azkaban 3.57.0 编译+soloserver的安装和简单使用

编译1、下载源码包官网地址为:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz2、将源码包上传服务器并解压源码包[root@hadoop01 home]# tar -zxvf /home/azkaban-3.57.0.tar.gz -C /home/3、执行编译编译参考官网地址:https://azkaban.readth...

原创 azkaban的概览

1、调度系统背景一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、hive脚本、spark程序等。各任务单元之间存在时间先后及前后依赖关系:先后关系、依赖关系、定时执行。为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。2、常见调度系统简单的任务调度：直接使用linux的crontab来定义、shell和python脚本...

原创 hadoop伪分布式搭建

0.准备虚拟机:centos7 mini(已关闭防火墙,配置本机免密,映射)java环境:jdk1.8远程连接工具:xshell6 家庭/学校版hadoop版本:hadoop2.8.5操作用户:root1.下载解压所在目录: /opt/soft[root@localhost soft]# wget https://mirrors.tuna.tsinghua.edu.cn/apac...

原创 xshell过期?--xshell6家庭/学校免费版下载

1.官网连接https://www.netsarang.com/zh/free-for-home-school/2.点击下载3.邮箱收件4.点击下载好的两个可执行文件xshell会自动覆盖原先的试用版(第一次使用的可能会引导安装)xftp好像把我原来的删除掉了,再次执行就变成安装了…...

原创 hadoop和hbase版本兼容展示

原创 hive lzo的安装

第一步1、在hadoop集群每个节点上安装lzo和lzop及其依赖(主要为解决安装lzop)：yum -y install *lzo*2. 安装准备：[root@hadoop01 home]# yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool3.下载[root@hadoop01 home]# wg...

原创 初次使用datax,发现datax不支持mysql8.x

一:下载安装wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gztar -zxvf datax.tar.gz -C /usr/local/二:官方文档https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md三:简单案例(1)str...

原创 hive练习:行列转换相关

1数据:id userid subject score1 001 语文 902 001 数学 923 001 英语 804 002 语文 885 002 数学 906 002 英语 75.57 003 语文 708 003 数学 859 003 英语 9010 003 政治 82目标输出userid 语文 数学 英语 政治 total001 ...

原创 hive练习:窗口函数相关

1.编写sql实现每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数数据:A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-02,5 A,2015-03,16 A,2015-...

转载 Hive中自定义函数

版权声明：转载，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原...

原创 hive没有正常启动,主机提示拒绝连接

今天突然遇到hive不能正常启动的问题主机提示拒绝连接之前一直好好的啊…jps查看发现runjar运行了hdfs也启动了啊,等等…第二台的namenode没有开启,第一台的namenode提示standbywtf??解决:修改了第二台ifcfg-ens33的DNS1为自己的网关试试重新启动hdfs发现两台的namenode都开起了,打开50070,果然handoop01的状态为ac...

原创 hive内置函数

一.日期函数注:函数对应的代码块的第一句都是执行desc function 函数名;得到的内容1.from_unixtime(,):from_unixtime(unix_time, format) - returns unix_time in the specified format以指定的格式返回时间戳(转成日期)select from_unixtime(1568201852,'yy...

原创 Hive(二)分区,修改分区,严格模式

hive的分区表：分区意义：避免全表扫描，从而提高查询效率。默认使用全表扫描。使用什么分区？日期、地域、能将数据分散开来？分区技术：[PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)]1、hive的分区名区分大小写2、hive的分区字段是一个伪字段，但是可以用来进行操作3、一张表可以有一...

原创 Hive(一)

背景fackbook为解决海量数据分析，避免使用传统mr而开发出来类sql的操作大数据的工具。定义Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。特点1、Tools to enable easy access to data via SQL, t...

原创 centos7+mysql+hive安装配置

readme这是我在搭建完成hdfs后,搭建hive的步骤参考资料Centos7+MySQL8.0安装过程+设置无密码登录+Navicat远程连接Hadoop2.7+Mysql8.0下Hive2.3的安装Centos7下，hadoop2.8.5配合hive2.3.6 顺利兼容介绍一下我进行的顺序:一.安装mysql我使用的是yum源安装,设置了密码(密码必须有大小写字母,符号,...

转载 程序员实用工具和网站(转)

版权声明：转载，原文遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

原创 Yarn的简单配置

yarn属于hadoop的一个组件，不需要再单独安装程序，hadoop中已经存在配置文件的设置yarn也是一个集群，有主节点和从节点。 配置YARN集群： cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <configuration> <!--用于执...

原创 Zookeeper的介绍和选举机制

1.什么是zookeeper英文文献来自官网,中文用google翻译ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of t...

原创 mapreduce经典案例之WordCount

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding ...

原创 centos7-minimal yum安装jdk1.8

直接执行这条命令,分界线后面的可以不看yum -y install java-1.8.0-openjdk*如果出现错误,往下看===================================================1.检查先检查一下是否安装了jdk[root@localhost ~]# java -version-bash: java: 未找到命令不出意外,min...

转载 在CentOS7.4中安装jdk的几种方法及配置环境变量

版权声明：转载原文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.csdn.net/qq_32786873/article/details/78749384 ...

原创 mapreduce之map端的join

map-side join:核心思想：将小表进行分布式缓存，在map-task阶段读取缓存文件数据存储到内存数据结构中，以供reduce阶段连接查找。适用场景：有一个或者多个小表(文件)优点：将小表缓存，可以高效查询；由于在map阶段进行连接，所以将会大大减小map到reduce端的数据传输，从而减少不必要的shuffle耗时，提高整个mr的执行效率缺点：如果业务全是大表不适合示例三张...

转载 MySQL 数据库铁律

转载收藏用,原文链接如下版权声明：本文为 博主 郭朝 原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/smartbetter/article/details/100160069 ...

原创 linux虚拟机提示繁忙,关不掉Vmware

1.问题最近经常遇到虚拟机无法正常启动的问题,(猜测和克隆有关系)然后对这台虚拟机关闭,重启都不管用,再关闭VMware会提示虚拟机hostname繁忙电脑重启,依然打不开进入任务管理器,发现一个VMware WorkStation VMX的进程怎么都结束不掉注:我使用的VMware是122.暂时解决win+R然后输入msconfig把所有VM相关服务的√取消掉,点击应用,确定,...

原创 centos7-minimal配置阿里云yum源

1.检查一下,是否配置了wget[root@localhost /]# man wget没有 wget 的手册页条目2.配置wgetyum -y install wget3.wget下载repowget http://mirrors.aliyun.com/repo/Centos-7.repo4.移动Centos-7.repo到/etc/yum.repos.d/ mv Cent...

原创 虚拟机centos7-minimal安装+静态ip配置+关闭防火墙

准备:vmware 12CentOS-7-x86_64-Minimal-1810.iso创建安装swap一般是内存的两倍点击[完成]–>[接收更改]–>开始安装安装过程中设置root密码,创不创建普通用户请随意...

原创 初步理解多线程,使用synchronized简单实现多生产者多消费者

理解多线程,使用synchronized简单实现多生产者多消费者区分程序,进程和线程的概念:程序:一个可执行的文件进程:一个正在运行的程序.也可以理解成在内存中开辟了一块儿空间线程:负责程序的运行,可以看做一条执行的通道或执行单元,所以我们通常将进程的工作理解成线程的工作打个比方,程序是一家没有业务的公司,进程就是这家公司接到业务了,线程是指负责这个业务的具体实施人.所以一个进程至...

原创 java多态的理解,向上转型和向下转型

java多态的理解,向上转型和向下转型众所周知:java是一门面向对象的语言.众所周知:面向对象具有封装,继承,多态三大特性.怎么理解多态呢?一个事物的多种表现形式.比如说你是张三,你既是一个人类存在于地球,又是一个学生存在于学校,还是一个孩子存在于家庭.在java语言中,当子类class Student继承父类class Person后,就会既是Person也是Student.所以可...

原创 c++ stl基本用法练习

标准库：algorithm一：排序sort() 排序stable_sort* 稳定排序练习：https://blog.csdn.net/jason_9527/article/details/86651617二：堆 make_heap()   push_heap()    pop_heap()   sort_heap()讲解：STL 堆heap的用法练习：https:...

原创 pat 堆中的路径

中文题目链接：https://pintia.cn/problem-sets/15/problems/7137-5 堆中的路径 （25 分）将一系列给定数字插入一个初始为空的小顶堆H[]。随后对任意给定的下标i，打印从H[i]到根结点的路径。输入格式:每组测试第1行包含2个正整数N和M(≤1000)，分别是插入元素的个数、以及需要打印的路径条数。下一行给出区间[-10000, 100...

原创 pat 模拟EXCEL排序

中文题目链接：https://pintia.cn/problem-sets/15/problems/8647-37 模拟EXCEL排序 （25 分）Excel可以对一组纪录按任意指定列排序。现请编写程序实现类似功能。输入格式:输入的第一行包含两个正整数N(≤10​5​​) 和C，其中N是纪录的条数，C是指定排序的列号。之后有 N行，每行包含一条学生纪录。每条学生纪录由学号（6位数字...

原创 顺序表常用函数

#define MaxSize 100typedef int ElemType;typedef struct{// ElemType *elem; int length;}SqList;bool InitList(SqList &amp;L){ L.elem = new ElemType[MaxSize]; if(!L.elem) return f...

原创 串结构练习——字符串连接

Problem Description 给定两个字符串string1和string2，将字符串string2连接在string1的后面，并将连接后的字符串输出。连接后字符串长度不超过110。 Input 输入包含多组数据，每组测试数据包含两行，第一行代表string1，第二行代表string2。 Output 对于每组输入数据，对应输出连

原创 求二叉树的先序遍历

Time Limit: 1000MS Memory Limit: 65536KBSubmit Statistic DiscussProblem Description 已知一棵二叉树的中序遍历和后序遍历，求二叉树的先序遍历Input 输入数据有多组，第一行是一个整数t (tOutput 输出二叉树的先序遍历序列Example Inpu

原创 数据结构实验之栈四：括号匹配

Problem Description 给你一串字符，不超过50个字符，可能包括括号、数字、字母、标点符号、空格，你的任务是检查这一串字符中的( ) ,[ ],{ }是否匹配。Input 输入数据有多组，处理到文件结束。Output 如果匹配就输出“yes”，不匹配输出“no”Example Inputsin(20+10){[}]Exampl

原创 数据结构实验之栈六：下一较大值（二）

Problem Description对于包含n（1Input 输入有多组，第一行输入t（1<=t<=10），表示输入的组数；以后是 t 组输入：每组先输入n，表示本组序列的元素个数，之后依次输入本组的n个元素。Output 输出有多组，每组之间输出一个空行（最后一组之后没有）；每组输出按照本序列元素的顺序，依次逐行输出当前元素及其查找结果，两者之间以-->

原创 数据结构实验之栈七：出栈序列判定

Problem Description给一个初始的入栈序列，其次序即为元素的入栈次序，栈顶元素可以随时出栈，每个元素只能入栈依次。输入一个入栈序列，后面依次输入多个序列，请判断这些序列是否为所给入栈序列合法的出栈序列。例如序列1，2，3，4，5是某栈的压入顺序，序列4，5，3，2，1是该压栈序列对应的一个出栈序列，但4，3，5，1，2就不可能是该序列的出栈序列。假设压入栈的所有数字均不

原创 线性表的标准模板

#include #include #include #define LISTINCREASMENT 100                 /*每次分配元素的个数*/#define  LISTSIZE 10                           /*顺序存储的最大个数*/#define  OVERFLOW -1#define  OK