![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础知识
java以及大数据框架的介绍
Long.JK
这个作者很懒,什么都没留下…
展开
-
shell脚本中,单引号双引号的区别
(1)单引号不取变量值(2)双引号取变量值(3)反引号`,执行引号中命令(4)双引号内部嵌套单引号,取出变量值(5)单引号内部嵌套双引号,不取出变量值测试#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`结果$do_date...原创 2020-03-06 16:01:44 · 156 阅读 · 0 评论 -
跳表介绍 + Redis为什么用跳表而不用平衡树
https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=2657261425&idx=1&sn=d840079ea35875a8c8e02d9b3e44cf95&scene=0#wechat_redirect转载 2020-02-25 10:05:32 · 790 阅读 · 0 评论 -
Mysql优化、调优详解
有用麻烦点个赞哦1、mysql优化分析流程1、慢查询的开启并捕获运行一段时间(至少一天),查看生产慢sql的情况,开启慢查询日志,设置阈值,例如超过5秒就是慢日志,抓去出来分析2、explain + 慢sql进行分析(基本完成大多分析)3、show profile(更猛)查询sql在mysql服务器里面执行的细节和声明周期4、SQL数据库服务器的参数调优(DBA或运维)2、关于索引...原创 2020-02-05 12:02:42 · 208 阅读 · 0 评论 -
Python字符串的函数功能
#Python 字符串 函数功能函数功能 capitalize() 把字符串的第一个字符改为大写 casefold() 把整个字符串的所有字符改为小写 center(width) 将字符串居中,并使用空格填充至长度 width 的新字符串 count(sub[, start[, end]]) 返回 sub 在字符串里边出现的次数,start 和 e...转载 2019-01-31 11:45:46 · 212 阅读 · 0 评论 -
JVM、JRE、JDK的区别
其实很多 Java 程序员在写了很多代码后,你问他 jre 和 jdk 之间有什么关系,jvm 又是什么东西,很多人不知所云。本篇不会讲述 jvm 底层是如何与不同的系统进行交互的,而主要理清楚三者之间的区别,搞清楚我们写的 xxx.java 文件是被谁编译,又被谁执行,为什么能够跨平台运行。首先,我们分别对这三者进行阐述。JVM :英文名称(Java Virtual Machine),就是我...转载 2020-01-22 00:20:59 · 106 阅读 · 0 评论 -
Sqoop使用简要介绍
简介关键词 sqoop = sql to hadoopSqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop2 的最...原创 2020-01-19 00:15:20 · 1725 阅读 · 0 评论 -
Azkaban简要总结
1、定义关键词:可定时,监控并执行任务调度,设置依赖关系决定顺序Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的 key:value 对的方式,通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 ...原创 2020-01-18 23:34:36 · 267 阅读 · 0 评论 -
大数据学习之Hive框架整理
1、基本概念1.1 定义Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在YARN上1.2 优缺点1.2.1优点...原创 2019-11-29 09:59:13 · 374 阅读 · 0 评论 -
hadoop集群 hive安装&配置&可能遇到的问题
Hive 安装部署、启动方式、安装 mysql 、MySql 中 user 表中主机配置 [mysql-libs 里]、Hive 元数据配置到 MySql、Hive 常见属性配置、常见错误 & 解决方法原创 2019-11-24 11:16:55 · 731 阅读 · 0 评论