weixin_45515429的博客

IntelliJ IDEA的java编译版本，在pom下配置如下内容<!--指定java的编译版本--> <properties> <java.version>1.8</java.version> </properties> <build> <plugins> <plugin> <groupI

一、软件hadoop-2.6.0-cdh5.16.2.tar.gzjdk-8u45-linux-x64.gzzookeeper-3.4.5-cdh5.16.2.tar.gz二、集群规划主机安装软件进程hadoop01hadoop、zookeeperNameNode、DFSZKFailoverController、JournalNode、DataNode、ResourceManager、JobHistoryServer、NodeManager、

1.1、partitioned by (fiels string…)CREATE TABLE dept_partition( deptno int, dname string, loc string)PARTITIONED BY (day string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'LOAD DATA LOCAL INPATH '/home/hadoop/data/dept.txt' OVERWRITE INTO TABLE de

一、hdfs架构：主从结构1、namenode ： nn 名称节点a、文件的名称b、文件的目录结构c、文件的属性 权限 副本数 创建时间d、一个文件被对于切割哪些数据块（包含副本数的块）=》对应分布在哪些datanode blockmap块映射 nn是不会持久这种映射关系的。是通过集群的启动和运行，dn定期汇报blockreport给nn，然后在内存中动态维护这种映射关系。作用：管理文件系统的命名空间，维护文件系统树的文件和文件夹镜像文件 fisimage编辑日志文件 editlogs-r

这里写自定义目录标题欢迎使用Markdown编辑器前提2、部署准备3、hadoop部署欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。前提1.1大数据主要分三块存储hdfs hive hbase kudu计算sql spark flink资源任务调度yarn1.2 hadoop官网https://hado

1.解压及创建目录[root@node01]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root@node01]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql[root@node01]# mkdir mysql/arch mysql/data mysql/tmp2.创建my.cnf(见文件)[root@node01]# vi /etc/my.cnf[client]port

MySQL中exists和in的区别及使用场景　　exists和in的使用方式：#对B查询涉及id，使用索引，故B表效率高，可用大表 -->外小内大select * from A where exists (select * from B where A.id=B.id);#对A查询涉及id，使用索引，故A表效率高，可用大表 -->外大内小select * from A where A.id in (select id from B);一、区别1、exists是对外表做loop循

1、MySQL数据类型2、datetime、timestamp什么区别https://www.cnblogs.com/xuliuzai/p/10901425.html3、sql类型4、建表规范1）案例create table ruozedata.rz(id int(11) not null auto_increment, 第一列必须是自增长idname varchar(255),age int(3),create_user varchar(255),create_tim

1、linux常用命令2、环境变量全局 : /etc/profile 所有用户都可以使用个人: ~/.bash_profile 只能是当前用户使用 其他不能使用~/.bashrc （重点）场景: ssh 远程执行B机器 命令 找不到 java command not found直接登录B机器 命令是找到的 which java有的 命令的环境变量配置在.bash_profile 是不正确的。 应该配置在.bashrc文件生效文件:source /e

Java字符串处理工具类该工具类包含了如下功能：将时间字符串转化为Long型数字过滤空NULL是否为空是否不为空是否可转化为数字是否可转化为Long型数字转化为Long型数字转化为int型数字替换字符串字符串转为HTML显示字符从指定位置截取指定长度的字符串将"/“替换成”"去除字符串中头和尾的空格得到大括号中的内容去掉字符串中、前、后的空格将null换成""...

1、HiveUtilpackage com.likang.lixian.utilimport org.apache.spark.sql.SparkSessionobject HiveUtil { /** * 调大最大分区个数 * @param spark * @return */ def setMaxpartitions(spark: SparkSe...

第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本...

Spark SQL 外部数据源一、简介        1.1 多数据源支持        1.2 读数据格式        1.3 写数据格式二、C...

1．“-e”不进入hive的交互窗口执行sql语句[root@hadoop102 hive]# bin/hive -e "select id from student;"2．“-f”执行脚本中sql语句（1）在/opt/module/datas目录下创建hivef.sql文件[root@hadoop102 datas]# touch hivef.sql文件中写入正确的sql语句se...

一、linux环境下hive部署安装1 hive部署2 Hadoop集群配置3 MySql安装4 Hive元数据配置到MySql1 hive部署（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop10...