- 博客(36)
- 收藏
- 关注
RSS订阅原创 快速了解HIVE
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。通过这里的分析我们可以了解到Hive可以通过sql查询Ha
2022-06-18 16:50:06
265
1
原创 scala 03
Java SE 三大特性 封装：属性 方法 封装到一个类中 继承: 父类和子类之间 属性和方法也是可以重写的 多态：父类引用指向子类对象这三种特性，scala也有类和对象 女朋友： 名字 年龄 cup 爱好 金莲 30 B 喂药 铁柱 19 C 玩游戏女朋友就是一个类，该类中有一些属性、还有一些方法类是一个抽象的、概念层面的东西对象就是具体的，其实对象
2022-06-08 22:39:31
168
原创 scala02
整型 范围 Byte -128~127 记住 经典考题 Short -32768 ~ 32767 Int(*****) -2^31～2^31-1 Long(*****) -2^63 ~2^63 -1 有符号： + - 无符号： -？默认类型Int浮点类型(*****) Float 32位 单精度 Double 64位 双精度 默认是DoubleBoolean(***) true false
2022-06-02 18:01:31
345
原创 Hadoop 拒绝远程 9000 端口访问
使用idea远程访问9000失败使用电脑telnet 9000失败报错原因core-site.xml 配置注：需保证fs.defaultFS值使用的是 主机名称或者IP地址，不能使用localhost或者127.0.0.1。/etc/hosts配置 127.0.0.1，说明只能本地访问，从节点或者远程使用hadoop命令会报错关闭hadoop服务修改/etc/hosts配置重启hadoop服务，查看9000端口号 已修改，远程访问 问题解决
2022-06-01 18:06:02
2977
原创 scala01
res0是变量名 res数字 数字是自增的res0：int 名字：数据类型 数据类型是可以推导出来的bject InitSparkAPP {}bject InitSparkAPP {}{}工作中一般有两种：一种是上面那种，类名称后面的{}，另一种是下面的另起一行源码中一般是上面那种一个类中，注释占到60%-70%//单行注释/*** 多行注释**@author 作者 *@desc 描述**换行之后使用tab键，而..
2022-05-31 21:22:45
50
原创 Hadoop05
1.container 生产优化https://space.bilibili.com/356836323/search/video?keyword=docker96G 全部用来给真正干活的小弟container使用container: 内存 和 cpu的虚拟概念memory:8192, vCores:8内存:yarn.nodemanager.resource.memory-mb 96Gyarn.scheduler.minimum-allocation-mb默认1G 设...
2022-05-31 18:01:44
80
原创 执行mapreduce没报错，可是任务运行到running job就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001
执行mapreduce没报错，可是任务运行到runningjob就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001使用官方部署的正则进行测试bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'也是一样，运行到INFO mapreduce.Job: Running job:.
2022-05-28 22:01:02
617
2
原创 No route to host问题解决
[ssn@ssn9520 hadoop]$ sbin/start-dfs.shStarting namenodes on [ssn9520]ssn9520: ssh: connect to host ssn9520 port 22: No route to hostStarting datanodesssn9520: ssh: connect to host ssn9520 port 22: No route to hostStarting secondary namenodes [ssn9520
2022-05-26 18:25:52
4861
1
原创 spark安装
spark官网：Downloads | Apache Spark https://spark.apache.org/downloads.html下载spark安装包上传安装包[ssn@ssn9520 software]$ rz解压[ssn@ssn9520 software]$ tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /home/ssn/app/配置环境变量[ssn@ssn9520 ~]$ cd...
2022-01-15 06:15:05
1352
原创 IDEA自动生成注释签名
1、打开 File --> Setting–>找到 Editor2、找到 File and Code Templates3、找到 Includes4、找到FileHeader5、添加注释内容每次创建效果如下：
2022-01-15 04:01:51
1331
2
原创 hive部署
官网Apache Hive TMhttps://hive.apache.org/下载安装包上传[ssn@ssn9520 ~]$ cd software/[ssn@ssn9520 software]$ rz解压[ssn@ssn9520 software]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /home/ssn/app/修改环境变量[ssn@ssn95......
2021-12-30 10:39:23
900
原创 ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/usr/local/mysql/data/mysql.
问题描述：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/usr/local/mysql/data/mysql.sock' (2)解决方案：重启MySQL服务：sudo /usr/local/mysql/support-files/mysql.server restart
2021-12-29 07:02:26
480
原创 MapReduce
官网：Apache Hadoop 3.3.1 – MapReduce Tutorialhttps://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.htmlOverview（概述）：Hadoop MapReduce is a software framework for easily writing applications...
2021-12-22 21:30:18
890
原创 修改主机名
永久生效方法：请用root登录修改/etc/sysconfig/network 文件vi /etc/sysconfig/network添加NETWORKING=yesHOSTNAME= 自己的主机名修改/etc/hosts文件vi /etc/hosts前两行别动！千万别动！追加ip 主机名例如：192.168.1.2 hostname关机重启会发现主机名已修改下面开始修改hadoop的参数，否则，服务无法正常运行和访问修改core-site.xm..
2021-12-21 04:42:36
909
原创 Hadoop四
1.hdfs命令hdfsdfs -linux命令 操作是一样的hadoopfs <==>hdfs dfs 等价的 2.查看当前版本 压缩情况[ssn@localhost hadoop]$ hadoop checknative2021-12-17 04:32:58,241 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native...
2021-12-18 01:47:49
633
原创 Hadoop二
hadoop2.x hdfs web界面端口号50070hadoop3.x hdfs web界面：http://localhost:9870/服务若部署在阿里云Linux机器的话，在window上打开，http://本机外网IP:9870/9870端口号要在【安全组】开放bin/hdfs dfs -mkdir /user注：bin/hdfs dfs 中 /需要与/区别开HDFS三个进程以localhost启动bin/hdfs dfs -mkdir input...
2021-12-16 17:37:29
1599
原创 IDEA安装和使用，IDEA整合Maven本地开发环境搭建
下载下载地址：Download IntelliJ IDEA: The Capable & Ergonomic Java IDE by JetBrainsDownload the latest version of IntelliJ IDEA for Windows, macOS or Linux.https://www.jetbrains.com/idea/download/#section=windowsIDEA 分为两个版本：旗舰版(Ultimate)和社区版(Community)
2021-12-07 15:43:21
449
原创 初识Hdfs
hadoop分为三个组件HDFS负责海量数据的分布式存储 （存储数据） MapReduce是一个计算模型，负责海量数据的分布式计算 （计算，生产不用，设计理念指导其他框架，spark、flink ） YARN主要负责集群资源的管理和调度HDFS概念分布式文件系统的特点：1、分布式文件系统可以有效解决数据的存储和管理难题2、将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统3、众多的节点组成一个文件系统网络4、每个节点可以分布在不同的地点，通过网络进行节点间的通信和...
2021-12-03 18:51:39
404
原创 初识scala
概念Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。 Scala来源Scalable(可伸缩的)编程语言，既可以写非常小的脚本，又可以写非常复杂的服务器程序，Scala是一种纯正的面向对象语言，具备函数式编程的特性，Scala构建在JVM之上，无缝Java互操作，可以是可以把Java中的架包，直接引入到Scala代码中调用，也可以在Java程序中调用Scala的东西。...
2021-12-02 17:19:36
172
原创 初识Hadoop
目录什么是HadoopHadoop三大核心组件介绍Hadoop的发行版本介绍Hadoop版本演变历史Hadoop2.x的细节优化Hadoop3.x的细节优化什么是Hadoop我们生活在一个数据大爆炸的时代，数据飞快的增长，急需解决海量数据的存储和计算问题。这个时候，Hadoop就应运而生了。Hadoop是一个适合海量数据的分布式存储和分布式计算的框架。在这里要注意，分布式存储和分布式计算。分布式存储，可以简单理解为存储数据的时候，数据不只...
2021-12-02 16:21:43
1244
原创 什么是大数据？以及大数据的5V特性
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[1]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。[2]...
2021-12-01 18:57:40
8641
原创 Hadoop部署
官网：hadoop.apache.org下载地址：Apache Hadoophttps://hadoop.apache.org/releases.html
2021-11-26 21:02:13
1875
原创 Linux 快速回顾
1.查看当前光标所在的目录的命令是什么？pwd注意:生产上的路径比较严谨，可能会存在多个相同名称的文件，但是路径不同，可以切换到当前目录，通过pwd查看2.切换到当前用户的家目录有哪三种方式？cdcd ~cd /home3.cd -和cd ~有什么区别？cd - 返回的是上一次输入命令所在的目录cd ~返回当前用户的家目录4.绝对路径和相对路径的区别是什么？绝对路径是从根目录开始的路径相对路径是从当前目录开始的路径注：写shell脚本的时一定...
2021-11-25 14:40:54
3300
原创 Maven部署
Maven：一个用于自动化构建项目和管理项目依赖的关系自动化构建项目：按照企业中主流的项目模版，构建完善的项目结构管理项目依赖关系：配置式添加和管理，自动下载和导入较Java传统项目：操作效率比较高，不会造成架包冲突传统架包导入比较繁琐，可能会造成架包冲突，架包本身存在问题的话，替换比较繁琐Maven构建的项目存在的好处： 需要什么样的架包，只需要将对应的架包信息负责粘贴到配置文件中，Maven会自动帮助下载，架包版本存在问题，只需要修改版本号，架包自动同步。M...
2021-11-23 18:20:12
2490
原创 Scala安装部署
scala官网：scala-lang.orgScala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。一种类似java的编程语言[1]，设计初衷是实现可伸缩的语言[2]、并集成面向对象编程和函数式编程的各种特性。Scala 运行在 Java 虚拟机上，并兼容现有的 Java 程序。Scala 源代码被编译成 Java 字节码，所以它可以运行于 JVM 之上，并可以调用现有的 Java 类库。多范式包含了面向对象、面向过程、...
2021-11-23 13:20:48
1961
原创 9道SQL练习题
--部门表dept部门表(deptno部门编号/dname部门名称/loc地点)create table dept ( deptno numeric(2), dname varchar(14), loc varchar(13));insert into dept values (10, 'ACCOUNTING', 'NEW YORK');insert into dept values (20, 'RESEARCH', 'DALLAS');insert into dept...
2021-11-23 10:36:27
126
原创 初学日常记录 sql 三
表ssndata数据如下图所示，方便查询对比结果:sum()函数返回数值列的总数select sum(age) from ssndata;COUNT() 函数返回匹配指定条件的行数#COUNT(*)统计所有的行数，包括为null的行select count(*) from ssndata;#count（column_name）查询列名那一列的，字段为null不统计 //count(列名)selectcount(column_name)fromtabl...
2021-11-19 22:53:23
1134
原创 初学日常记录 sql 二
接上文select * from duodata.ssndata;1.按条件查询：#查询年龄20岁以下： // > < = >= <= !=select * from duodata.ssndata where age < 20;#查询名称是kaiyue的select * form duodata.ssndata where name ='kaiyu...
2021-11-19 11:37:46
553
原创 sql踩坑 一
SQL 错误 [1140] [42000]: In aggregated query without GROUP BY, expression #1 of SELECT list contains nonaggregated column 'duodata.ssndata.name'; this is incompatible with sql_mode=only_full_group_by截图解决方案：vi /etc/my.cnf追加以下代码[mysqld]sql_mo.
2021-11-18 22:52:45
102
原创 初学日常记录 sql 一
1.创建DBusercreate database duodata;grant all privileges on *.* to duo@'%' identified by 'mysql123'; //创建用户，赋予权限，设置密码flush privileges; //刷新权限2.杀sql进程mysql -uroot -pmysql123mysql -u root -pmysql123mysql -u root -p mysql123 //登录不上去' mysq...
2021-11-18 03:33:49
510
原创 dbeaver安装+jdk1.8
首先，安装dbeaver得先安装jdk一.下载jdk-8u171-windows-x64.exe，先读完步骤一再开始安装链接：https://pan.baidu.com/s/1FCFbYgcp01q4mFHnP8WJjg提取码：0d1f解压安装，下一步，更改安装位置然后会提示安装jre，我安装到了D盘jre1.8.0_171目录，忘了截图然后将两个文件移动到了D盘的Java目录。二.配置环境变量1. Path变量win键+R键，输入cmd，点击...
2021-11-17 04:57:10
7182
原创 安装部署mysql-5.7.20
1.首先上传安装包[root@localhostlocal]# rz 2.解压[root@localhostlocal]# tar xzvf mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz[root@localhost local]# ll3.移动文件到/usr/local/mysql[root@localhost home]#mv mysql-5.7.20-linux-glibc2.12-x86_64 /usr/...
2021-11-16 22:40:33
609
原创 初学日常记录 linux命令3
1.用户 用户组[root@localhost ~]# ll /usr/sbin/user*-rwxr-x---. 1 root root 118192 Nov 6 2016 /usr/sbin/useradd-rwxr-x---. 1 root root 80360 Nov 6 2016 /usr/sbin/userdel-rws--x--x. 1 root root 40312 Jun 10 2014 /usr/sbin/userhelper-rwxr-x---. 1 roo...
2021-11-12 01:24:54
1010
原创 初学日常记录 linux命令 2 和jdk安装部署
1.echo --打印用于字符串的输出echo "www.baidu.com" --打印字符串echo $PATH --打印系统环境变量 $PATH环境变量名称系统自带 PATH=' '并没有全局生效-->当前session 当前会话2.环境变量全局环境变量 ：/etc/profile （所在位置） 所有人都使用个人环境变量:~/.bash_profile~/.bashrc ...
2021-11-10 17:05:56
1571
原创 初学日常记录 linux命令一
1.[root@localhost ~]#登录的用户机器名 家目录2.查看当前光标所在的目录[root@localhost ~]# pwd3.切换目录 cd[root@localhost ~]# cd /home[root@localhost home]#[root@localhost home]# pwd /home ~会换成当前光标所...
2021-11-10 05:05:27
85
原创 第二天 Xshell的安装和连接
Xshell 官网（http://www.netsarang.com/download/down_form.html?code=522）下载，需要填写一下个人邮箱。点击邮箱收到的连接，跳转到下载链接网页点击下载打开安装，根据自己需求修改安装目录，然后下一步点击完成二、Xshell连接查看虚拟机ip地址，输入“ifconfig”打开Xshell,新建修改会话名，协议选择SSH，填写主机名为虚拟机的ip地址，端口号选择22，然后选...
2021-11-09 22:07:35
925
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人