- 博客(96)
- 收藏
- 关注
原创 spark连接hive
1.pom文件需要加<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1</version> <!-- <scope>provided</scope>--> </depende
2021-07-25 20:46:02
436
原创 Caused by: java.lang.NoSuchFieldError: METASTORE_CLIENT_SOCKET_LIFETIME
前言:今天用spark 连接hive不停的报错,甚是无语最后捣鼓了半天发现将pom.xml中的 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version><!-- <scope>provide
2021-03-21 23:28:47
1199
1
原创 spark学习之路一(spark概述)
文章目录前言一、spark是什么?1.定义2.历史二、spark的内置模块1.具体展示2.具体介绍三.spark特点前言最近感觉自己无所事事,有点烦,烦躁的时候,搞点事做做把~,然后呢,就来搞事了。一、spark是什么?1.定义Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。2.历史2009年诞生于加州大学伯克利分校AMPLab,项目采用Scala编写。2010年开源;2013年6月成为Apache孵化项目2014年2月成为Apache顶级项目。二、spark的内置模
2021-02-18 20:47:49
330
原创 spark需要引用的包
pom.xml如下显示<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-
2021-01-28 23:04:03
445
转载 [亲身实践]pyspark读取hive中的表的两种方式
https://blog.csdn.net/m0_46651978/article/details/111618085
2020-12-24 12:12:25
629
原创 1.linux下安装hadoop伪分布式环境(新)
前言:hadoop分为单机,伪分布式,完全分布式1.单机(非分布式)模式 这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统,一般仅用于本地MR程序的调试2.伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode) 请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个N
2020-12-12 13:53:53
182
原创 mysql中函数,hive中函数,scala中函数
1.mysql中所有函数mysql中函数2.hive中函数hive中函数3.scala中所有函数scala中所有函数
2020-11-30 19:34:55
99
原创 pycharm豆瓣源报错以及源设置
1.第一步:右击左上角file,并找到setting2.第二步:如图点击3.第三步:修改一下部分options:添加(一定要加,这步是关键)--trusted-host pypi.douban.com源地址为:豆瓣源 http://pypi.douban.com/simple/4.第四步:点击Install Package就可以了...
2020-10-29 15:44:02
2122
转载 spark中稀疏向量转密集向量
在通过VectorAssembler将多列特征值和并后,由于spark存储格式的原因,会将含有很多0值的一行转为稀疏向量sparseVector进行存储。然而在后续计算过程中,我们需要的是密集向量,所以需要将稀疏向量转为密集向量。1.先通过VectorAssembler将需要的列转成向量列2.转为RDD后map操作,将feature列中的元素转为DenseVector在这里插入图片描述...
2020-10-17 17:16:10
975
1
原创 scala中oop的学习
文章目录一、面向对象的基本概念二、什么是类三.类成员访问修饰符四.类的定义4.1构造器4.2类的实例化五.类的继承六.抽象类七.单例对象(object)八.伴生8.1伴生类与伴生对象九.特质(trait)十.混入特质10.1动态混入特质十一.特质与抽象类的选择十二.内部类十三.样例类(case class)一、面向对象的基本概念类(class)抽象类(abstract class)单例对象(object)特质(trait)样例类(case class)示例:pandas 是基于NumPy 的
2020-09-26 14:01:24
121
原创 scala学习
文章目录总结前言1.概述2.下载和安装3.scala中常量与变量3.1常量3.2变量4.常用的数据类型5.字符串插值6.scala条件控制以及返回值6.1if语句6.2scala中任何表达式的形式都需要返回值7.scala循环控制7.1while循环总结提示:这里对文章进行总结:例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。前言没有什么特别的前言1.概述scala是一门多范式的编程语言,也是一种类似jav
2020-09-26 13:17:05
641
原创 Shell脚本中判断字符串是否被包含在内,判断文件或者文件夹是否存在
1、字段 grep:案例: str1="abcdefgh"str2="def"result=$(echo $str1 | grep "${str2}")if [[ "$result" != "" ]];then echo "包含"else echo "不包含"fi2. 字符串运算符 =~:案例:str1="abcdefgh"str2="def"if [[ $str1 =~ $str2 ]];then echo "包含"else echo "不包含"
2020-09-20 21:53:37
3907
原创 关于Scala中正则表达式的几种用法
Scala中正则表达式的几种用法正则表达式是一种针对于字符串的操作,主要功能有匹配、切割、替换和提取的作用,在Scala中正则也是被频繁使用的方法(regex.r表示为正则表达式)1、匹配Scala支持多种正则表达式解析,主要包括下面三种:String.matches()方法正则表达式模式匹配scala.util.matching.Regex API//String.matches val s = "!123" println(s.matches("![a-zA-z0-9]{3
2020-09-19 00:45:22
781
原创 同步代码块和同步方法
package cn.test.dxc.syc;public class huizong { //同步方法默认用this或者当前类class对象作为锁 public synchronized void methodA(){//默认当前对象 for (int i = 0; i < 5; i++) { System.out.println(Thread.currentThread().getName()+"方法A愉快的打印了"+i);
2020-09-08 19:33:54
125
原创 多线程并发处理数据
多线程并发处理数据简单的demopackage cn.test.dxc;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;public class test { static int[] arr = n
2020-09-07 17:10:03
216
原创 linux下一键起zookeeper和hadoop集群
最近经常频繁的启动和关闭hadoop集群,每次都要操作几台机器,太烦了,因为写了一个文件一键开启和关闭集群。首先创建了一个demo.sh 文件,修改文件的权限,能够让文件可以被执行。文件中的内容为:#!/bin/bashfor i in {"vbserver","vbserver01","vbserver02","vbserver03"};do echo "-----$1 $i zookeeper-------" ssh $i "source /etc/profil
2020-09-05 16:34:00
164
原创 15.linux下hive和zeepline安装
前提:hive配置的时候需要在mysql已经启动,和Hadoop集群已经启动的情况下才可以配置,因为需要这两个的依赖#---------------------配置-----------------------#[root@vwmaster conf]# pwd/opt/bigdata/hadoop/hive110/conf# 新建hive-site.xml文件# ------------ thrift => rpc -----------------## ipc => 同
2020-08-29 23:09:37
514
原创 13.hadoop集群的搭建
################ 修改目录权限 ####################[root@vwmaster hadoop]################# JDK ####################[root@vwmaster hadoop260]# vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/opt/bigdata/java/jdk180################ hadoop fs 文件系统 ################
2020-08-22 20:52:58
123
原创 hadoop之mapreduce详解
今天,本姑娘和大家聊一聊mapreduce。吐血整理,各位小板凳坐好啊。如有写错的话,也请多多指正。首先我们了解一下什么是MapReduce。主要是由两个阶段组成。Map和Reduce。用户只需要编写map()和reduce()两个函数。即可完成简单分布式程序计算。流程介绍:①②③InputFormatInputFormat接口决定了输入文件如何被Hadoop分块。InputFormat能够从一个job中得到split集合。然后再为这个split提供一个何时的RecordReader(getRe
2020-08-22 20:31:06
1133
2
原创 创建hadoop的maven项目,jar包下载实在太慢,怎么办呢??
问题描述:创建hadoop的maven项目,但是jar下载的太慢了,查阅资料是可能是阿里云镜像的问题,那就换个华为云喽~解决方法:找到maven的setting.xml加入<mirror> <id>huaweicloud</id> <mirrorOf>*</mirrorOf> <url>https://mirrors.huaweicloud.com/repository/maven/</url>
2020-08-18 22:40:55
3102
原创 虚拟机网络突然不能用了怎么办??
问题描述:用的好好的虚拟机,之前内网都通,突然xshell连不上虚拟机了也连不上外网了,这时候怎么办呢?话不多说,直接上才艺!!!!!解决方法:1.将networkmanager服务停掉systemctl stop NetworkManagersystemctl disable NetworkManager2.重启网卡systemctl restart network如上操作,就可以啦原因:这是其他小伙伴告诉我的原因~~~...
2020-08-18 22:35:31
1941
1
原创 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate
前言:今天做hadoop项目的时候报错Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.原因:windows下没有安装hadoop解决:1.将hadoop文件压缩到相应的文件夹。2.然后进入bin目录,将这两个文件放进去。
2020-08-18 22:23:52
1214
原创 错误:PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory
前言:今天做hadoop项目的时候报错错误:PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory解决方法:加上config.set(“hadoop.tmp.dir”,“F:\tool\hadoop-260”);
2020-08-18 22:14:52
1105
原创 关于hadoop下namenode格式化多次的解决方案
将dfs下的data删除,然后重启整个集群。注意要先关掉之前你的集群stop-all.sh
2020-08-18 09:42:00
6189
3
原创 11.linux下logstash的安装
将logstash-6.2.2.tar.gz解压到指定的目录下然后将解压后的包重命名mv logstash-6.2.2/ logsta622测试是否安装成功bin/logstash -e 'input { stdin { } } output { stdout {} }'
2020-08-15 17:04:13
363
原创 10.headmaster和nodejs安装
headMaster安装将文件移动到opt/install/elk中将elasticsearch-head-master.zip文件解压到opt/bigdata/elk中unzip elasticsearch-head-master.zip -d /opt/bigdata/elk重命名 将elasticsearch-head-master为eshmmv elasticsearch-head-masterNodejs安装通过xftp将文件放到/opt/install/elk下
2020-08-15 16:54:22
279
原创 9.elasticsearch分词器安装
注意:elasticsearch版本和分词器的版本一定要一致单机版在/opt/bigdata/elk/es622/plugins/下面新建一个文件夹ikmkdir ikelasticsearch-analysis-ik-6.2.2.zip解压到es622/plugins/unzip elasticsearch-analysis-ik-6.2.2.zip -d /opt/bigdata/elk/es622/plugins/如果unzip用不了的话,就yum search unzipyum
2020-08-15 16:45:33
226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人